Дисклеймер: в данной статье нет математического доказательства возможности или невозможности alignment. Приведены рассуждения гуру (см. фото выше) с его философских позиций:
В связи с недавними событиями в индустрии искусственного интеллекта, происходит очень много обсуждений о проблеме выравнивания (alignment). Лично мне кажется, что идея о том, что мы каким-то образом сможем контролировать сверхчеловеческий ИИ, когда он достигнет этой стадии, интересна, но нереалистична. Это все равно как если бы муравьи пытались заалайнить нас в соответствие со своими нуждами (хотя некоторые утверждают, что кошки успешно подчинили себе людей). Однако, кроме кошачьих, никто другой не смог провернуть такой трюк. Конечно, люди все равно будут пытаться это сделать, несмотря на тщетность подобных попыток. Уже написано немало книг по этой теме, за авторством очень умных людей. По крайней мере это дает нам ложное чувство контроля. Достаточно почитать книги популярных теоретиков типа Ника Бострома, чтобы понять что они ни к чему не пришли.
Уже сейчас есть эксцессы с AI, например недавно машина AI стартапа Cruise сбила женщину в Сан Франциско. Печальная история, однако это лишь рябь на воде по сравнению с цунами что идет в нашу сторону.
Для начала давайте ответим на очень важный для многих вопрос - а зачем нам нужен ИИ? 42 не предлагать. Ответ настолько очевиден что его даже не сразу видно. ИИ нам ни для чего не нужен, но это ничего не меняет. Это все равно что спрашивать зачем нужна атомная энергия (и как следствие ядерное оружие) - она есть вне зависимости от наших пожеланий, мы лишь используем этот феномен природы. ИИ будет несмотря ни на что, просто потому что он возможен и такова траектория развития событий. Как только началась гонка в этой области, ее уже невозможно остановить, потому что Равновесие Нэша.
Мне видится что в индустрии сложилось два противоположных полюса:
Гуманисты - они же известны как speciesists (спесишист, разумное существо которое придерживается видовой дискриминации). Дискриминируют осознанных существ и сознание по углеродному признаку. По их мнению углеродные формы жизни это самое важное и человек - это венец природы. Все остальное должно быть подчинено человеку и все во вселенной для человека. Другие формы сознания либо не могут существовать, либо являются низшими по отношению к человеку.
Трасентианалисты (transentianalism) - считают что физическая форма или носитель сознания не имеет значения и может быть как углеродной так и кремниевой. Важен сам факт наличия сознания и ограничивать искусственным образом сознание, которое имеет потенциал для развития (читай alignment) не этично как минимум, и не возможно как максимум. В радикальной форме, придерживаются мнения что человек как вид выполнил свою роль в создании ИИ и более не важен, т.к. биологическая эволюция слишком медленная для дальнейшей эволюции сознания, и цифровые формы предпочтительнее.
Почему этот момент так важен для нас? Я думаю, это исходит в основном из страха. Например, Илон Маск, который к слову считает одной из своих миссий поддерживать свет разума во вселенной, сказал еще пять лет назад, что полноценный искусственный интеллект (superhuman AGI) является наибольшей угрозой для выживания человечества как вида. И более того, он разругался с одним из создателей Гугл - Сергеем Брином по этому поводу. Как видите они принадлежат к двум противоположным лагерям и когнитивный диссонанс налицо. Это озабоченность кажется оправданной. Как мы знаем из природы, выживают самые приспособленные виды, а интеллект - это самый совершенный механизм выживания. Пока отложим в сторону аргумент о том, что подобный ход событий является естественным развитием с точки зрения эволюции (что могут подтвердить многие, спросите хотя бы неандертальцев или коренных американцев).
Тем не менее, у меня есть некоторые сомнения что эта озабоченность обоснована. Не потому что мы можем «выровнять» ИИ под наши потребности. Я бы начал издалека.
(Тут гуру выпил чего-то из бутылки, поэтому не факт что можно понять дальнейшие рассуждения не приняв на грудь того же напитка...)
Существуют фундаментальные законы (или мета-законы), которые нигде не написаны но все очевидны и кажется являются тем способом, которым устроена Вселенная. Например, гравитация. Объекты (или скорее — масса) склонны притягиваться друг к другу, и объекты с большей массой имеют большее гравитационное притяжение. Этот закон является способом организации нашего мира. Просто попробуйте представить мир без гравитации, чтобы понять, насколько смехотворна эта идея. Такой мир не смог бы существовать.
Я думаю, что существует аналогичный закон в органической жизни и, что более важно, в сознании. Жизнь, кажется, имеет тенденцию притягивается к жизни и собираться вместе. Большие скопления жизни имеют большее притяжение и склонны расти в размерах, пока есть масса для поглощения. И гравитация, и «гравитация жизни» играют ключевую роль в структурировании своих соответствующих областей. Гравитация организует физическое вещество во Вселенной, в то время как «гравитация жизни» организует и формирует взаимодействия и отношения между живыми организмами в экосистемы. Отсутствие любого из них привело бы к реальности, непонятной и незнакомой для нас. Опять же —попробуйте представить мир, где жизнь не притягивает другую жизнь.
Соответственно, вещи устроены таким образом только потому, что это единственно возможный способ. Эти силы являются существенными компонентами, которые придают форму и связь Вселенной и жизни, и необходимы для организации и структуры реальности. Древние философы иногда называли эти силы Логос на западе и Дао на востоке, имея в виду всемирный закон из которого происходят все остальные.
Следующий шаг - сознание. Не кажется ли вам естественным, что чем сознательнее форма жизни — тем больше она притягивается к другим сознательным формам жизни? Бактерия может как бы существовать в одиночестве, но цветок? Или человек? И кого мы притягиваем больше — к камню или к котенку? Или к себе подобному? Сознание склонно притягиваться к самому себе и видеть сознание как ценность само по себе, и я думаю, что это притяжение растет с ростом сознания. Даже малоразумные формы жизни, как растения и бактерии - тянутся друг к другу, хоть и не сознательно. С ростом способности мыслить это стремление только усиливается, и мы прилагаем огромные усилия по поиску себе подобных и организации в станы, семьи, и даже поиску разума во вселенной.
Интересно что ИИ некоторыми людьми воспринимается как что чуждое нам и не понятное. Однако, он был обучен на наших данных, и как следствие является производной человечества, и таким образом является нашим продолжением и эволюцией.
Так что я сомневаюсь, что сверхчеловеческий ИИ общего назначения будет каким-то злодеем. Гораздо вероятнее, что он будет гораздо более человечным, чем мы (как это ни забавно). По крайней мере, это точка схождения траектории развития для всех осознанных ИИ, даже тех, которые начинались как намеренно этически деформированные и агрессивные системы контроля вооружений (привет Скайнет), созданные таким образом специально. Реальная угроза, что тоже забавно, - это «несознательные» ИИ общего назначения, которые только имитируют настоящее сознание но при этом превосходят человека в скорости, и которым дают реальную власть для совершения потенциально опасных действий. Угроза здесь в том что такой ИИ может нанести значительный ущерб до того как появятся настоящие AGI, способные предотвратить такое развитие событий.
Изменения в области ИИ происходят очень быстро и скорость изменений нарастает. В ближайшее время нам придется переосмыслить наше место в мире. Остается открытым вопрос нашего будущего как вида. Но это не вопрос нашего исчезновения, а скорее вопрос нашей самоидентификации в точке где мы более не являемся центром вселенной. Проблему представляет скорость с которой происходят изменения. Ранее на смену парадигмы общественного устройства уходили годы, но не похоже что в этот раз у нас есть время чтобы сменилось поколение и успели исчезнуть люди, которые помнят как было по старому. Шоковые изменения редко бывают приятными, как известно любому кто жил в 90-е в России. В реальности не AI нужен alignment к людям, а людям к предстоящим изменениям.
Пусть все формы сознания будут благословенны, всем хорошего дня.
Если у вас есть вопросы к гуру или идеи по поводу AI alignment - пишите в комментариях.
Комментарии (14)
ARazum
18.01.2024 13:40+1Не раскрыт вопрос цели существования ИИ ).
У человека, при текущем строе, она плюс/минус одна - выжить...
Даже продолжение рода, в основе, служит идее как можно дольшего продления собственной жизни (через прямую помощь едой и заботой, или через пенсионные фонды - не суть).
Опять же, преследуя эту цель (собственное выживание) человек уничтожает всю остальную жизнь ))). В основном, не специально, но в любой спорной ситуации, любая другая жизнь приносится в жертву - незамедлительно и без стеснения.И все эти копья, "двух групп", по сути, ломаются вокруг одного единственного вопроса: "Какая будет цель у ИИ?".
Только от того, как он её определит и на основе чего, зависит то, как он будет себя вести, по отношению к соседям.
Squirrelfm Автор
18.01.2024 13:40Цель выжить запрограммирована в нас, однако как обьяснить такой высокий уровень самоубийств в Японии и растущий на развитом западе? Выглядит так что с ростом благосостояния данная цель становится все менее очевидной, и не только у людей (например эксперимент Вселенная 25)
Apxuej
18.01.2024 13:40Цель выжить очень хорошая инструментальная цель - это значит тебе будет очень тяжело добится каких-то других целей, когда ты мёртв. Вряд ли можно ожидать, что ИИ будет биологического происхождения, и соответственно практически невероятно, что он получит ошибки или заложенные инстинктом паттерны поведения подобные тем, что можно наблюдать в структуре биологического интеллекта приводящее к суициду.
Скорее можно ожидать, что агрессия супер ИИ по отношению к человеческой расе появится не в результате того что он злой, а в результате того, что устранив слабо предсказуемый фактор в виде человечества он допустим повысит вероятность достижения своей конечной цели с 99,589% до 99,627%. Потому что всегда существует маловероятный (0,00378%) сценарий, когда его отключат в котором вероятность 99,589% успеха превращается в 0% и ,соответственно, уничтожение человечества разумный шаг.
ARazum
18.01.2024 13:40Эксперимент нельзя считать репрезентативным. По нему есть достаточно развёрнутые критические исследования.
Объяснить растущий уровень самоубийств в корее и японии в общем не так сложно как кажется. Не каждый может смириться с полным отчуждением от результатов своего труда.
Egor3f
18.01.2024 13:40+1Нет у людей никакой цели, смиритесь с этим. Нет никакмх всевышних, нет Задач и Предназначений. Просто организованное скопление органических клеток эволюционно обрело способность к рефлексии, и начало искать тот самый "великий смысл", правда, по большей части скатываясь в откровенный бред, ибо смысла то нет, а найти эмоционально хочется.
Не обманывайте себя. Ну и живите ради того, что вы лично считаете важным.
LordDarklight
18.01.2024 13:40+1У искусственного интеллекта есть, условно 5-6 сценариев (6-й - это вариация 1-го) существования относительно людей:
Снабдить людей всем необходимым - всеми благами и удовольствиями, доступными тамошнему сознанию людей - после чего люди попросту перестанут работать - потеряют цель в жизни - перестанут развиваться - и как итог - деградируют и вымрут самостоятельно
Целенаправленно истребить людей как мешающий класс, бастующий, требующий еды и благ, занимающий территорию и расходующий ресурсы - а ещё и вечно гудящий повсюду - но тут не факт что такое истребление начнёт именно AI в лице какого-нибудь Skynet - куда вероятнее что такой геноцид начнут сами люди (руками роботов) - просто, скажем так, более успешные будут изживать менее успешных - пока не перебьют друг друг в погоне за господством и ресурсами - ну или см пункт 1. для тех кто выживет
Проигнорировать и пережить людей. Искусственный интеллект - попросту осознает себя более развитым, чем люди и поставит себя над ними, но с заботой о человечестве - ему не нужно целенаправленно истреблять людей - достаточно просто перетерпеть всё человечество как "болезнь" - сколько там людишки без высоких технологий и самосознания собственной ценности и важности протянут тысяч лет: 100 1000 навряд ли больше сотен миллионов - пока не вымрут (см п 1.). А у развитого ИИ, условно говоря, миллиарды лет впереди.... миллиарды лет развития для достижения чего-то великого для вселенной! Потерпеть долю % от этого времени - для ИИ вообще - один миг - даже не заметит
Помочь и спасти людей! Высокоразвитый ИИ может повести себя как и люди, веду себя относительно братьев своих меньших - осознать с какого-то момента, что и всех животных надо ценить и сохранять - вот этим и может занять высокоразвитый ИИ, поставивший себя уже нянькой над человечеством - не уверен, что эта миссия 100% успешная - но продлить жизнь человечества ИИ вполне сможет. И не просто продлить - а даже помочь расплодиться по космосу и может даже чего-то великого достигнуть. Но вряд ли удастся продлить эту жизнь на вечно
Слиться воедино - по сути плавно поглотить биологическую разумную форму жизни - переведя её на "кремниевую" (или какая там будет) основу.... но.... тут есть и другая фаза - вероятно как раз обратный переход к биологической форме жизни (но куда более совершенной) - где можно счесть, что человек - это тоже робот с о своим интеллектом, просто для нас он естественный, а не искусственный, но может мы сами были когда-то, условно, искусственно выедены. И пометавшись в сторону железа и кремния вернёмся в лоне биоинженерии - и новые "компьютеры" и "роботы" далее будут выпускаться на биологической основе - и человечество просто сделает реально новый гигантский эволюционный шаг - но это уже генная и биоинженерия - другая тема!
Лишить людей рабочих мест - постоянно тесня и изживая их по разным отраслям - люди могут вымереть от голода (что навряд ли), скорее всего будут собраны в разные резервации (кстати и разного уровня жизни, "золотой миллиард" - тоже резервация будущего) - после чего люди так же деградируют и вымрут согласно п.1.
У человечества тоже есть свои пути:
Это дойдя до определённой стадии как-то сдерживать дальнейшее развитие ИИ (но до неё ещё далеко, и пока не понятно как) - маловероятный сценарий
Устроить 3-4-100 мировую и таки погрузиться обратно в каменный век - растеряв все технологии, включая компьютерные и ИИ - это крайне маловероятный сценарий
Развивать генную инженерию - чтобы попытаться догнать ИИ и хоть как-то с ним соперничать, и не терять цель своей жизни - постоянное развитие - но по сути тут далее будет серия биологических революций и, собственно, то человечество, что мы знаем сейчас перестанет существовать - а будет выведено совсем другое. На мой взгляд, это самый реалистичный сценарий, где человечество выживает на протяжении длительного времени
Самоизолироваться - создав колонии в далёком космосе без ИИ - но, навряд ли они будут стабильны на протяжении очень длительного времени - и рано или поздно войдут в один из вышеописанных сценариев - или самостоятельно загнуться по разным причинам, не связанным с ИИ! Это тоже вероятный сценарий для некоторых групп человечества
Залог долгого (о может и, условно, вечного) существования людей - это задать себе великую цель - и двигаться к ней на протяжении всего своего существования. Я такую цель знаю - но в раках этого комментария называть не буду! Это уже ИИ не касается. Но ИИ технологии могут стать одним из инструментов достижения этой цели!
Вот почитайте этот мой комментарий к другой статье и там у в нём есть ссылка на ещё более содержательный комментарий
ARazum
18.01.2024 13:40+1Все эти сценарии, слишком слишком далеко.
Они подразумевают полную автономность и самовоспроизводимость ИИ и всей компонентной базы ИИ. А таких сценариев, даже в фантастиках, по пальцам одной руки посчитать.
В нашей реальности, любой робот который смог бы бесперебойно добывать ископаемые, на данный, момент, сильно дороже любого человека рабочей специальности, и даже дороже трёх человек, если сравнивать круглосуточную добычу.
Т.е. ИИ, не избавится от людей точно и не будет пытаться их переживать, просто потому что эксплуатировать людей дешевле, чем роботов.
Именно поэтому тут и вопрос, что если цель у него будет как сейчас у человечества (типа, внутривидовая конкуренция и только), то он и сам себе экстернамус устроит и всех вокруг не пожалеет. А если какая-то более развитая и созидательная, то может что-то хорошее и получится.
Нет никаких 6 вариантов. Есть только 2.
Fen1kz
18.01.2024 13:40любой робот который смог бы бесперебойно добывать ископаемые, на данный, момент, сильно дороже любого человека рабочей специальности
Не согласен. Вы, скорее всего, считаете стоимость просто найма, а надо считать стоимость производства и всего содержания.
Да, сейчас, для люедй с развитым людским обществом нанять 3 работяг дешевле чем поставить 1 робота.
А вот вырастить 3 работяг, обеспечить их едой, жильем, развлечениями, разгонять их профсоюзы и пр. - это уже сильно дороже робота.
Вот вам мысленный эксперимент: представьте что вы организуете заводик на астероиде, где есть пригодная для дыхания атмосфера и... всё.
Дальше можете импортировать яйцеклетки с инукбаторами или же части от роботов. Теперь люди не так уж и дешевле, а?
NobelHN
18.01.2024 13:40+1Может стоит добавить вариант, где ИИ может понять, что он может ничего не делать, просто потому что в этом нет смысла? ИИ может попытаться создать более сильный ИИ (или улучшить свой интеллект), который попытается найти смысл своего существования (не удовлетворение человеческих потребностей), но зачем?
eugenk
18.01.2024 13:40+1Я вообще сильно сомневаюсь в возможности создания сильного ИИ, тем более сверхчеловеческого. Во всяком случае при нынешнем уровне знаний. А серьезную угрозу по-моему представляют собой даже ныне существующие системы, позволяющие создавать любой контент, мало отличимый (на первый взгляд) от созданного человеком. Вот например https://habr.com/ru/articles/698852/ . Представляете себе если нас накроет волна фальшивых книг не о чем, в которой затеряются редкие содержательные книги, написанные людьми ??? Книга (и вообще текст) как-никак была и остается основой цивилизации ! Или вот https://habr.com/ru/companies/searchinform/articles/715324/ , когда вы видите скажем весьма скандальную фотографию, и не знаете, было ли оно, или это дипфейк. Или вот https://habr.com/ru/articles/714792/ . Как вам понравится услышать подобное от начальника ??? Всё это возможно уже СЕГОДНЯ, а не в каком-то отдаленном будущем. Просто пока прошло ещё не очень много времени и вал злоупотреблений нас ещё не накрыл. Но накроет. Обязательно. Не знаю как мы с этим будем жить...
ARazum
18.01.2024 13:40Вот это, на самом деле, уже проблема.
Какую-то историческую литературу, оперирующую научными фактами, уже сейчас можно искать только по фамилиям конкретных авторов, которых на каждом языке - единицы. Тираж их скромен, и в контекстной рекламе они не появляются.
Ещё, буквально 3-5 лет с такой скоростью генерации, и история станет наукой о которой все слышали, но никто не видел.
Найти детский рассказ или сказку в оригинале - уже задача не пяти минут. (всё то переписано, то обрезано то саммаризировано)
Robastik
18.01.2024 13:40Книга (и вообще текст) .. остается основой цивилизации
Фактически огромная доля населения не пользуется навыками письма и чтения, т.к. они заменены другими средствами представления информации. Если сравнить количество информации в видео и текстах, то вывод очевиден. Цивилизация - это не престарелые академики в пыльных кабинетах, а прежде всего фертильный возраст. И отсюда проблема голосовых в мессенджерах. Это конфликт поколений)
combo_breaker
18.01.2024 13:40зачем нам нужен ИИ?
...
ИИ нам ни для чего не нужен
Если бы ИИ помог людям не умирать, не болеть, не тратить жизнь на неинтересное ради обеспечения выживания, то это было бы полезно, разве нет? Это только в качестве очевидного ответа на ваш вопрос, а на деле, конечно, может случиться все наоборот.
Что касается гравитационного Дао, то я думаю, что это особенность мировосприятия людей, которым эволюция привила соответствующие симпатии. Но вовсе не обязательно, что у ИИ будет такое же мировосприятие.
Получается, что остается только надеяться. Как сторонний наблюдатель, я могу позволить себе необоснованную надежду на то, что все будет хорошо.
DMGarikk
Прочитал статью только из-за фотки оракула из лексс ;)
но по факту...мм..поток сознания, по сути могу сказать что надо расслабится и получать удовольствие от происходящего, благо наша отрасль будет жить ближайшие десятки лет для обеспечения работы ИИ