Обычно мои посты не предполагают высказывание своего невероятно важного мнения по горячим в моменте AI‑темам. Однако, здесь сдержаться оказалось тяжело. Я почти каждый день захожу в Твиттер — и примерно половина моей ленты связана с ML. Последние несколько недель желание сидеть там монотонно уменьшается — вместо интересных обсуждений всё заполнено твитами про AGI, AI alignment и про то, как скоро нашему миру белый пушистый зверек. Если вы хотите узнать ещё больше об организации процессов ML‑разработки, подписывайтесь на наш Телеграм‑канал Варим ML

Подобные споры идут в вялотекущем режиме постоянно, но точкой взрыва сейчас стали выход GPT-4 и открытое письмо, предлагающее остановить AI‑рисёч на полгода. На эту тему уже так или иначе высказались все большие ML‑специалисты, кто‑то (например, Ян Лекун и Франсуа Шолле) откровенно смеётся над волной истерии.

Другие, как Илья Суцкевер, выражают опасения по поводу потенциальной отдалённой угрозы. Но самые громкие голоса, конечно же — это откровенный хайп и шитпостинг от сумасшедших AI‑думистов.

Я уверен — вокруг темы AI можно и нужно дискутировать, этически спорных точек и без угрозы конца света предостаточно — социальные эффекты, угроза рабочим местам, авторское право, дипфейки, переосмысление концепции творчества, вопросы приватности и многое другое. Но текущая дискуссия точно не выглядит здоровой. Я прочитал и посмотрел несколько opinion pieces разной степени адекватности и решил поделиться с вами.

Илья Суцкевер и OpenAI

Достаточно интересное и абстрактное интервью от Ильи Суцкевера. Позицию он высказывает достаточно осторожно, в ней достаточно AI‑энтузиазма и футуризма, но и призывы к работе над мерами безопасности, конечно, звучат. Некоторые его мысли:

• Сеть, просто предсказывающая следующий токен, вполне может быть умнее человека на разных задачах. Хорошее предсказание следующего токена — это не «статистический попугай», для этого нужно понимать реальность, которая привела к появлению этого токена.

• AGI и AI alignment — размытые термины с разными возможными определениями. Но всё‑таки сейчас мы ещё не на уровне AGI, когда будем — сказать сложно.

• Нужно стремиться к состоянию мира, в котором методы, ведущие к AI alignment, развиваются быстрее, чем способности самих моделей. На данный момент уровень нашего понимания того, как ведут себя большие модели, довольно низкий.

Небольшая ремарка от меня — AI alignment действительно максимально размытый термин, а его перевода на русский я так и не придумал. Примерно его можно понять так — это способность направить действия AI‑систем в русло, которое ожидает от них человек. Кажется, будет правильным сказать, что это подмножество области AI‑безопасности.

Аналогичный вайб и у поста OpenAI, в котором они концентрируются на понятных рисках — приватность, защита детей, меры безопасности от пользователей с не очень хорошими намерениями. Про экзистенциальные угрозы апокалипсиса тут ничего нет.

Ян Лекун

Лекун каждый день строчит по 5–10 твитов, порицающих сумасшедших AI‑думистов, и постоянно потешается над теми, кто думает, что LLM — это что‑то близкое к AGI. В Фейсбуке же иногда случаются и более глубокие дискуссии. Стюарт Расселл и другие возражают Лекуну и говорят, что стремление AI к контролю над миром может появиться и непреднамеренно, как следствие другой задачи или цели. Лекун же считает, что есть множество способов защитить себя от этих проблем при создании AI — например, изменить целевую функцию или добавить дополнительные механизмы защиты («safeguards»). Причём, для AI такие механизмы создавать намного легче, чем для людей. Поведение людей можно менять только опосредованно — через образование и законы, а в AI можно напрямую вложить ценности и правила при обучении — не убий, не укради, не возжелай AI ближнего своего.

Ну и ещё одная ключевая мысль от Лекуна, с которой, правда, согласны не все — пока мы даже не близко к созданию автономного умного AI, так что пока это всё дискуссии о «сексе ангелов». В общем, если хотите получить полное представление о всей палитре аргументов ML‑титанов, можно просто прочитать этот документ. А ссылка в подзаголовке ведёт на эвент, на котором Лекун и Эндрю, прости господи, Ын сегодня обсудят, почему шестимесячный бан на AI‑рисёч — это зло.

janus

Очень интересный LessWrong‑пост про то, что GPT‑модели лучше всего описываются термином «симулятор». Написан полгода назад, но имеет прямое отношение к сегодняшим дискуссиям.

GPT — не «агент». Интернет полон историй о том, как LLM‑модели пишут зловещие вещи о захвате мира, но это не значит что GPT «хочет» захватить мир. GPT генерирует текст, который симулирует поведение определённого агента или нескольких агентов. У этих агентов как будто бы есть определённые цели, задачи или желания, но так же легко модель может «создать» агента и с противоположными взглядами. GPT наплевать, какого агента симулировать, если его поведение укладывается в те самые «safeguards», заложенные OpenAI (которые, правда, пока легко обойти). И сетке наплевать, что вы закрываете вкладку в браузере и уничтожаете всех созданных ею агентов. Основная цель GPT при обучении и на инференсе — предсказание, и это позволяет модели симулировать агентов с любыми целями. Например, мы можем попросить давать иррациональные или неправильные ответы.

GPT — не «модель‑оракул» и не «модель‑инструмент». У GPT нет явной мотивации говорить только правду — наоборот, мы можем специально просить её лепить чепуху или пародировать какого‑нибудь дурачка. Метрики на классических QA‑датасетах и тестах вообще не очень хорошо отражают способности таких моделей, которые по факту намного шире.

GPT — не «мимикрирующая модель». GPT может имитировать поведение конкретного человека или нескольких людей, но её способности шире. Мы можем описать гипотетического человека, которого не было в трейн‑сете (например, самого мудрого человека на Земле), и GPT попробует предсказать его поведение за счёт общей способности предсказывать человеческий язык.

GPT — это «симулятор». При генерации текста GPT сэмплирует следующий токен из распределения вероятностей, добавляет его к текущей последовательности и затем генерирует следующий токен, таким образом симулируя будущее. С помощью этой способности предсказывать язык GPT может симулировать разные типы AI‑систем — агентов, оракулов, инструменты. При этом GPT не имеет способности сделать ничего реального — только симулировать реальный мир. В посте также разделяются концепции «симулятора» и «симулякра». GPT — это симулятор, которые может создавать разные симулякры. Такое разделение помогает ответить на расплывчатые вопросы про GPT — различает ли GPT корреляцию и каузацию, притворяется ли GPT глупее, чем есть, и так далее. Все эти вопросы имеют смысл в контексте симулякров, которые генерирует симулятор GPT.

В конце есть очень интересная ремарка — оказалось, что создание очень качественного симулятора реальности не требует создания AGI. GPT не нужно эмулировать работу мозга, чтоб создавать симулякры с очень неплохими по качеству виртуальными людьми.

Ajeya Cotra

Набор разных гипотетических предпосылок и сценариев, которые вертятся вокруг одной центральной темы — если мы продолжим скейлить модели, основанные на HFDT, то в конце концов они захватят мир. Мне такое чтиво кажется абсолютно безынтересным, уж лучше почитать дискуссию, которую я скидывал выше, в секции Лекуна. Но для демонстрации всего ландшафта решил включить.

Nathan Lambert

Многие ML‑специалисты и ML‑бизнесмены сейчас сильно нервничают. Кажется, что годы их рисёча и работы внезапно стали бесполезны, ведь теперь всё крутится вокруг ChatGPT. Хорошо сейчас в первую очередь ML‑инюфленсерам — можно каждый день выплёвывать тонны вирусного контента.

Автор, который работает в HuggingFace, рефлексирует по поводу этого чувства тревоги и даёт несколько простеньких общих советов как теперь жить — концентрироваться на науке, а не вирусности контента, не убиваться из‑за неудач. Добавлю, что ещё полезно помнить, что в AI на самом деле ещё очень много как научной работы, так и работы по внедрению в разные сферы. Так что у каждого есть способность привнести в мир что‑то новое.

Заключение

Я ни в коем случае не являюсь экспертом в областях LLM и AI safety. Но происходящее сейчас мне кажется достаточно безумным. Я полностью согласен с Лекуном, что называть ChatGPT предвестником AGI — это, мягко говоря, преждевременно. Наверное, можно понять людей не из индустрии, но когда на волну хайпа запрыгивают достаточно известные ML‑люди — мне это понять тяжело.

Всё это, конечно, отнюдь не значит, что развитие и распространение LLM и других ML‑систем не несёт никаких рисков. В принципе ничего нового — появление и развитие любой крутой технологии означает, что доступ к ней получают и не очень хорошие ребята, да и хорошие могут случайно натворить дел.

Что касается статей, то мой личный фаворит из сегодняшнего списка — пост про симуляторы и симулякры. Он выходит за рамки поднадоевшего спора «ChatGPT — это AGI» против «ChatGPT — это бездумный генератор токенов», и предлагает свежый взгляд на эту дихотомию. Рекомендую для любителей обсудить судьбы AI‑систем в барах и кальянных.

Если вы хотите узнать ещё больше об организации процессов ML‑разработки, подписывайтесь на наш Телеграм‑канал Варим ML.