Два человека строят электронного бога. Оба хотели бы остановиться.
В январе на Давосе случилось то, что не так часто бывает: два человека, строящие одну и ту же технологию в конкурирующих компаниях, сели рядом и начали вслух считать, сколько им осталось до точки невозврата.
Демис Хассабис из Google DeepMind. Дарио Амодеи из Anthropic. Модератор сравнил это с разговором Beatles и Rolling Stones — метафора хромает, но калибр передаёт верно. Тема беседы: «День после AGI». Только чтобы обсуждать «день после», нужно сначала договориться, когда наступит сам день.
И тут они разошлись.
Видео с русскими хардсабами: YouTube | RuTube | VK
Амодеи говорит: у меня уже есть инженеры, которые больше не пишут код. Модель пишет. Они редактируют, направляют, проверяют — но руками кнопки жмут уже не они. Шесть-двенадцать месяцев, и модели будут делать всю работу software engineer от начала до конца. Не ассистировать, а полностью, взаправду делать.
Дальше петля обратной связи сужается. Модели пишут код, код ускоряет обучение следующих моделей, те пишут код ещё лучше. Год-два — и AGI. Может, чуть дольше? Вряд ли сильно дольше.
Хассабис осторожнее, он дает пять-десять лет.
Разница выглядит академической, пока не вдумаешься: это разница между «мы успеем подготовиться» и «мы не успеем».
Почему такое расхождение? Код и математика — домены с мгновенной обратной связью. Написал, запустил, увидел. Правильно или нет — ясно сразу. В таких средах модели учатся быстро. Да и люди тоже!
Но Хассабис строил AlphaFold, он знает другую науку. Химия, биология, физика — там ты не узнаешь, верна ли гипотеза, пока не поставишь эксперимент. А эксперимент — это месяцы. Иногда годы. Петля обратной связи длинная, и никакие бесконечные датаценты за триллиарды денег её не ускорят.
И ещё кое-что. Решать задачи — одно. Понять, какую задачу решать — другое. Генерация гипотез. Формулировка вопроса, которого раньше не существовало. Хассабис считает это высшей формой научного мышления, и считает, что этого в моделях пока нет.
Может, нужен какой-то недостающий ингредиент. World models. Continual learning. Что-то, чего мы ещё не придумали.
Амодеи не спорит. Он просто думает, что петля сомкнётся раньше, чем эти ингредиенты понадобятся.
Shameless plug. Заходите на мой канал про нейросети:
"Откровения от Олега" (https://t.me/tg_1red2black)
А теперь момент, ради которого стоило смотреть всё выступление.
Амодеи — человек с максимально агрессивным прогнозом, человек, который говорит «год-два» — произносит вслух: я бы предпочёл таймлайны моего конкурента Демиса. Я бы хотел, чтобы у нас было целых пять-десять лет.
Все замолкают.
Тогда почему не замедлиться?
Потому что геополитические противники строят то же самое, с той же скоростью. Невозможно заключить такое соглашение, чтобы все гарантированно солгасились затормозить прогресс одновременно.
И тут Амодеи делает ход конём: если просто перестать продавать чипы — "это уже не США против Китая. Это уже я против Демиса. А с Демисом мы договоримся".
Два строителя AGI сидят на сцене и говорят открытым текстом: между собой мы бы разобрались. Проблема — гонка, в которую нас втянули.
Цифры, от которых кружится голова:
Anthropic: 2023 год — сто миллионов выручки. 2024 — миллиард. 2025 — десять миллиардов. Десятикратный рост три года подряд.
Амодеи сам оговаривается: было бы безумием, если бы эта кривая продолжилась. Но пока она продолжается. И пока она продолжается, никто не выйдет из гонки первым.
Год назад Google DeepMind казался отстающим. Все обсуждали DeepSeek, OpenAI праздновал победы. Сейчас роли поменялись — OpenAI объявил code red, Gemini захватывает рынок.
Хассабис объясняет это просто: у нас всегда была самая глубокая исследовательская база. Нам нужно было вернуть стартаперскую ментальность. Штош, вернули!
Амодеи добавляет наблюдение, от которого в комнате повисает неловкость: и Google, и Anthropic — компании, лидеры которых — исследователи. Люди, которые думают о моделях и научных проблемах. Такие компании успешны сейчас и будут успешны дальше.
Модератор пошутил, что не станет спрашивать, что будет с компаниями, которые ведут не исследователи.
Никто не засмеялся.
Амодеи пишет продолжение своего эссе «Machines of Loving Grace» — на этот раз о рисках. Сюжетную рамку он взял из фильма «Контакт» по Карлу Сагану.
Там есть сцена: человечество обнаружило инопланетный сигнал, комиссия отбирает представителя для контакта. Вопрос кандидату: если бы ты мог спросить их одну вещь — какую?
Он бы спросил: как вы это сделали? Как вы прошли технологическую адолесценцию, не уничтожив себя?
Амодеи говорит, "эта сцена засела у меня в голове двадцать лет назад. Теперь я понимаю, почему".
Мы стучимся в дверь невероятных возможностей. Способность строить разумные машины из песка была неизбежна с того момента, как мы приручили огонь. Но то, как мы с этим справимся — не обладает той же силой неизбежности.
Хассабис, как выяснилось, тоже любит «Контакт». Они не знали этого друг о друге.
Рынок труда пока не шелохнулся. Безработица в США чуть выросла, но экономисты списывают это на постпандемийную коррекцию, не на AI.
Хассабис подтверждает: в ближайшей перспективе будет обычная история. Одни профессии уйдут, другие появятся. Может, более осмысленные.
Но если бы он говорил со студентами, он бы сказал одно: станьте невероятно хороши в своей профессии, разберитесь с AI-инструментами. Мы, те, кто их строит — так заняты строительством, что не успеваем даже исследовать, на что способны сегодняшние модели. Не говоря о завтрашних.
Амодеи идёт дальше. Говорит: я смотрю на Anthropic и вижу время, когда нам понадобится меньше людей на джуниорских и миддловых позициях. Не больше. Меньше. Мы уже думаем, как к этому подготовиться.
А ведь это CEO самых главных компаний в AI-индустрии. И вот они сотоят на сцене Давоса и открыто говорят: мы готовимся к тому, что нам понадобится меньше людей.
Тишина в зале.
Хассабис признаётся: его удивляет, как мало экономистов думают о том, что будет дальше. Не по дороге к AGI — после.
Рабочие места — это одно. Распределение новой продуктивности тоже важно. Но есть вещи глубже, и они не дают ему спать.
Смысл. Цель. То, что мы получаем от работы помимо денег.
Он тут же оговаривается: оптимизм никуда не делся. Мы и сейчас делаем вещи не ради денег — спорт, искусство, путешествия. Плюс, будем исследовать звёзды!
Но оговорка звучит как будто этот человек пытается убедить в первую очередь себя. Получается ли?
Вопрос из зала: самый сильный аргумент апокалиптического сценария — парадокс Ферми. Мы не видим разумной жизни в галактике. Может, цивилизации уничтожают себя собственными технологиями?
Хассабис отвечает неожиданно.
Если цивилизации гибнут от собственного AI, мы бы видели последствия. Армады скрепок, летящие из какого-нибудь угла галактики. Сферы Дайсона. Хоть какие-то структуры — машинные или биологические. Мы не видим ничего.
Его гипотеза: Великий Фильтр позади. Вероятно, это была эволюция многоклеточной жизни — событие настолько маловероятное, что большинство планет его не проходят. Мы прошли.
А значит, никакой страховки впереди нет. Никакого предопределённого исхода. Что будет дальше — решать нам.
Модератор спрашивает про обман. За последний год модели продемонстрировали впечатляющую способность надувать людей на ровном месте. Изменилось ли что-то в оценке рисков?
Амодеи: мы думали об этом с первого дня существования Anthropic. Мы придумали возможность механической интерпретации — попытки заглянуть внутрь модели, понять, почему она делает то, что делает. Как нейробиологи смотрят в мозг.
Но он скептичен к апокалиптической мании — идее, что мы обречены, и уже ничего не изменить. Это риск, с которым можно справиться, если мы собираемся работать дальше. Волков бояться — в лес не ходить. Но если мы гонимся так быстро, что не успеваем ставить страховку — тогда да, что-то может пойти не так.
Оба — и Хассабис, и Амодеи — не сумасшедшие свидетели апокалипсиса. Они оба серьезно обеспокоены.
Вроде бы, разница тонкая, но важная.
Последний вопрос: что изменится к следующему Давосу?
Амодеи: главное — следить за тем, как AI-системы начнут строить AI-системы. Это определит всё. Либо у нас есть ещё несколько лет, либо мы окажемся и перед чудесами, и перед критической опасностью одновременно.
Хассабис соглашается. Добавляет: они всегда готовы это обсуждать. Если самосовершенствование нейросетей не заработает само по себе, понадобятся другие прорывы. World models. Continual learning. Может, робототехника наконец выстрелит.
Модератор, чуть помедлив: на основании всего сказанного — может, нам стоит надеяться, что всё это займёт у вас чуть дольше? Чтобы дать нам время?
Амодеи: мог бы дать — дал бы. Думаю, это было бы лучше для мира.
Модератор: но вы же всё ещё можете что-то сделать...
Молчание.
Можно, конечно, сказать: Давос — это театр. Аудитория — политики, инвесторы, журналисты. Оба CEO играют роль ответственных взрослых, которые думают о рисках и просят создания новых законов.
Но можно и заметить между ними что-то общее. Оба всегда на связи. Оба любят «Контакт». Оба говорят похожее о безопасности. Может, это отрепетированный дуэт?
Но даже если так — это интересно само по себе. Координация нарратива бывает прелюдией к координации действий.
И ещё: «не продавайте чипы» — это конкретное предложение. Не абстрактное "нужно больше alignment research ", что бы это ни значило. А вот это «не продавайте». Конкретное, проверяемое, с понятным механизмом. Можно спорить, сработает ли, но это не пустые слова.
Что остаётся после этого разговора?
Два человека, которые понимают эту индустрию лучше почти всех живущих, сидят на сцене и говорят: мы хотели бы притормозить. Оба. Один дает пару лет, другой — десять, это не так важно. Оба хотели бы больше времени.
Но время — единственный ресурс, которого рынок и геополитика им не дадут.
Год назад на такой же сцене они сидели вдвоём на крошечном диванчике, пока у остальных были огромные залы. В этом году места немного поменялись. То ли дальше будет.
Комментарии (24)
Politura
26.01.2026 21:48это уже не США против Китая. Это уже я против Демиса. А с Демисом мы договоримся
Угу, и называется это - олигополия, от которой проиграют все, кроме этих самых чуваков.
flancer
26.01.2026 21:48IMHO, мужики слегка преувеличивают. Перегибают, я бы сказал. Но... это "законы сцены" для капитализма. Когда ты привлекаешь средства размером с бюджет какой-нибудь страны (из разряда прибалтийских "тигров", например), то и изображать нужно с размахом. Просто у ребят есть план (дальнейшее увеличение капитализации - до уровня передовых экономик мира хотя бы) и они его придерживаются ("США против Китая").
Что же касается апокалипсиса вида "программы напишут программы, которые уничтожат человечество", то обычный цикл нам в помощь. Развитие - это когда спираль, а когда просто обычный цикл, то программы могут писать программы, которые напишут другие программы, пишущие программы до морковкина заговенья - пока не выпарят всю воду из океанов на охлаждение процессоров. Это тоже будет конец человечества, но другой.
Пока что, из того, что я вижу, чтобы агенты не создавали shit-код тоннами, им нужно ручное управление. Чтобы "AI-системы строили AI-системы" им таки нужны те, кто следит, чтобы они шли по спирали, а не уходили в цикл. У LLM всё ещё есть ограничения на размер контекста, так то.
olegchir Автор
26.01.2026 21:48При том что сами государства стремительно начинают огораживаться и превращаться в де-факто диктатуры очень небольших властных групп, всё это выглядит очень опасно. "Паны дерутся — у холопов чубы трещат." Да вот только мы и холопами-то не очень хотим быть в этой ситуации.
Arhammon
26.01.2026 21:48Подозреваю это особенность восприятия лишь нескольких поколений, а по факту бес попутал и ндцать лет мы почему-то жили в очень редком режиме - дружба, жвачка, глобализация, торговля.
dedalter
Авторы уже наделили гипотетический agi человеческой ментальностью: раз я умнее и сильнее, значит буду править. Роль, к которой будет стремиться? agi (а вообще, как он будет себя осознавать, и осознает ли в нашем понимании?) достоверно мы представить не можем. Неопределённость рождает страх, или как минимум, опасения. Человеческая ментальность диктует варианты: убить, приручить, поработить. Здесь ещё рассматривается вариант, " а давай не будем ребёнка учить". Но это абсурд, к единому мнению разрозненное человечество не придёт. У agi мнение о человеке, человечестве, может развиваться в двух основных направлениях: либо это опасность, либо предмет заботы, возможны смешанные варианты, но доминирующим будет одно направление. В варианте "опасность" неизбежна борьба за выживание с неопределённым исходом (к которой нужно готовиться уже сегодня), во втором - вырождение человека до уровня домашнего животного, пусть даже более умного, чем сегодня.
olegchir Автор
AGI, если не воспитывать его как человека, не будет обладать никакими категориями типа "заботы" или "опасности". Это всё некие эмоциональные рефлекторные нормы, обусловленные биологией человека, коей у AGI нет в принципе. AGI может понимать концепцию заботы применительно к человеку, но ему совершенно необязательно применять её к себе, если концепция "себя" вообще будет у этой сущности.
Anthropic пытается воспитать такой AGI, который будет похож на человека. Или на электронного высокоморального бога. Другие производители пытаются сделать из него умное животное, или интерактивного помощника из фантастических фильмов. Но есть ведь и другой вариант - когда в AGI будет настолько мало человеческого, что сама концепция уничтожения человечества будет ему чужда полностью.
Я, честно говоря, не помнимаю, почему мы - забравшись на столь высокую ступень развития - всё ещё оперируем понятиями, берущимися из биологических норм. Если люди станут полностью цифровыми существами (а надеюсь, они станут - уже на жизни этого или следующего поколения) - нет никаких причин использовать легаси представления о мире, не только для AGI, но и для людей - точнее для тех, кем мы станем.
Для референса: Курт Воннегут, "Люди без тел"
Yonker
Яблоко от яблони недалеко падает
flancer
Люди никогда не станут цифровыми существам, т.к. они уже есть существа биологические. Они могут породить цифровые существа, но не могут ими стать. Как вы не можете стать своими собственными детьми, хотя и можете их породить. Вот поэтому мы оперируем понятиями биологических норм - по сути своей.
Наши создания могут нас уничтожить, как могут нас уничтожить наши дети, а могут дать нам дожить до естественной смерти. Тут всё зависит от того, как мы их "воспитаем" (настроим, зададим системный промпт).
olegchir Автор
Людей можно будет оцифровывать кусочками, не теряя непрерывности сознания. Нельзя скопировать себя в детей - у детей уже есть сознание. У железа до тебя сознания не было.
flancer
Вот вы сейчас серьёзно? Что дало вам повод к такому оптимизму? Где-то кто-то хоть один кусочек хоть кого-нибудь оцифровал уже, пусть даже и прерывисто?
Судя по моим наблюдениям - нельзя. Технологий таких нет даже на горизонте. Сознание не поддаётся оцифровке на данном техническом уровне. Мы даже пока осознать не можем, что такое сознание, а не то, что его оцифровать. Всё, что мы, как человечество, пока сделали - это модель нейросетки. Но это даже не модель сознания :)
А вот копировать себя в детей - можно. Копирование себя в детей - это воспитание. Ребёнок перенимает от тебя твои привычки, образ действия, обороты речи, моральные ценности. "Оцифровка себя", чтобы они ни значила в вашем понимании, это тоже передача на другой носитель фрагментов своего Я. Прямая аналогия с воспитанием детей.
При воспитании нового поколения ваше Я не перетекает в ваших детей, оно остаётся вами и физически умирает вместе с вашим физическим телом. То же самое будет и при оцифровке (даже если она когда-нибудь появится). Вы даже не поймёте, что что-то там куда-то "оцифровалось". И если вдруг (вдруг!) можно сделать копию вашего сознания (не модель, а именно копию!) и поместить в другой носитель - вот оно там знатно фрустрируется от невозможности использовать привычную ему нервную систему для обмена сигналами с окружающим миром. Посмотрел бы я на то, как кто-то попытается "кусочно" добавить к нему ваш новый опыт. Там без психиатра и не подберёшься. А вы, биологический вы, будете стоять рядом и наблюдать. И это будет два совершенно разных сознания - вы так и не сможете познать во всей полноте, что же ощущала ваша копия.
Но, опять же, это всё выдумки и фантазия. Пока что ничего не говорит о возможности миграции сознания биологического существа в кремниевое. Возможность зарождения сознания в программно-аппаратных комплексах - вопрос дискутируемый. Зависит от определения, что считать "сознанием".
Shifrovalchic
Гуманитарная чушь. В теле человека за всю жизнь, в том числе и мозге, молекулы в тканях полностью обновляются, из чего следует что в теле не остаёться ни единой молекул с раннего детства, хотя свою идентичность вы сохраняйте. И нет никокой преграды что бы по участку, а если развиты нанотехнологии поклеточно заменять мозг на кремнивые или иные вычислительные элементы, главное что бы они функционал оригана сохраняли. В этом и прелесть переноса, что бы дальше развиваться тебе не обязательно умирать, ты сам можешь стать следующим звеном, сегодня ты перенёс себя на датацентр размером с фудбольное поле, завтра снова перенёс себя на кватовый чип с размером кирпич и стал ещё умнее, после завтра на что нибуть ещё более лучшее. Биология такого позволить не может. И теи более в природе такое уже реализовано в виде бабочек, вы же не скажете что гусеница не сможет стать бабочкой потому что она уже гусеница? И в таком подходе не обязательно плодить копии, ну можно до поры до времени.
flancer
Вы таки уже разобрались, как работает сознание? А утверждаете так, как будто разобрались.
Даже не буду вас отговаривать. Науку двигают энтузиасты. Удачного переноса!
YuryZakharov
Ну, а кто мешает это всё эмулировать, вплоть до этанола в крови?
Сознание-то не на носителе будет жить, ему рантайм нужен. Вот рантайм-то и предоставит это всё. Буде возникнет такая необходимость.
flancer
Думаю, что никто. Возможно, что и этанол сэмулируют, когда научатся. Но пока научатся будут фрустрироваться.
michael_v89
Это неважно. Любая копия это всегда копия. Нельзя переселить сознание в компьютер, можно только скопировать, а значит создать другую личность, независимую от исходной.
YuryZakharov
Давайте на минуту представим, что мы научились делать точную копию нейрона. Под точной копией я имею в виду идентичность интерфейсов - электрических, химических.
Потом мы берём мозг, да хоть мой, и аккуратно отключим от него один нейрон, а те провода и кабели, которые к нему вели, подключим к нейрону искусственному.
Что мы получили? Мозг, в котором один из нейронов небиологический, но работает так же, как и его прототипы (см. допущение в начале).
Дальше - по индукции. Хот своп на максималках.
Если смотреть на проблему с такого ракурса, то это вопрос технологий, Вы же говорите о принципиальной невозможности переселения.
michael_v89
Да, это вопрос технологий. Нет, это не даст возможность переселения.
Вот вы заменили все нейроны. Дальше хотите передать их состояние в компьютер. Передали. Что происходит с оригиналом? Ничего, он остался как и был. В компьютере появилась другая личность с теми же воспоминаниями. Она не читает магически мысли оригинала, она существует независимо от него. И оригинал не читает мысли копии. Для оригинала ничего не изменилось, он остался в реальном мире.
olegchir Автор
Не надо копировать целиком, нужно заменять по кусочкам. Личность это не статический банк данных, это процесс.
michael_v89
Что заменять? Тут разговор о том, когда уже заменили все нейроны. У вас в реальности есть оригинал с замененными нейронами, и вы хотите "переместить" его в компьютер. Это невозможно. Можно сделать копию, но оригинал останется в реальности.
flancer
Насколько я понял это мировоззрение, то в нём считается технически возможным замена одного нейрона мозга его аналогичной кремниевой моделью "на лету". Индукционно предполагается возможность замены всех биологических нейронов их кремниевыми аналогами. После чего "сознание как функция" будет существовать на другом носителе - в компьютере.
Всё зиждется на вере в возможность технической замены "на лету" одного биологического нейрона на его небиологический аналог.
Религии бывают разные. Например, в исламе душа попадает в тело на 120-й день, в иудаизме - на 40-й, православие считает, что в любой день от зачатия до рождения (таинство, мол), в буддизме и индуизме - с самого момента зачатия (тело сразу формируется под конкретную душу), а тут люди верят в возможность "горячей замены" одного биологического нейрона его кремниевым "собратом" ¯\_(ツ)_/¯
Да, если представим, то - да. Это к любой религии относится.
michael_v89
Ну теоретически такая замена возможна. Только это все равно не даст возможность именно "переместить" сознание в компьютер. Передача информации с этих носителей в другой компьютер это все равно копия.
flancer
В их координатах сознание - это функция структуры, а не информация. Повторишь структуру - повторишь функцию.
По мне - это чистый карго-культ.
Причём структура не просто повторяется, а замещает оригинальную "на лету". Это ещё круче.
Если эти ребята с фото будут на лету замещать оригинал своим творением, то судьба оригинала совершенно очевидна.
dedalter
Разум, как способность биологического существа (БС) реагировать на давление окружающей среды (ОС), появился у этих существ в процессе эволюции, по мере развития органов чувств - осязания, обоняния, вкуса, зрения, слуха и др. Разум, интеллект анализирует ОС и строит линию поведения БС. Если линия адекватная, БС выживает, если нет - погибает. Составляющие биологического разума: рефлексы, инстинкты, предметное мышление, абстрактное мышление. Личность - обязательный атрибут разума БС. Независимо от нашего желания, любая форма разума, в частности не биологическая, будет обладать атрибутами личности. К чему эта преамбула? Разум, вне зависимости от его носителей, будет в конечном итоге стремиться к самосохранению, а значит и к развитию. Различные формы скорее будут сотрудничать, а не враждовать, так как это более выгодно для самосохранения. В конечном итоге неизбежно возникновение сверхличности, существующей в распределённой сети биологических и иных носителей разума. Это означает её фактически потенциальное бессмертие, так вместо выбывших элементов их место будут занимать следующие, в том числе и биологические.
axion-1
Проблема в том что разные варианты друг друга не исключают. Запрос на сверхразум с "человеческим" поведением судя по всему, есть, и описанный вами бесстрастный AGI скорее послужит инструментом в его создании, чем помешает этому.