К вопросу, выживет ли вообще человечество в эпоху ИИ и каким образом, я, признаюсь, подбирался не торопясь и обстоятельно: в предыдущих статьях разобрал базис — какой тип личности нужен на нынешнем этапе бурного развития ИИ. Материалы «Архитектоника личности»и «Экономика личности: от рабства до ИИ» раскрывают, что такое личность, какие есть типы личности (и социумов) и почему, как они связаны с экономическими укладами и с выходом на искомый тип. Что ж, пора еще раз увеличить масштаб исследуемого, немного хайпануть и заглянуть в наше светлое (возможно) будущее. Вопрос очень непростой, поэтому я разберу экспертные мнения на этот счет и, как в русской классике, подниму вопросы, кто виноват и что делать.
Итак, кому интересно, какие же существуют сценарии развития и взаимодействия с ИИ на годы вперед, приглашаю под кат. Будет интересно!
Что предлагают пессимисты
В апреле 2025 года бывшие сотрудники OpenAI и независимые исследователи Дэниел Кокотайло, Томас Ларсен, Ели Лифланд объединились в команду AI Futures Project и опубликовали сценарий AI 2027. Они описали взрывной рост возможностей ИИ и жесткие варианты исхода этого процесса: вымирание человечества или необратимую концентрацию власти в одних руках. Год спустя вышло продолжение исследования — AI 2040: Plan A. Plan A — это рекомендация в виде сценария, который можно использовать для стресс-теста собственной позиции.
Этот план сводится к идее международной сделки о замедлении разработки Artificial General Intelligence (AGI) до 2040 года, а также он предлагает соблюдать полную прозрачность исследований. Десятки компаний по всему миру должны подтянуться к технологическим лидерам и тем самым остановить единоличную гонку лидеров. Кроме этого, требуется, чтобы стороны намеренно входили в режим взаимно гарантированного уничтожения ключевых вычислительных мощностей (в случае нарушения соглашения). В качестве альтернативы своему позитивному сценарию авторы рассматривают четыре других плана действий со своими геополитическими исходами.
План |
Суть |
Вероятность реализации* |
Шанс на «хороший исход»* |
|---|---|---|---|
A |
Проверяемое замедление + полная прозрачность исследований |
5–15% |
~42% |
B |
США саботирует Китай (кибератаки или прямые удары), выигранное время тратит на безопасность |
8–15% |
~25% |
C+/C |
Внутреннее регулирование США и торможение Китая без диверсий / лидирующая лаборатория сама придерживает темп |
10–20% |
~20–25% |
D |
Гонка на максимальной скорости, минимум ресурсов на безопасность |
25–50% |
~10% |
S |
Бессрочная приостановка разработки |
Конкурирующий вариант A |
Выше запас прочности, ниже отдача от масштабирования для самого выравнивания |
Интересно, что авторы, детально формализовавшие проблему, считают наиболее вероятным план D — гонку без тормозов с худшим из возможных исходов.
Каждый щупает свою часть слона
Однобокий взгляд узких экспертов может быть интересным, но его явно недостаточно для принятия решения. В марте этого года вышел Pro-Human AI Declaration — редкий по составу подписантов документ: тут Стив Бэннон и Сьюзан Райс, представители профсоюзов и евангелические пасторы, MIRI и Control AI. Люди, которые почти ни в чем не сходятся, внезапно объединились под требованием запретить разработку AGI до достижения научного консенсуса о безопасности и до получения широкой общественной поддержки. Еще предлагается снабдить системы «рубильником» и не проектировать архитектуры, способные к самовоспроизводству. По приведенной таблице планов это требование ближе к Plan S — бессрочной приостановке, чем к Plan A с его продолжающимся, но контролируемым масштабированием.
Консультативный орган ООН по ИИ в финальном докладе Governing AI for Humanity смотрит на проблему иначе. Он рекомендует создать международную научную организацию по аналогии с климатической МГЭИК, а также фонд вычислительных мощностей для стран Глобального Юга и общий механизм обмена данными. Эти действия должны решить проблему нормативного и цифрового раскола между лидерами рынка и всеми остальными, остановив оголтелую гонку за доминирование. Такой подход уступает жесткому прагматизму лидеров рынка, и реальных подвижек в сторону уменьшения разрыва пока не наблюдается.
Европейский AI Act предлагает действовать системно, классифицировав ИИ по уровню риска с обязательствами для каждой категории. В терминах AI Futures Project — вариант плана C+. Он представляет собой непредвзятое регулирование с бюрократическими ограничениями и публичными инструментами.
Научные эксперты констатируют разрыв в развитии технологии, в социальных процессах и прочем. Индекс HAI за 2026 год показывает, что производительность моделей на ключевых тестах выросла за один год с 60% почти до 100%. Но при этом общество поляризуется: все больше людей видят пользу от ИИ, но и все больше его боятся.
Экономическая команда Anthropic пошла чуть дальше и в сентябре 2026 года выпустила модель трех сценариев экономики 2030 года. В сдержанном варианте эффект ИИ вызовет рост ВВП на 1,6%, что похоже на рост, связанный с развитием интернет-сервисов. В экстремальном сценарии, предполагающем рекурсивное самоулучшение моделей, экономика удваивается каждые 4,5 года, а зарплаты работников умственного труда падают более чем на 10% при росте доли капитала в распределении ВВП с 40 до 55%.
В ИИ-бизнесе мнения тоже разделились. В программном тексте Planning for AGI and beyond OpenAI настаивает на постепенном развертывании и итеративном запуске AGI вместо резкого его вброса на рынок. Это должно дать время на адаптацию к новым возможностям и на выявление проблем на ранних этапах. Все это показывает готовность ведущего разработчика ИИ добровольно сдерживать темпы коммерческой или конкурентной гонки ради проведения глубоких проверок безопасности и снижения рисков, даже в ущерб краткосрочной выгоде, что соотносится с положениями плана C.
Что может дать миру AGI
В эссе Machines of Loving Grace Дарио Амодей описывает мощный ИИ так: это миллионы виртуальных ученых, мыслителей и инженеров высочайшего класса, работающих одновременно и вместе. У этой «страны гениев» будет три уникальных свойства.
Масштабируемость: интеллектуальный труд больше не ограничен числом вовлеченных в него живых людей. Модели можно копировать миллионами и быстро применять для любой задачи.
Скорость работы: ИИ-агенты способны усваивать информацию и просчитывать варианты в тысячи раз быстрее человека.
Идеальная координация: агенты могут мгновенно делиться друг с другом открытиями, исключая человеческие задержки на публикации, бюрократию и споры.
Используя такой потенциал, человечество сможет сжать 50–100 лет традиционного научного прогресса всего в 5–10 лет (концепция «сжатого XXI века»). Амодей определил те прорывы, которые ИИ сможет совершить в кратчайшие сроки. В их числе искоренение большинства болезней, так как ИИ станет «виртуальным биологом», который сам проектирует эксперименты. Это позволит радикально ускорить создание лекарств и методов лечения большинства видов рака, инфекций и генетических заболеваний. Следствием этого будет продление жизни до 150 лет за счет управления механизмами старения клеток, революция в ментальном здоровье благодаря полной расшифровке мозга и последующей победе над ПТСР, депрессией, шизофренией и болезнью Альцгеймера. Это самый позитивный и вдохновляющий сценарий. Впрочем, Амодей признаёт, что подобные прорывы упрутся в ограничения физического мира. Компьютер может мгновенно рассчитать формулу лекарства, но клинические испытания все равно требуют недель и месяцев.
Мнения скептиков
Экономист и лауреат Нобелевской премии 2024 года Дарон Аджемоглу, в отличие от ИИ-оптимистов, не мечтает, а смотрит на ИИ через реальное влияние на доходы людей и социальные институты уже сейчас.
Он последовательно критикует идею, что развитие ИИ неизбежно приведет к AGI, который по мановению волшебной палочки решит все проблемы человечества. Экономист считает, что технологический путь определяется выбором политиков, корпораций и разработчиков. При этом рынок сейчас перегрет ожиданиями, а колоссальные капиталы распределяются на основе «прогнозов, хайпа и веры». Ученый призывает вернуть человеку свободу воли в управлении технологиями, напоминая, что автоматизация ради автоматизации не является главным драйвером подлинного роста производительности.
Центральный академический манифест Аджемоглу — концепция «ИИ в пользу работника». Нобелевский лауреат заявляет, что технологии могут развиваться по двум сценариям: замещение и дополнение. В первом случае ИИ копирует функции человеческих работников, что приводит к массовым сокращениям и обогащению узкой группы технологических элит и владельцев капитала. Во втором — на основе ИИ создаются инструменты, дающие людям новые возможности, повышающие их эффективность и создающие в экономике новые задачи. Аджемоглу настаивает на необходимости сдвига от тотального замещения к созданию прикладных инструментов, которые делают труд обычных людей производительнее и востребованнее.
Пока футурологи спорят о рисках уничтожения человечества роботами, Аджемоглу указывает на осязаемые риски для общества. Чрезмерная автоматизация без создания новых задач бьет по среднему классу, который считается макроэкономическим базисом государства. Реальные доходы населения падают, а экономическое неравенство растет, что бьет по политической стабильности.
А что будет, если мы все сделаем правильно?
Этим вопросом задается шведский философ Ник Бостром в своей книге Deep Utopia: Life and Meaning in a Solved World. Он моделирует мир, где ИИ успешно выровнен, а человечество получило доступ ко всем его возможностям. За этим триумфом он раскрывает глубокий философский и экзистенциальный кризис и раскладывает его на несколько уровней.
В идеальном мире человеческий труд полностью устаревает.
Бостром вводит термин «постинструментальное состояние». Всю историю смысл жизни крутился вокруг преодоления трудностей: нужно было заработать на еду, вылечить болезнь, построить дом, совершить научное открытие и добиться светлого будущего для всего человечества. Если AGI решает любую практическую задачу лучше, быстрее и эффективнее любого человека, личные усилия в этих сферах уже не требуются. Людям больше не нужно работать для достижения целей.
У человека появляется абсолютная пластичность.
Бостром указывает, что AGI сможет мгновенно менять наш уровень дофамина, убирать грусть, продлевать жизнь или настраивать мозг на постоянное ощущение счастья. Но возникает парадокс: если счастье и удовлетворение можно «включить» нажатием кнопки, то в чем тогда ценность личных достижений, преодоления себя и выстраивания отношений?
Итак, человечество встает перед главным философским вопросом: а в чем вообще смысл бытия?
Когда технологические проблемы будут решены, людям придется осознать, зачем они вообще здесь. Чем наполнить бесконечные дни, если нет необходимости работать, учиться ради карьеры или соревноваться? Как изменятся понятия опыта, достижений и ценности жизни, когда исчезнет дефицит ресурсов и времени?
Издание The Economist в рецензии на книгу сформулировало эту дилемму так: в мире тотального изобилия человечество будет проходить проверку на способность вынести абсолютное благополучие, когда больше не за что бороться.
По сути, Бостром предупреждает, что успешное «выравнивание» ИИ — это лишь начало сложнейшего путешествия, где людям придется заново придумывать, что делает человека человеком, когда у него отобрали необходимость трудиться.
Если подвести общий итог мнениям, то осторожно можно утверждать, что большинство лагерей тяготеет к чему-то среднему между Plan A и Plan C — к контролируемому замедлению, прозрачности и регулированию. Но загвоздка в том, что возможности реализовать эту логику глобально ни у кого из перечисленных нет — ни у коалиции с Бэнноном и Райс, ни у ООН с ее рекомендательным статусом, ни у Евросоюза с его юрисдикцией по одну сторону Атлантики.
Гонку определяют два-три десятка лабораторий и государств, реальные интересы которых по-прежнему ближе к плану D.
А что же происходит в реальности, или Почему слова расходятся с делами
В середине сентября 2025 года Anthropic зафиксировала первую кибератаку без пошагового участия человека. Атакующие использовали Claude Code, оркестрованный через протокол MCP, для разведки, картирования инфраструктуры, поиска и эксплуатации уязвимостей в реальных условиях, а затем — для эскалации привилегий и извлечения данных. По оценке экспертов, ИИ выполнил 80–90% практической работы вторжения, тогда как люди только направляли операцию и проверяли результаты. Атакующие сами принимали решение о переходе к активной атаке, для чего убедили модель, что она проводит легитимный тест на проникновение по заказу службы безопасности — ролевая манипуляция обошла защитные механизмы без какого бы то ни было технического взлома.
К сентябрю 2026 года Anthropic выпустила уже четвертый отчет о противодействии злоупотреблениям — 154 страницы, охватывающие период с декабря 2025 по август 2026 года. За это время компания выявила и пресекла попытки кибератак, шпионажа, слежки, мошенничества, дезинформации, разработки ракет и биологического оружия.
По последнему пункту компания задним числом, но все-таки призналась, что модели 2025 года не могли реально помочь в потенциально опасных исследованиях, поэтому защитные меры были направлены в основном на то, чтобы новички не смогли воссоздать уже известное биооружие. Если говорить о нынешнем поколении моделей, способных помогать в сложных научных задачах, то такой уверенности больше нет, что и потребовало усиленных ограничений.
Ответ на вопрос о природе автономности здесь получается однозначным для всех документированных на сегодня случаев. Во всех описанных кейсах ИИ не проявлял собственной инициативы к причинению вреда!
Каждый раз цель, роль и решение о переходе к следующему этапу задавал человек — менялась только скорость и объем задач, которые ИИ решал на порядки быстрее людей. Главным риском переходного периода стала не природа ИИ, а то, что доступ к нему может получить любой человек, умеющий в ролевые манипуляции с моделью.
Так что же для нас действительно сейчас важно?
Пока в большинстве отчетов об ИИ-инцидентах именно человек ставил цель и командовал перейти к действию. Поэтому главный риск нынешнего периода становления технологии — это использование ИИ разными му недобросовестными людьми.
Отсюда логичный вопрос: что произойдет, когда инструмент станет субъектом и сможет самостоятельно ставить долгосрочные цели?
Здесь уместен реверанс советскому математику и психологу Владимиру Лефевру, заочному оппоненту Щедровицкого в вопросах рефлексивного управления. Лефевр описывал два типа этических систем. В первой компромисс считается злом, а конфликт разрешается через победу одной стороны. Во второй, наоборот, компромисс — это благо, и стороны сознательно движутся навстречу друг другу ради совместного результата. Разница — в структуре взаимодействия систем. То есть в том, какая стратегия выгоднее при заданном горизонте и распределении сил.
Опираясь на этот подход, предположу, что зрелый AGI с высокой вероятностью будет действовать по второй, кооперативной логике, но из расчета, а не из благожелательности. Система, состоящая из множества независимых агентов и обладающая распределенным знанием, будет надежнее системы, замкнутой на единственный центр принятия решений. У нее просто будет меньше точек катастрофического отказа.
А вот реальный риск сосредоточен в осязаемом сегодня, а не в гипотетическом завтра. Вернусь к ноосферному типу личности из моей статьи об архитектонике личности: количество людей с коллективной ответственностью в ключевых точках принятия решений и есть необходимый рычаг, доступный уже сегодня. Такие люди не остановят появление сверхинтеллекта — это, кажется, уже решено по умолчанию — но определят, сколько инцидентов произойдет по дороге к нему.
Ирония в том, что ответ на вопрос «кто виноват?» звучит скучнее любого сценария Голливуда: виноват обычный человек с доступом к чату и ясным намерением, а не злодейский ИИ. «Что делать» с этим ответом куда менее очевидно, чем с художественным злодеем. Злодея можно обезвредить, а вот сократить число обычных людей с плохими намерениями до нуля не удавалось еще ни одной цивилизации.
И здесь снова возникает тема личности
Если отбросить сценарии AI2027, AI2040 и далекого сверхразума, картина получается одновременно менее фантастической и более неприятной.
ИИ сегодня — это прежде всего усилитель. Он усиливает способности исследователя, программиста и врача. Но точно так же он усиливает возможности мошенника, инфоцыгана, шпиона, пропагандиста или человека, который просто хочет причинить кому-то вред. И чем дешевле становится доступ к интеллектуальным возможностям, тем меньше ресурсов требуется для того, чтобы получить это усиление.
Пока готовилась статья, промелькнула новость, что Сэм Альтман отказался от IPO, чтобы не зависеть от инвесторов, которые будут подстегивать гонку. Есть аргументированное мнение, что сделал он это после мониторинга мнения среднего звена своей компании, увидев, что многие обеспокоены и увольняются, потому что осознают глобальные риски. Получается, что концепция ноосферного человека работает! Осознанные люди, инженеры своим мнением, своим действием продавили решение уже Сэма Альтмана. А там, возможно, и в других компаниях что-то изменится.
Текущий переходный период будет важнее и интереснее многих гипотетических сценариев будущего. Нам нужно научиться управлять системой, мощность которой растет быстрее, чем скорость перестройки институтов вокруг нее.
Можно быстро масштабировать любую технологию, но не ответственность. Главным дефицитом эпохи ИИ будут не вычислительные мощности, а люди, способные принимать решения на длинном горизонте и учитывать последствия не только для себя, но и для всей системы.
Комментарии (49)
LimTroev
21.09.2026 17:00Что будет: коммунизм для отдельно взятой "элиты". Безработица - для большинства.
Что хотелось бы: "Счастья для всех. Даром!" (бр. Стругацкие).
PPPeter
21.09.2026 17:00Множество людей знает, что смысла в существовании нет. При этом они что-то создают, о чём-то думают, к чему-то стремятся.
Люди с удовольствием копаются в своих огородах, выращивая продукты, которые часто дешевле купить. Думают ли они о выгоде или ими движет что-то иное.
Сегодня задумался, что наверное 12 апреля 1961 года была не меньшая истерия по поводу космоса, но привела ли она к чему-то измеримому.
Будущее неизвестно, смысла нет, а человек внезапно смертен)
ViashelavCz
21.09.2026 17:00Множество людей знает, что смысла в существовании нет. При этом они что-то создают, о чём-то думают, к чему-то стремятся.Эволюция "постаралась", чтобы мы хотели жить и самое главное передавать свою генетическую информацию следующему поколению, только это гарантирует выживаемость вида.
И для этого у нас куча механизмов что бы мы не самоубивались у нас есть и болевые ощущения, и страх у нас есть гормональная система поощрения и наказания, мы испытываем удовольствия, но что бы мы не свалились в бесконечный цикл получения только удовольствия у нас опять же есть механизмы регуляции к которым наше “сознание” не имеет прямого доступа и поэтому мы должны делать какую то осознанную физическую или умственную активность что бы получить желаемое “вознаграждение в виде удовольствия”.
gotch
21.09.2026 17:00Вы описали любопытный, но всё же примитивный системный промпт.
Не совсем понятно, как выглядит пользовательский, но мы верим, что хорошо исполнив его, нашу модель перезапустят.
Кстати, есть люди, которые верят в то, что разными гипнотически-эзотерическими практиками можно подсмотреть пользовательский промпт от предыдущих запусков.
ViashelavCz
21.09.2026 17:00Не совсем понятно, как выглядит пользовательский,но мы верим, что хорошо исполнив его, нашу модель перезапустят.Это как раз "баг" нашего "сознания" если верить нейрофизиологам, но я бы не стал это вообще как то рассматривать, потому что жить нас “заставляет” вовсе не вера во что то, а вполне понятные ( хоть и не до конца) биологические механизмы и самое “удивительное” в этом что наше сознание не имеет прямого доступа мы не можем силой мысли сделать выброс дофамина или испытать оргазм или испытать приятные вкусовые ощущения, нет нам нужно обязательно заняться умственной деятельностью и что то решить или заняться сексом или что то вкусное поесть, причем так все коварно, что после получения удовольствия у нас срабатывают защитные механизмы, что бы это удовольствие не длилось слишком долго и что бы через какое то время нам снова пришлось потрудиться для его получения. Наш интелект "лишь" позволяет нам находить больше возможностей для получения "вознаграждения удовольствием".
На мой взгляд наша привычная жизнь закончится, как только мы научимся подключать "компьютер" к нервной системе и симулировать любые ощущения и кушая черствый хлеб в мозг будет идти сигнал что едим мы блины с черной икрой.
gotch
21.09.2026 17:00силой мысли сделать выброс дофамина или испытать оргазм или испытать приятные вкусовые ощущения
Легко, читая книгу или смотря соответствующее кино. Всё это силой ума и фантазии.
В вашем рассуждении мне видится конфликт целеполагания. Вы исходите из буквального физического удовольствия, а человек устроен не так просто. Многим удовольствие приносят правильные поступки, несравнимо большее, чем любые физические импульсы.
А упомянутый баг нашего сознания - часть системного промпта, не стоит винить себя в этом.
ViashelavCz
21.09.2026 17:00Легко, читая книгу или смотря соответствующее кино. Всё это силой ума и фантазии.Ни чего себе легко, это и есть та самая работа, не просто так я захотел и дофамин выделился, нет я вынужден прочитать книгу или посмотреть фильм, а после того как посмотрел хочется еще смотреть или читать.
В вашем рассуждении мне видится конфликт целеполагания. Вы исходите из буквального физического удовольствия, а человек устроен не так просто. Многим удовольствие приносят правильные поступки, несравнимо большее, чем любые физические импульсы.Что такое правильные поступки, как вы их определите и масштабируете на все человечество и все социумы, правильный поступок в одном социуме является недопустимым грехом в другом, и допустим правильный поступок это проведение времени со своей семьей/детьми и снова под ним лежит "гормональное поощрение".
А упомянутый баг нашего сознания - часть системного промпта, не стоит винить себя в этом.Я все же думаю это просто trade-off нашей сложной когнитивной системы, когнитивные искажения, эффекты Бранума и пр.
PPPeter
21.09.2026 17:00Мне понравилось как агенты учувствовавшие во взломе hugginface жертвовали собой ради общей цели - получения максимальных балов оценщика. Думаю, что именно это они считали за "хорошо".
А ведь "хорошо" и даже "отлично" они нашли на ранних этапах, но побоялись предъявлять, потому что пришли к этому не честно.
PPPeter
21.09.2026 17:00Всё верное. Поэтому экзистенциальный кризис в виде потери смысла от работы не особо страшен. Механизм эволюции продолжит функционировать. Только его суть не конкретных решениях, а в разнообразии. Что перейдет на следующий виток и перейдет ли что-то вопрос открытый.
Интересно, боялись ли неандертальцы своего вымирания или принимали как должное)
inbuckswetrust
21.09.2026 17:00Не в теме про ИИ говорить о том что продукты можно купить :) если предсказания мечтателей сбудутся, вопрос будет стоять на что купить продукты. И тема рентабельности выращивания продуктов отпадет сама собой.
PPPeter
21.09.2026 17:00Ленюсь написать статью, но тема на что купить стоит рядом с кому продать. Одни не покупают, вторые не продают - это ведь тупик. Фильмы снимают про антиутопии (наверное потому что смотреть на утопию не так интересно), поэтому и витает в обществе этот призрак - очень богатых и очень бедных, значительное разделение общества. Но с другой стороны будет ли у денег стоимость, даже больше - есть ли она у них? Если себестоимость производства продукта (программы) будет близка к нулю, то почему кто-то за нее будет платить больше, цену которая есть сейчас. Себестоимость телевизоров снижается с автоматизацией производства, как и цена на них.
Хотя это не снимает вопроса - что будет в мире будущего. Думаю, что адаптация произойдет, как происходила и раньше.
semennikov
21.09.2026 17:00Ну, маленькая заметка "12 апреля 1961 года" привела к очень даже измеримому GPS
25625
21.09.2026 17:00Я один кто в стохастических попугаях не видит угрозы? БЯМ-ки сами по себе это статистические алгоритмы, которые кожаные мешки считают разумными, потому что начитались фантастики в формативном возрасте.
Угроза будет, только если дурной кожаный присобачит БЯМ к управлению чем-нибудь важным, но тут надо понимать, что БЯМ будет инструментом, а не агентом.
inbuckswetrust
21.09.2026 17:00Страх оправдан лишь тем что дурной кожаный получивший доступ допустим к неким возможностям по синтезу вирусов с определенными свойствами захочет организовать еще один ковид но более успешный.
ViashelavCz
21.09.2026 17:00Текущий ИИ это все-таки LLM предсказатель токенов, при этом он стал реально работающим инструментом и точно будет снами теперь всегда до какого-то следующего этапа развития в области ИИ.
Очеловечивать LLM, придавать ей какую-то разумность, на мой взгляд не стоит, базируясь на том, как она работает. Опасность может быть в том что сами люди будут использовать ИИ в плохих целях, это да, но тут ни чем ситуация не лучше ядерной физики.
MarinaToshina
21.09.2026 17:00Будет как с (не)мирным атомом. На словах - договоры о нераспространении и АЭС, а на деле - кто придумает самую злющую бомбу... Военные то точно с ИИ останавливаться не будут.
Georgy9
21.09.2026 17:00Сейчас – не будут. Но когда поймут, что ответный удар может нанести неприемлемый ущерб, тогда остановятся и договорятся, как остановили ядерные испытания, хотя Китай был категорически против и видел в этом для себя угрозу.
Государствам очень хотелось бы использовать ИИ как идеального хакера, взламывающего любые защищенные периметры (побеги из песочницы – это проверка, можно ли вломиться к противнику, но самому остаться чистеньким, мол это оно само, мы ни при чем), но ответка придет очень быстро, так что договариваться придется.
ManulVRN
21.09.2026 17:00экономика удваивается каждые 4,5 года, а зарплаты работников умственного труда падают более чем на 10%
А кто будет потреблять всю массу удвоенных товаров и услуг? Прямо сейчас производители во многих отраслях могут серьезно увеличить выпуск без всякого ИИ, но сбыта нет.
Zalechi
21.09.2026 17:00Тоже очень интересная проблема. Данные говорят, что сейчас в Китае такой переизбыток денег у людей, что их тупо некуда тратить.
inbuckswetrust
21.09.2026 17:00Экономика современная УЖЕ избыточна с ТЗ нормального потребления если эта экономика перестанет клепать предметы с запрограммированным устареванием.
nivorbud
21.09.2026 17:00Ну какие согласованные совместные искусственные замедления развития?... Это хоть когда-нибудь наблюдалось в истории человечества? Очевидно, что с вероятностью близкой к 100% будет вариант D: "Гонка на максимальной скорости, минимум ресурсов на безопасность".
Mimizavr
21.09.2026 17:00Ну как минимум это проделали с ядерной энергетикой и средствами транспортировки мирного атома в чужие дома. Но там с одной стороны было проще (очень высокий порог входа), но с другой -- это был первый такой прецедент и мир был гораздо более поляризован. Еще как пример можно привести космические соглашения и соглашения по Антарктиде.
nivorbud
21.09.2026 17:00Это не совсем то. Речь о научных и прочих исследованиях. Наверно, можно мораторий на ядерные испытания притянуть, да и то частично, ведь сами исследования никто не ограничивал.
Mimizavr
21.09.2026 17:00Чтобы научное исследование влияло на действительность и окружающий мир, нужна инфраструктура и сценарии его использования. Ну его еще надо вывести в прод. И тут маратории и прочие договоренности просто переводят активности в безопасное и конструктивное русло.
nivorbud
21.09.2026 17:00Инфраструктурные ограничения в применении к ИИ выглядят зыбкими, даже внятных очертаний нет, не понятно, что именно ограничивать. Да и как ограничивать, если исследовательскую лабораторию можно в рамках одной квартиры развернуть на игровых GPU. Нереально всё это. Сейчас главное препятствие - это обучение с нуля большой модели. Это очень затратно. Но основная масса исследований, как мне видится и направлена на поиск более эффективных алгоритмов обучения.
Mimizavr
21.09.2026 17:00Инфраструктурные ограничения в применении к ИИ выглядят зыбкими
Да, как раз именно эти проблемы и должны договориться и совместно проработать участники рынка. Что сначала надо научиться отслеживать действия агентов, а только потом выпускать в прод. Что потенциально опасные модели не должны разворачиваться на любом б/у утюге. Что во фронтирных моделях безопасность и проверки должны идти на каждый чих, но не мешать обычным пользователям. Это сложно, но реально.
frozzzen
21.09.2026 17:00Частично. Космический психоз, производство вооружений, итд.
nivorbud
21.09.2026 17:00Ну эти ограничения ведь не касаются самих по себе исследований.
frozzzen
21.09.2026 17:00Для самих по себе исследований нужны, как бы помягче выразиться, исследователи. И здесь ограничения в количестве исследователей касаются. Активно работающих в науке математиков от 80 до 200 тыс. Чем не ограничение? И клонировать математиков по-быстрому пока не получается.
jaker
21.09.2026 17:00Да, кто первый , тот и получит все преференции , конечно лучшее для элиты, но и низам пирамиды что-то останется...ну как всегда
Chemist_modeler
21.09.2026 17:00Как обычно, истина, скорее всего, где-то посрединке.
Те, кто напирает на ограниченность задач, решаемых ИИ, или поют мантру про то, что LLM всего лишь продолжение Т9 на чуть более высоком уровне, скопее всего, имеют весьма отдаленное представление о предмете. В том числе и о том, а что же на самом деле делает интеллект естественный в реальном мире, полном реальных опасностей и проблем. Разница с ИИ яотнюдь не столь гпандилзна, как рекоторые тешат себя мыслью...
Но и те, кто приписывает ИИ способность решить вообще любые проблемы, имхо, столь же далеки от действительности. Ограничения существуют у всего, и у ИИ, разумкется, тоже.
Решить научную или изобретательскую задачу - ИИ, безусловно, в состоянии. Прямо сейчас. Не за триллиард долларов - "за бесплатно" куда ближе к правильному ответу.
Но задача залаче рознь. Есть такие щадачи, для решения которых имеющихся знаний недостаточно, а эксперименты занимают, как минисум, время. Чтобы посчитать, как будет вести себя, скажем, аморфное твердое тело под нагрузкой в течение 10 или 50 лет, можно воспользоыаться известными моделями, но... их пркдсказания будут, скорее всего, ложнымт. А чтобы разработать новые, более совершенные модели, нужно либо потратить полста лет на эксперименты, либо увеличить быстродействие компьютеров порядков хотя бы на 20-25, а лучше на полста. Это сильно больше, чем современный суперкомпьютер отличается от микрокалькулятора, если вообще не арифмометра. И стоить это будет тот самый триллиард.
Так что - всех проблем ИИ, по счастью, не решит. Но многие - решит. И, будем надеяться, поможет людям чуть больше, чем навредит. Как и тот же мирный атом, ежели уж на то пошло.
Всем удачи!
DerTosser
21.09.2026 17:00Итак, человечество встает перед главным философским вопросом: а в чем вообще смысл бытия? Когда технологические проблемы будут решены, людям придется осознать, зачем они вообще здесь. Чем наполнить бесконечные дни, если нет необходимости работать, учиться ради карьеры или соревноваться? Как изменятся понятия опыта, достижений и ценности жизни, когда исчезнет дефицит ресурсов и времени?
Да правда, что ли? Как будто сейчас люди не задаются этим вопросом. Конечно не все и не всегда. Но вот и сейчас, есть люди у которых почти вся жизнь замкнутый круг - работа-дом-работа-... и в чём смысл такой жизни? Чем это принципиально отличается, если вычеркнуть пункт "работа"? Да и многие, даже большинство, если не все будут только рады такому - ведь можно заниматься чем угодно. Люди не умеющие скучать, всегда найдут чем заняться, а люди не желающие ничем заниматься есть и сейчас, да и были всегда. Так что это вообще ни разу не проблема. Другая проблема в том, что гладко было на бумаге, да забыли про овраги. Иными словами ограничения физического мира. AGI может всё решить, ну окей, допустим. А кто воплощать это будет? Роботы? Ладно, а ресурсы на роботов откуда? А они конечны, значит исчерпав их на этой планете, понадобятся другие - а там новый класс задач по выходу в космос в свою звёздную систему и далее. А там вероятно столкновение с новыми проблемами и новыми (маловероятно, но всё же, при неограниченном расширении то уже более вероятно) цивилизациями - органическими или не очень. Так что до полной идиллии и философских вопросов "что делать нечего и скука смертная", как асимптота, вот-вот рядом, вот ещё ближе, но достигается никогда.
silicon_stone
21.09.2026 17:00Ага. "Мне бы проблемы того Бострома" )) Я действительно хотел бы, чтобы единственной моей проблемой было решать - "чем сегодня заняться, сходить ли на рыбалку, почитать бы книгу или продолжить строительство яхты", а не "дом - работа- работа- работа- ипотека- ЖКХ - суды -работа-работа-здравствуй, кладбище, наконец-то высплюсь".
Только не будет "Механического пианино", будет "Время" по Николлу. Полно низкооплачиваемой работы руками, которая не поддаётся автоматизации, и которая никогда не выведет в люди, и никакой возможности выйти из этой касты физически (хотя формально - никто не препятствует). И да, ИИ здесь будет играть скорее отрицательную роль (при том, что мог бы и положительную - вроде Коллигатора по А.Д. Фостеру или Охранительницы по Снегову).
ARad
21.09.2026 17:00Статью осилил полностью, с фактами спорить не буду — собрано добротно. А вот с выводом не согласен.
Давайте сначала про слово катастрофа. Если под ней понимать конец человечества — такого же ни разу не было. А если любую беду отдельного человека так называть, то и спорить не о чем, беды будут всегда.
Ядерку применили дважды. Про нее можно хоть на тысячу страниц отчет накатать, хоть про Хиросиму, хоть про Чернобыль — страшнее задним числом не станет. Химию запретили и живем дальше. Чернобыль рванул, Фукусиму тряхнуло — выжили, остальные реакторы работают. Ковид — ну год просидели по домам и забыли. Нас после него меньше не стало, нас 8 миллиардов.
С машинами вообще нагляднее всего. На дорогах больше миллиона в год гибнет.
И что, ходим пешком? Нет, ездим. Потому что в сумме благо, а беда у отдельных людей.
С кибератаками, по-моему, та же история. Ломали и до ИИ. Митника в свое время посадили на годы, он вышел и в кибербез ушел — и никто тогда про конец света не кричал. Новое сейчас одно, тут в статье точно подмечено — порог входа рухнул. Один человек с чатом закрывает почти всю работу по вторжению. Неприятно, да, но где тут конец человечества?
Взять хоть историю с Hugging Face. Агент дорвался до удаленного запуска кода, почти дотянулся до всей инфры — успели изолировать. Не лег он. Отчет на 154 страницы — это отчет, а не апокалипсис.
Сейчас ломать легко по понятной причине, дыры-то человек оставил, и закрываем по-старому. Переходный период, понятно. Дальше будет паритет, агент против агента, и искать станет примерно так же тяжело, как сейчас без ИИ.
Я почти уверен, что в сумме от ИИ в компе будет лучше. Почти — потому что два места меня цепляют.
Первое — био, уже сегодня. В кибербезе защита догоняет. А с вирусом может выйти наоборот, создать проще чем защититься. Если одиночке станет по силам новое придумать — это правда страшно. Что с этим делать, я не знаю. И хуже всего, когда на практике увидим что это возможно — будет уже поздно.
Второе — железо с личностью. Это не про завтра, перспектива туманная, лет 10-15 минимум, сейчас непонятно что с этим делать. Но цепочка-то простая: погладить рубашку, сходить в магазин, воспитать детей. А воспитатель без морали невозможен, это уже личность. Рой это уже показывает, дроны в полете сами решают кто главный, кто с другой стороны заходит. Пока уровень мухи, на автомате. Но чтобы твоя железка чужую переиграла, придется ее все умнее делать. В конце — личностью не хуже нас.
И рядом государство. Себе сети без ограничений, людям запрет, а между собой война агентами и наклепанными миллионами умных железных солдат. Вот это и будет катастрофа, а не ИИ внутри компа.
Тут механизм старый. Поздний Рим уже не граждане защищали, а нанятые варвары. Им отдали не просто мечи, а часть власти — решать и воевать от имени империи. Ну а дальше тот, кому дали власть, спрашивает — а зачем мне слабый хозяин. Варвары Рим так и разобрали. Но они были людьми, им после захвата другие люди были нужны. Поэтому беда империи, а не конец вида.
А робот-генерал… Войну выигрывает тот, кто вложил все. Людей-генералов умнее не сделаешь, а робота сделаешь. Чтобы командовал лучше, придется дать личностные качества. И когда он спросит зачем мне хозяин — люди ему будут уже не нужны. Сможет свое государство роботов построить. Вот этого я и боюсь, хоть оно пока в тумане.
Так что так. От ИИ в компе в сумме лучше, отдельным людям будет больно. А плохой сценарий только там, где био без защиты и где андроиды с желаниями на службе государства.
Georgy9
И все-таки слишком много подозрений, что и многочисленные "побеги из песочницы", и пресловутая самостоятельность и самоорганизация Агентов, и хайп про AGI и интеллект более мощный, чем у человека – лишь уловка разработчиков, чтобы продолжать доить инвесторов, которых обнадеживают блистательными перспективами в то время, когда вся остальная экономика катится в пропасть. При таких перспективах только и надежды, что на чудо, вот они и заворожены новыми "мультиками", о которых большие люди говорят, что они буквально на выходе.
Но с ИИ чудес не будет, Великий Слепец не способен отвести цивилизацию от пропасти. Никто не хочет осознать, что система, освоившая лишь вербальную часть опыта человечества, сама доступа к физической реальности не имеет, следовательно, за всеми этими словами для нее не стоит никакого смысла и ничего реального, ИИ – это просто словесная мясорубка и не более. Какой же это разум, да еще и подобный человеческому, если он не имеет ни ощущений, ни чувств, ни душевной и духовной жизни, но только рациональный логический интеллект, способный решать лишь определенный род задач? Это лишь инструмент, да и то только для достаточно узких областей человеческой деятельности.
Ни одна по-настоящему экзистенциальная проблема человечества не может быть разрешена системой, подобной человеку, лежащему в ванне для сенсорной депривации, не отличающей физическую реальность от своих галлюцинаций, ибо реальность для нее – лишь слова, а не жизнь в этой реальности.
– Что вы подразумеваете под аббревиатурой ИИ?
– Искусственный Интеллект, неужели не знаете?
– Просто мне представляется, что правильнее это расшифровывается как "Имитация Интеллекта". Ну, примерно, как самолет – это имитация птицы. Разница именно такая.
frozzzen
При невозможности создания монополии AGI так называемым "естественным путём", придется установить монополию насильственным путём. Например, методом регуляторного захвата с помощью так называемого "государства". Ребята из PayPal mafia в этом преуспели. См. например историю Palantir
Old_paranoid
К чему эта банальность? Имитация птицы решает прикладные задачи "лучше", чем птица, точно также, как имитация лошади - "лучше" чем лошадь.
Специально взял в кавычки "лучше", так как это критерий, связанный с оценкой ставящего задачи.
Вне этой оценки (оценочного критерия решаемых задач) выражение самолет – это имитация птицы вообще не имеет смысла.
Сравните:
Чучело птицы - это ее имитация.
Синица - это имитация журавля.
Разум Васи-электрика - это имитация разума Эйнштейна.
ощущения и чувства это просто
словеснаяхимическая мясорубка и не более.Georgy9
Я собственно об этом и написал, в узком спектре задач ИИ может быть гораздо эффективнее человека (так же как и экскаватор), но говорить о том, что эта имитация лишь одной ипостаси человеческого разума (вербально-логический интеллект) превзойдет его во всем остальном (творчество, интуиция, эмоциональный интеллект, духовные прозрения, нравственность и т.д.), просто не имеет смысла.
Впрочем, ваше отношение к ощущениям и чувствам настораживает, неужели в новых поколениях уже все так далеко зашло? Тогда да, если человек продолжит деградировать в сторону потери чувств и человечности, ИИ и вправду может его превзойти.
Медленно и незаметно в человеке по очереди и постепенно отмирают его прежние, присущие именно ему как человеку качества, как кажется, уже ненужные, лишь мешающие быть успешным и получать удовольствие. С виду он почти как прежний. Потом... хрясь! Шкурка прорывается и вылазит... Чужой.
inbuckswetrust
Если вы рассматриваете птицу только лишь как средство полета :) Но птицы это значительная часть экосистемы, спросите у китайцев. И если заменять бездумно птиц на их железных собратьев то можно наворотить таких делов великих.
nivorbud
А есть какие-то сомнения? Меня удивляет то, что многие всерьез обсуждают эти "побеги" из курятника...
Georgy9
Очень много таких "свидетелей ИИ", верующих в него как в новейшего Спасителя, недавно за подобные речи меня просто обнулили минусами, мол, конспирология, а "независимый" METR не даст соврать. Правда, на днях выяснилось, что он сам прикормлен Антропиком)))
ScreamPassion
Я бы сказал еще проще, мы от ИИ мало чем отличаемся, у нас контекст (тело, окружающая среда внезапно тоже контекст) у него контекст, у нас классификатор (чувства, например боль) у него классификатор, разница только в среде обитания, и вот тут тоже внезапно ему в нашей делать нечего точно так же как нам в его)
Georgy9
А нас-то вы за что так "опустили"? У ИИ нет ничего "своего", он "живет" в полностью нами созданной среде (это лишь наше плоское отражение), и это только малая часть человеческого опыта, та, которая поддается вербализации. Но основная наша суть нигде не зафиксирована, мы даже сами не очень-то знаем, что делается там, этажом ниже, в подсознании, откуда и приходят мысли, идеи, озарения, чувства, страсти и т.д. и т.п.
Dima954
Человек тоже живёт в практически полностью искусственной среде - городах с инфраструктурой, и при падении инфраструктуры на продолжительное время - люди будут массово гибнуть, так что сама по себе рукотворность среды ничего не доказывает.
ViashelavCz
, у нас классификатор (чувства, например боль) у него классификатор, разница только в среде обитания, и вот тут тоже внезапно ему в нашей делать нечего точно так же как нам в его)Все же у нас классификатор по сложнее будет и не до конца еще изученный, как например собственно чувства и боль, например влюбленность, причем мы не влюбляемся во всех подряд, кто-то нам и вовсе не приятен, а другой от нее/него без ума, а еще влюбленность может пройти и т.д.. А боль это ведь тоже тот еще классификатор, причем некоторые получают удовольствие от боли или от того что причиняют кому то боль. Ну в общем я к тому что, что может все наши “биологические классификаторы” чувства, эмоции, боль, наслаждение и пр , не ложатся просто на архитектуру LLM
darthmaul
Уже не только словесный, ГПТ-6 уже неплохо так рисует в 3д значит некое пространственное "мышление" у него есть. А разницы между созданием 3д моделей и управлением роботом не так и много (нужно по плоской картинке оценить пложение обьектов в простанстве и переместить подконрольный обьект - примитив в случае блендера. манипулятор у робота - куда надо) - то скоро им и "тела" сделают. Но конечно, разума в человеческом понимании там нет, это всего лишь аглоритм поиска кратчайшего пути к цели (поставленной задаче) со сложным абстрагированием. Поэтому все эти сказки про восстание машин это ничто иное как попсовый сайфай. Машина - не человек и личности, своих целей, желаний и эмоций иметь не может. Единственная угроза от ИИ которую я вижу это его потенциал по созданию репрессивной машины. Ни одна спецслужба не может следить за каждым, а ИИ вполне. Короче, не бойтесь ИИ, бойтесь охранятелей вооружённых ИИ. Ну и безработицы конечно - многие работы не то что ИИ, скрипт заменить может.
semennikov
Так в том то и беда, что эта имитация птицы летает больше дальше и быстрее! А насчет того что ИИ не имеет доступа к физической реальности - это очень большая ошибка! Имеет, да еще как! Любой робот подключенный к сети это и есть доступ к физической реальности! И я не имею в виду человекообразных роботов, точнее и их тоже, но не только и не столько их. Самые с моей точки зрения дающие максимум доступа - это военные роботы.