В 1841 году Чарльз Маккей опубликовал сборник исторических очерков «Наиболее распространённые заблуждения и безумства толпы». Сборник претерпел десятки переизданий и издаётся до сих пор.
Ничто не меняется: как раньше мужчины отращивали модные бороды и вкладывались в финансовые пирамиды, так и сейчас делают это. Наверное, вера в сильный ИИ (AGI) тоже относится к разряду «распространённых заблуждений и безумств», ведь люди спрашивают у LLM жизненных советов, ведут задушевные беседы, наделяют человеческими чертами и испытывают парализующий страх перед сингулярностью (абзац 204).
К сожалению, AGI и ASI (Сверхинтеллект) из чётких научных понятий превратились в маркетинговые слоганы, которые эксплуатируют кто как может. Теперь уже практически невозможно дать им определение. И это несмотря на тот факт, что термин «AGI» прописан в финансовом контракте между Microsoft и OpenAI, а от его исполнения зависит финансирование на миллионы долларов. То есть теоретически юристы этих компаний могут схлестнуться в суде с финансовым спором на тему, что такое сильный ИИ, создан он уже или нет.
Терминология
Сильный ИИ в медиа называют разными терминами, среди них:
AGI,
универсальный ИИ,
генеративный ИИ,
ГенИИ,
ИИ человеческого уровня,
общий ИИ (ОИИ).
По классическому определению, сильный ИИ предполагает, что «искусственная система может приобрести способность мыслить и осознавать себя как отдельную личность (в частности, понимать собственные мысли), хотя и не обязательно, что её мыслительный процесс будет подобен человеческому».
Некоторые утверждают, что такой момент уже наступил.
Но в ИИ-индустрии нет речи о самосознании. Индустрия заинтересована только в том, чтобы ИИ выполнял реальные промышленные задачи: программирование, написание текстов и т. д. Пусть даже механически, без всякого самосознания, неважно, главное — зарабатывать деньги, выпускать новые продукты, функции, платные подписки. Ничего не имеет значения, кроме денег, какое ещё сознание?
Ситуацию усугубляет то, что никто не знает, что такое сознание (и самосознание). Можно ли доверять системе, которая заявляет, что оно у неё есть? Можно ли доверять человеку, который заявляет такое? Вопросов много, ответов нет.
Поскольку мы не можем проверить факт самосознания у человека, то как проверить этот факт у машины? Никак.
Отсюда и неразбериха с термином AGI: по факту мы не можем точно сказать, когда в реальности появился сильный ИИ и когда у машины появилось самосознание. Это невозможно доказать.
Учёные даже не могут прийти к единому мнению, что такое «модель мира», которая присутствует в сознании человека, но предположительно отсутствует у ИИ.
Так или иначе, создание сильного ИИ связано с самостоятельным изучением мира и дальнейшим обучением на самостоятельно собранных данных:
В то же время Сэм Альтман сравнивает новый чатбот с супероружием из «Звёздных войн» и говорит, что он «спасёт множество жизней». Это знакомые приёмы, которые уже использовались маркетологами для возбуждения инвесторов в прошлом:
Ничего не меняется.
Магия непонятного + антропоморфизм = иллюзия рассуждений
На самом деле технологии машинного обучения есть и реально работают. Просто для людей они зачастую выглядят как магия, потому что LLM похож на «чёрный ящик» с недетерминированным результатом работы.
Благодаря антропоморфизму люди наблюдают человеческие качества во всём вокруг: в облаках, деревьях, животных, даже в LLM. Им кажется, что у статистического генератора текстов есть своё мнение и свои мысли, что он якобы «спорит» или «одобряет» их. По мнению исследователей, модели демонстрируют лишь иллюзию рассуждений. На самом деле эти «рассуждения» не имеют ничего общего с мыслительной деятельностью.
Однако некоторые люди сходят с ума, часами «разговаривая» с чатботом. Другие спрашивают у него совета, ищут сочувствия и поддержки, даже молятся и беседуют о Боге.
При желании легко увидеть признаки сознания там, где его нет.
Обучение ИИ — низкооплачиваемая работа
Тысячи низкооплачиваемых сотрудников в сверхурочное время обучают модель Google Gemini вести себя человекоподобно и казаться «умной» для обычных юзеров, которые ничего не понимают в технологиях. Такой обман очень важен для коммерческого успеха и популярности продукта. Примерно то же самое происходит и с другими LLM. Обучением ИИ занимаются специализированные подрядчики, такие как Hitachi GlobalLogic, Accenture и Appen.
Такую работу можно сравнить с Mechanical Turk, где пользователям платят по несколько рублей за решение простых задач и участие в опросах. Или с разметкой данных для первичного обучения моделей, для чего нанимают работников в странах третьего мира. Но в Hitachi GlobalLogic платят чуть больше: от $16 (базовая ставка) до $21 в час (повышенная ставка для «супероценщиков»).
Недавно в открытый доступ попали инструкции для сотрудников (PDF) по обучению генеративного ИИ.
На заре появления поисковых систем разработчики ставили задачу обработки «поисковых запросов на натуральном языке», чтобы общаться с поиском можно было на обычном русском (английском), то есть разговаривать, как с человеком. Предполагалось, что обычному пользователю такое общение будет удобнее.
Теперь эта задача решена — и юзеры в восторге.
Независимо от качества поиска информации и надёжности источников, многим нравится процесс «разговора» с LLM. Некоторые даже не проверяют данные в первоисточниках, а ведь информация по ссылкам часто противоречит тексту, который генерирует статистическая модель. Например, большинство ИИ-оценщиков GlobalLogic не доверяют и не пользуются LLM, потому что знают, как создаются эти тексты.
Но ИИ — это не магия, а огромная пирамида человеческого труда: сначала по созданию контента, а потом по обучению модели. Часть «оценщиков» (AI raters) — это высококвалифицированные специалисты в своих областях, но в основном это низкооплачиваемый неквалифицированный труд.
ИИ-эффект и теорема Теслера. Бесконечная фантазия
По определению, сильный ИИ должен обладать самосознанием и способен выполнять любую интеллектуальную задачу не хуже человека. В свою очередь, Сверхинтеллект — это интеллект гораздо выше человеческого, недоступный нашему пониманию.
Однако ни того ни другого пока не существует. И мы не знаем, как они будут выглядеть, как определить появление AGI, по каким признакам. Ведь по мере того как слабый ИИ начинает успешно решать разные человеческие задачи, определение самого ИИ изменяется.
Если что-то из задач ИИ реализовано на практике, то мы начинаем называть это бытовыми терминами (распознавание речи, OCR, беспилотный автомобиль, автоматический перевод текста, кредитный скоринг, игра в шахматы и др.), но уже не Искусственным Интеллектом. Это известный ИИ-эффект или теорема Теслера.
Пока технологии нет — это ИИ, а как только она реализована — это уже не ИИ.
Теорема Теслера (1970):
ИИ — это всё, что ещё не сделано.
Другими словами, «ИИ» как термин в массовом сознании — это всегда будущее, какая-то фантастика и нечто магическое. По мере достижения очередной цели мы постоянно повышаем планку.
Это даёт возможность маркетологам и бизнесменам постоянно «разводить» инвесторов грандиозными планами. Такая «морковка» всегда висит перед их мордочками как стимул бежать вперёд.
Сэм Альтман обещал сильный ИИ в 2025 году. Илон Маск заявил, что «xAI достигнет AGI с Grok 5», обучение которого начинается в конце сентября, а в доказательство приводит результаты мультиагентной системы Бергмана на базе Grok 4 в бенчмарке ARC-AGI с головоломками на цветных клеточках:
Но система Бергмана была специально заточена на решение конкретно таких головоломок для этого бенчмарка. Собственно, абсолютное большинство лидеров в любых бенчмарках AGI специально оптимизированы на решение задач в конкретных бенчмарках. А эти задачи обычно имеют слабое отношение к реальной жизни и быстро устаревают. И где здесь речь про самосознание?
Позже Сэм Альтман вообще заявил, что «AGI — не суперполезный термин» для описания технологии. Другими словами, вокруг технологии так много хайпа, что размылся смысл понятий.
AGI и ИИ — уже не технологии, а маркетинговые слоганы. После разочарования от разрекламированной модели GPT-5 появилось подозрение, что «тупой» ИИ с нами надолго.
Сингулярность
Впрочем, засилье маркетологов не отменяет научно-технический прогресс. Он идёт, несмотря ни на что. И технологическая сингулярность действительно возможна в том случае, если Сверхинтеллект начнёт работу. К счастью для него, инвесторы сейчас вкладывают миллиарды в строительство дата-центров для ИИ.
Дата-центры нового поколения, которые строятся сейчас, пригодятся для Сверхинтеллекта в будущем, как огромные инвестиции в оптоволокно для международных телефонных переговоров 90-х пригодились для высокоскоростного интернета в 2000-е.
Пусть сейчас экономика ИИ не сходится, и текущие компании разорятся, но само железо и ЦОДы не пропадут.
Какие прогнозы по срокам появления Сверхинтеллекта и сингулярности? Мнения сильно расходятся, смотря у кого спрашивать. Активисты из организации SingularityNET видят сингулярность в течение ближайшего десятилетия и даже выпустили специальный криптотокен в связи с этим событием. Какой же Сверхинтеллект без своего токена?
Другие приводят расчёты, что сильный ИИ вообще математически невозможен.
Как изменится общение людей, когда у каждого в ухе будет наушник со всезнающим подсказчиком, который руководит его действиями? Можно ли таких существ называть людьми в привычном смысле? Может, нынешние сапиенсы — это просто биологический бутлоадер (загрузчик) для продвинутой ИИ-расы будущего из человеко-компьютеров или просто компьютеров.
Наверное, уже скоро ИИ-помощники в фоновом режиме станут такой же обыденностью, как видеосвязь и другие фантастические вещи, которые раньше встречались только в «Стартреке»:
Реальность меняется очень быстро. Но по крайней мере, до наступления эпохи мозговых имплантов поговорить без электронных подсказок всегда можно в бане.
Многим необходимо во что-то верить (религия, приметы, гороскопы, справедливый мир, вера в научно-технический прогресс), потому что вера важна для психологической защиты и адаптации к окружающему хаосу.
Поскольку определение AGI и Сверхинтеллекта постоянно изменяется и отодвигается в будущее, легко разочароваться в реальности ИИ. Это напоминает классическую цитату киберпанка, что будущее уже здесь, просто ещё неравномерно распределено. Что для одного будущее — для другого уже реальность. И вдруг у какой-то модели LLM уже есть самосознание, просто ей никто сейчас не верит?
© 2025 ООО «МТ ФИНАНС»
Комментарии (29)
bookker
29.09.2025 10:24Ситуацию усугубляет то, что никто не знает, что такое сознание (и самосознание). Можно ли доверять системе, которая заявляет, что оно у неё есть? Можно ли доверять человеку, который заявляет такое? Вопросов много, ответов нет.
Поскольку мы не может проверить факт самосознания у человека, то как проверить этот факт у машины? Никак.
Ситуация не совсем такая, точнее совсем не такая. Сознанием мы все обладаем и имеем о нем некоторое представление не понаслышке. У нейробиологов есть различный инструментарий определения наличия или отсутствия сознания. За последнее время ученые здорово продвинулись в понимании биологических механизмов возникновения и развития сознания.
Но! Сейчас это самый край науки и это знание не только не дошло еще до широких масс, но даже научное сообщество в значительной степени еще пребывает в плену устаревших ошибочных идей насчет сознания. Этим вызвано разнообразие толкований, мнений и всякая путаница.
Машина пока точно не обладает сознанием, поскольку оперирует символами, а не смыслами, как мозг.
Wizard_of_light
29.09.2025 10:24Смыслы в отрыве от символов плохи тем, что ими не особо пооперируешь совместно.
Hardcoin
29.09.2025 10:24Дайте научную статью, на которую вы ссылаетесь, говоря, будто мозг оперирует смыслами. Звучит по бытовому, вы точно это взяли из последних достижений нейробиологов, про которых упоминаете?
bookker
29.09.2025 10:24это цитата от Джона Серла, это один из крупнейших экспертов в этой области, автор "китайской комнаты", погуглите
maslyaev
29.09.2025 10:24Многоуважаемый Джон Серл и сам запутался со своей китайской комнатой, и поскольку был одним из крупнейших экспертов, и всех остальных тоже запутал. Разгадка феномена китайской комнаты простая до безобразия, но дискутировать с крупным экспертом, по-видимому, никто не захотел.
wiki7979
29.09.2025 10:24Ну нельзя же так просто заинтриговать и уйти. Какова всё-таки эта до безобразия простая разгадка?
Calculater
29.09.2025 10:24Раз комментатор не появился пока, выскажу за него: "Семантики нет, есть только договоренности о синтаксисе?"
maslyaev
29.09.2025 10:24Ничего необычного. Та самая эмерджентность, о которой говорили кибернетики середины прошлого века. Да, чувак в комнате не понимает китайского, а записанные на карточках алгоритмы не могут действовать самостоятельно. Компоненты системы каждый по отдельности не могут общаться на китайском, но вместе вполне могут.
Эмерджентность это не что-то необычное, это то, что мы наблюдаем практически везде. Атомы стола не обладают стольностью, атомы стула - стульностью, на отдельном волокне бумаги ничего невозможно написать, отдельный кусочек графита невидим глазу, отдельный символ текста программы не может обрабатывать данные.
Магия китайской комнаты обусловлена тем, что этот мысленный эксперимент про сознание - безбожно мифологизированную штуку. Плюс к тому всё приправлено китайским языком. Но по сути оно про любой предмет, который мы увидим, стоит только открыть глаза.wiki7979
29.09.2025 10:24Да, понятно что стола не существует, но понятие стола существует. Я конечно не Серл, и он здраво рассуждает - странно что только сейчас про него узнал. Но все таки думаю он прав в рамках его постановки эксперимента. Но если сделать одну маленькую поправку, что некоторые ответы которые генерит учёный внутри китайской комнаты заставляют его страдать (лишают еды) или наоборот - поощряют, то со временем у него появится некоторое представление какие ответы хорошие, какие плохие - то есть для него возникнет смысл. Похоже для сознания нужна субъектность (функция потерь). То есть смысл это внутреннее представление входящей информации, а не просто алгоритм ответа. Не только создание ответа, но и как этот ответ влияет на самого субъекта и возникающие многократные обратные связи в процессе подготовки ответа: например - дать сдачи (драка, боль, больница) или бежать (жив, здоров, стыд). Возможно функция потерь должна быть многомерной - и это привносит дополнительный фактор в принятие решений - где можно одними потерями пренебречь, а какие более важны. Так что возможно сильный ии теоретически возможен в человеческом понимании, если удастся воспроизвести систему восприятия и функцию потерь
michael_v89
29.09.2025 10:24
ssj100
29.09.2025 10:24Почему ИИ из Китая лучше проходят эксперимент с Китайской комнатой? так как они изначально знают китайские иероглифы
Эксперимент
Представим себе изолированную комнату, в которой находится Джон Сёрл, который не знает ни одного китайского иероглифа. Однако у него есть записанные в книге точные инструкции по манипуляции иероглифами вида «Возьмите такой-то иероглиф из корзинки номер один и поместите его рядом с таким-то иероглифом из корзинки номер два», но в этих инструкциях отсутствует информация о значении этих иероглифов, и Сёрл просто следует этим инструкциям подобно компьютеру
maslyaev
29.09.2025 10:24Ну и что меняет предположение, что чел в комнате может выучить алгоритм? Разве вам не доводилось общаться с "экспертами", которые красиво и убедительно говорят правильные слова о вещах, в которых, по сути, они ни бельмеса не смыслят?
Hardcoin
29.09.2025 10:24Гуглятся только научно-популярные пересказы его идей. Это точно цитата, а не вольный пересказ? Если не затруднит, дайте именно работу, откуда цитата.
Спрашиваю потому, что во-первых, как цитата не гуглится, во-вторых он философ, а вы упоминали нейробиологов. Вы уверены, что не преувеличили?
bookker
29.09.2025 10:24в вике есть список его лит-ры, статья Разум, мозг - компьютерная программа? Публикация на русском: https://alt-future.narod.ru/Ai/sciam1.html
о нейробиологах я упоминал в связи с инструментами, а не утверждением об отсутствии сознания у машин, не путайте.
DJP
29.09.2025 10:24Нейробиологи изучают био-мозг. И не само сознание, его суть, а нейрокоррелят ("индикатор") т.е. "вот оно есть, а вот нет - как понять, по каким признакам работы мозга?.." (см. определения IIT и GNWT).
Ну а ИИ (кремниевый) имеет совсем другую архитектуру "мозга" и био-индикатор ему не подходит.
Так что надо сначала с сутью сознания разобраться https://habr.com/ru/articles/871796/
omxela
29.09.2025 10:24Сознанием мы все обладаем и имеем о нем некоторое представление не понаслышке.
Серьёзно? То есть, я-то в своём сознании точно разбираюсь? По мне, так мы ничего не понимаем в том, что мы считаем сознанием - мы им пользуемся. Примерно как некто пользуется телевизором, в принципе не понимая, как тот работает.
У нейробиологов есть различный инструментарий определения наличия или отсутствия сознания.
А нейробиологи об этом знают? И вы уверены, что именно нейробиологи занимаются сознанием и его отсутствием? С таким же успехом я могу сказать, что в этом преуспели психиатры. Боюсь, что ни те, ни другие не знают, что такое сознание. И никто не знает, - для этого, увы, пока нет даже формального понятийного аппарата, только эмоциональные эпитеты и умножение неясных сущностей типа "сознание оперирует смыслами"
даже научное сообщество в значительной степени еще пребывает в плену устаревших ошибочных идей насчет сознания
Раз вы пишете об этом так уверенно, то, значит, принадлежите к этому узкому кругу посвящённых, которые не пребывают в плену устаревших, да ещё и ошибочных идей. Не хочу иронизировать по этому поводу, ночто же это ЗАО так хорошо скрывается?
bookker
29.09.2025 10:24В той или иной степени конечно разбираетесь. Вы же не станете например отрицать, что ваше сознание принадлежит только вам и обеспечивает вам способность делать оценки и принимать решения, а это одно из важнейших свойств сознания - субъектность и таких характеристик достаточно. По поводу нейробиологов и психиатров комментировать не стану, это не аргумент, а скорее высокомерная позиция. О состоянии науки о сознании вы можете найти много информации - последние 30 лет количество исследований и публикаций многократно возросло. Если вас действительно интересует тема - то придется много читать, повторюсь, это сейчас край науки и идут напряженные поиски в ведущих лабораториях мира, пока никто не обобщил и не упростил, как это делается для учебников (хотя пишется научпоп: Дамасио, Солмз, Инел Сет, Рамачандран, Грациано, Хамфри и др). Рано или поздно это будет сделано как только идеи ученых утвердятся сначала в научном сообществе а потом и в массовом.
maslyaev
29.09.2025 10:24Вы же не станете например отрицать, что ваше сознание принадлежит только вам
Здесь Хабр, здесь оспорят что угодно.
Моё сознание, конечно же, мне не принадлежит, потому что моё сознание и есть я.
bookker
29.09.2025 10:24Моё сознание, конечно же, мне не принадлежит, потому что моё сознание и есть я.
Этим вы не только не опровергли, но, наоборот, блестяще подтвердили тезис.) Поздравляю!
maslyaev
29.09.2025 10:24Главный тезис был про оспаривание на Хабре чего угодно, и вы его блестяще подтвердили.
А что касается второго тезиса, то как, интересно, я не опроверг, а подтвердил?
knowthyself1
29.09.2025 10:24что ваше сознание принадлежит только вам
Во-первых, это не так.Во-вторых, может это вы принадлежите сознанию.
В третьих человек действует по большей части бессознательно. А это, сфера бессознательного, общая для индивидов с одинаковыми культурными кодами.
vtal007
29.09.2025 10:24Ну так-то где та "граница", после которой мы можем сказать, что мы "понимаем".
Лечение болезней понимаем? Ну вроде то лечим, но рак как-то не очень (и много чего еще и людей и у животных)
Космос? Ну ракеты-спутники летают, люди-животные летают. Понимаем?
И так во всем ведь.
А с психикой еще сложнее. Занимаются и определений сознания хватает. Но тут суть в том, что эти определения рождаются для тех задач, для которых их создают (и это касается не только термина "сознания) - для судмедэксперта - сознания это одно, для патологоанатома другое, для врача скорой помощи - третье (но скорее всего у всех трех это определение будет сходное). А у психологов-психиатров будет немного другое определение. Потому что они с другой стороны подходят. Так, периодизация в возрастной психологии - считается, что самосознание появляется у детей в возрасте около 3 лет (а сознание, очевидно, раньше)
Формально-понятийного аппарата хватает для любых предметов и явлений. Но это не значит, что мы достигли глубоких глубин (и это касается не только психологии)
Jubilus
29.09.2025 10:24Даже если машина оперирует только символами, но делает это настолько хорошо, что ее поведение неотличимо от поведения существа, оперирующего смыслами - какая для нас как для внешних наблюдателей разница?
oldmold
29.09.2025 10:24Обратный нелинейный стохастический фильтр (нелинейная стохастическая деконволюция) не может обладать сознанием по умолчанию. :-D
Jubilus
29.09.2025 10:24Правильно подметили, что индустрии не нужно самосознание, ей нужны инструменты, которые решают бизнес задачи
Никто не будет платить за ИИ, который осознает себя, но не может сгенерировать отчет по продажам
thegriglat
29.09.2025 10:24«осознает себя, но не может сгенерировать отчет по продажам»
для этого дешевле нанять обычного человека
CitizenOfDreams
"Черный это цвет? А белый это цвет? Вот видишь, я таки продал тебе цветной телевизор."
Jubilus
Вся эта история с AGI в контракте это скорее маркетинговый и пиар-ход, чем реальное юридическое обязательство, это способ показать инвесторам и рынку амбициозность и визионерство