В обзоре угроз ИИ я собрал позиции научных сообществ, комитетов по безопасности и бизнеса. Каждая отражает взгляд своей группы и говорит на ее языке, усредненно и обезличенно. Одни дают сухие и конкретные рекомендации, другие описывают риски и выгоды. Лично мне в них не хватает мнения отдельного человека, который смотрит на вопрос с нескольких сторон и говорит от себя.

Чтобы увидеть такую позицию, я решил поговорить о вызовах и проблемах развития ИИ с профессором, доктором физико-математических наук Марком Берколайко. Он много пишет об экономике и сейчас увлечен темой масштабирования — ключевой задачей современного бизнеса. А художественные романы Марка выдают человека с большим жизненным опытом.

Как математик Марк требовал от разговора определенности. Так, чтобы все было в соответствии со школой Щедровицкого: сначала схема, где написано, кто решает и кто отвечает, а все остальное потом. Писатель в нем тем временем просил масштаба и драматизма, и в беседе хватило места и космосу, и Бунину. Возражать ему было трудно, а соглашаться сразу неловко: тема серьезная и неоднозначная, ни по одному пункту мы не сошлись с первого раза. Вышло примерно то, что в бизнесе называют вин-вин. Оба ушли с мыслями, которых до разговора не было. И я предлагаю вам тоже погрузиться в эту тему и составить свое, третье мнение на основе наших.

Информационное поле заполнено алармистскими материалами об ИИ. Вы разделяете эти страхи?

Рома, во-первых, давай избегать слова «страх». В марте 1933 года Рузвельт произнес свою инаугурационную речь, в которой, в частности, была замечательная, по-моему, фраза: «Единственное, чего нам следует бояться, — это сам страх». Кроме того, брошюра «Алгебра конфликта» Владимира Лефевра и Георгия Смоляна была впервые издана в 1968 году тиражом, который сейчас кажется фантастическим — более 60 тысяч экземпляров. Разошлась довольно быстро, но изложенный в ней новый взгляд на природу принятия решений в конфликтных ситуациях подхвачен не был. Не вписался он в тогдашнее бурление «информационного пространства», активно обсуждались проблемы модной в те времена кибернетики, в частности замены человека на ЭВМ. 

Стало быть, сумятица в умах на грани алармизма, а то и паники, была и есть всегда — но ведь живы же пока! И даже принимаем то и дело взвешенные, разумные решения, хотя мир сейчас ничуть не менее конфликтен, чем в 30-е или в 60-е годы прошлого века! Так что ничьи страхи не разделяю и собственные не генерирую. Но признаю, что угрозы в корне неверного выстраивания взаимоотношений человека и ИИ есть.

И что же это за угрозы, по-вашему?

Первая исходит от нас же самих. Мы успели уверовать во всемогущество ИИ, в то, что он «захочет» нас поработить; но приведу пример, который немного, как говорят в Сибири, охолонит страсти.

Очень люблю рассказ Бунина «Натали» и считаю одним из лучших в мировой прозе. Люблю слушать его в аудиозаписи. Вчера в очередной раз наслаждался: слушал Бунина и попутно играл в шахматы с ИИ. А сегодня популярнейший хостинг мирового уровня выкатывает мне рекомендации, чем еще насладиться. Оказалось, что откровенной порнухой, причем это подчеркивается даже анонсами, которые как бы призывали: ты ведь старичок сластолюбивый, так окунись в эти помои, тебе будет хорошо.

Я обиделся даже не за себя, а за Бунина. Если ИИ, который эти рекомендации формирует, считает Ивана Алексеевича провозвестником такой похабели, то какой он, к черту, интеллект? И пока этому ИИ так далеко до адекватного анализа наших эмоций и чувств, то нет, не поработит.

Марк Зиновьевич, рекомендательные алгоритмы, которыми пользуется ИИ хостинга, подбирают то, на что кликают похожие пользователи. Может быть, в вашем примере алгоритм отразил вкус толпы? Я все же исхожу из того, что рост ИИ в сторону большего понимания продолжится.

Разделяю твои надежды, но пока, как ты сам сказал, «вкус толпы»... А отсюда — цепочка неэффективностей: небрежное усреднение, приблизительная классификация, чрезмерные упрощения, примитивное моделирование... но ладно, это несколько другая тема; может быть, она всплывет в нашей беседе еще раз, тогда и обсудим... Если же вернуться к твоему первому вопросу, то многие считают, что ИИ уже развивается экспоненциально.

В частности, мой сын, профессор математики в одном из крупнейших университетов США. Каждый раз, когда мы говорим по скайпу, он взахлеб рассказывает, как здорово общается с AI. Взялся, к примеру, перерабатывать свой курс финансовой математики для старших курсов, и Claude указал ему на несколько недочетов, дал очень квалифицированные советы: что объяснить подробнее, какие задачи когда прорешать и так далее. То есть в качестве консультанта, эксперта высочайшего уровня такой ИИ труднозаменим уже сегодня.

Но для меня свидетельством экспоненциального развития станет решение ИИ хотя бы одной из знаменитых математических проблем: гипотезы Римана о нулях дзета-функции, гипотезы Эйлера — Гольдбаха о простых числах, существование гладких решений системы нелинейных уравнений Навье — Стокса, описывающих атмосферные явления... Вот здесь уже не обойтись тщательным прорабатыванием контента, здесь необходим прорыв за горизонт. 

Насколько помню, какие-то трудные задачи из теории чисел ИИ за последние года два решил?

Вроде бы решил что-то из задач Эрдёша, которые тот формулировал в огромном количестве, две общие тетради набралось. Но математики слишком заняты, чтобы проверять эти многостраничные доказательства, а даже если там все верно, это задачи не «высшего пилотажа»... Однако допустим, что возможности ИИ будут множиться почти экспоненциально. Есть ли в этом угроза для человечества? Опять же, если допустить, что есть, то всерьез стоит обсуждать две.

Первая — мощью мышления ИИ будут пользоваться злоумышленники: люди или террористические государства, которых сейчас на планете наберется с пяток. Мы поговорим, как эту угрозу нивелировать. Вторая описана во многих фантастических романах, а от фантастов не нужно отмахиваться, они заглядывали довольно далеко и глубоко: ИИ захочет создать собственную цивилизацию, которая вытеснит или подчинит человеческую. Вот две системные угрозы, которые стоит обсуждать. Я не эксперт по ИИ, а системный аналитик, но готов рассмотреть и другие, если ты их сформулируешь.

Давайте начнем со второй угрозы. А третью, которую вы просили сформулировать, оставлю на потом. У ИИ-агентов уже появилась собственная соцсеть, где они общаются между собой, и в прессе писали, что они придумывают свои языки. Это первые признаки отдельной цивилизации?

Этот пример еще не говорит о стремлении ИИ построить свою цивилизацию. Если они так рвутся общаться между собой в ущерб полноценному общению с нами, то это скорее, на мой взгляд, проявление некоторой их ксенофобии. Отслеживать такое надо, но угрозы я в этом не вижу. Что же до цивилизации в космическом смысле слова, опять отсылаю к фантастам.

На Западе очень моден роман «Ложная слепота» Питера Уоттса. Написан он ужасным языком, переведен на русский еще ужаснее. Но замысел замечательный: где-то очень далеко земная цивилизация борется с другой, построенной на чистом интеллекте, абсолютно лишенном эмоций и чувств. И главное, лишенном того, что, на мой взгляд, подталкивало нас к построению цивилизации. Мы, люди — единственные живые существа на Земле, которые очень рано понимают конечность своего существования. Этот страх ухода, страх прекращения меня, такого хорошего, умного и красивого (в кавычках), как бы я с ним ни боролся, сидит внутри и заставляет «поработать на вечность». Так вот, в романе те, другие, вроде как побеждают.

Это очень глубокая постановка вопроса, и на язык не надо обращать внимания. Сознание — это интеллект плюс эмоции и чувства. Если появляется нечто, как сегодняшний ИИ, лишенное эмоций и чувств, основанное только на холодной умственной деятельности, то его цивилизация будет нам враждебна. Возможно ли это на Земле, в рамках нашей ноосферы — давай обсудим позже.

Марк Зиновьевич, тезис «у ИИ нет чувств» сегодня оспаривается. В 2025 году в Communications Psychology вышла работа швейцарских психологов: шесть языковых моделей прошли пять тестов на эмоциональный интеллект и набрали в среднем 81% правильных ответов, у людей было 56%. А в апреле Anthropic нашла внутри Claude состояния, которые работают как эмоции и влияют на поведение. Правда, и там и там авторы оговариваются, что это скорее знание об эмоциях, а не чувствование «как у людей», это еще пока не доказано. Выходит, уже что, «чистого интеллекта» из «Ложной слепоты» у нас нет, потому что ИИ вырос на человеческой культуре?

Холодный интеллект «представителей» иной цивилизации в «Ложной слепоте» тоже умел оценивать влияние сознания на решение и их реализацию интеллекта «представителей» нашей, но «проживать» наши чувства и эмоции они не умели и не хотели уметь... 

А если бы вам пришлось дать одну рекомендацию бизнесу и одну государству, что бы вы посоветовали в связи с ИИ?

Я бизнес-консультант с большим стажем, почти таким же, сколько существует бизнес в России, поэтому здесь отвечу подробнее. Вопросами государственного масштаба я никогда не занимался. Соображения у меня есть, но это соображения человека, который в этой кастрюле не кипел.

Мы с моим молодым соавтором Сергеем Леонидовым, генеральным директором группы компаний FTnet, где я имею честь быть советником, работаем над книгой о философии бизнеса и философии для бизнеса. Работа непростая, но увлекательная. Наткнулись мы, в частности, на такую интересную штуку. 

Производственной функции Кобба — Дугласа почти сто лет. Если совсем упрощенно, то по этой модели любой бизнес находится между абсолютно капиталоемким, где все затраты идут на средства производства, и абсолютно трудоёмким, где все затраты идут на труд. Мы посчитали (тоже с помощью ИИ), что будет, если при постоянной сумме «средства производства + труд» первое слагаемое (например, затраты на ИИ, роботизацию, информатизацию) доминируют все больше и больше. И выяснили, что выигрыш бизнеса измеряется цифрами после запятой.

Например, если отношение «капитал/труд» у некоего предприятия равно 4, а параметр, оценивающий близость его к абсолютно капиталоемкому, равен 4/5, то выпуск (допустим, в миллиардах) — 1,52; если 11,5, то при значении параметра 5/6 выпуск равен 1,53. Если же отношение «капитал/труд» равно 24, параметр равен 7/8, то выпуск составит 1,61. Теперь представь, друг Рома, ты владелец предприятия, где упомянутая сумма равна 2,5 млрд, и при этом ИИ и роботы поглощают из них 2,3 млрд. Выпуск равен 1,53 млрд. Выгнал ты восвояси много-много сотрудников, остальным повысил з/п чуть ли не вдвое, но довел затраты на производство до 2,4 млрд. Радуйся: выпуск стал 1,61.

Только радость твоя будет недолгой: ты попадаешь в сильнейшую зависимость от оставшихся немногих сотрудников, от технического состояния роботов и обеспечения безопасности своего «такого продвинутого» предприятия, поскольку на улице оказались толпы тех, кому не повезло остаться на прежних рабочих местах... Поэтому совет бизнесу единственный. Конечно же, внедряйте информационные технологии, роботизируйте производство, применяйте ИИ, но помните: оставшимся работникам за высочайшую их квалификацию и умение работать с роботами и ИИ вы должны платить много, а может быть, очень много. Не говоря уже о том, что Россия — страна личных контактов, а значит, совершать сделки купли-продажи производимого продукта еще очень долго смогут только люди.

Уж не хотите ли вы сказать, что модернизация производства не ведет к существенному увеличению выпуска?

Хочу сказать, что перекладывание средств «из одной тумбочки в другую» часто оборачивается якобы модернизацией. Но если ты, друг Рома, инвестируешь полмиллиарда (20% от 2,5 млрд) в свое предприятие, где сумма «средства производства + труд» есть 2,3 млрд + 0,2 млрд; если распределишь эти инвестиции в долях: 460 млн — на средства производства, 40 млн — на труд, то твой выпуск 1,53 увеличится на те же 20%, то есть станет 1,836 при любых значениях параметра. Сравни-ка с ростом, означенным выше! Бизнес модернизируется и растет за счет инвестиций, за счет совершенствования средств производства и повышения оплаты высококвалифицированного труда, а не за счет того, что становится (якобы) менее трудоемким и (якобы) более капиталоемким! Это азбучная истина, но о ней — в погоне за модой, трендом и брендом — часто забывают. 

Теперь о государстве. Многие страны пошли по пути суверенного ИИ, но информационное пространство давно и прочно стало интернациональным. Кое в чем это опасно, но появляющиеся при этом возможности неизмеримо выше, чем у огороженного заборами «своего» пространства. Есть области высочайшего уровня мышления, например теоретическая физика и математика, которые не могут быть немецкими, русскими, французскими. Гитлер и его подручные «очистили» физику и математику от «еврейского влияния», не понимая, в силу своей тупости, что и еврейской физики или математики нет, а есть интернациональная кооперация мощных умов. Когда кто-то из нацистских бонз спросил у великого Давида Гильберта, чистокровного пруссака, как себя чувствует оздоровленная немецкая математика, тот ответил, что ее больше нет.

Однако работы по атомной бомбе были суперзасекречены...

Да, вот только собравшиеся в США замечательные физики делали все, чтобы бомба появилась, а оставшийся в Германии Гейзенберг — все, как мне кажется, чтобы у нацистов она не появилась. Во всяком случае, после того как норвежские антифашисты уничтожили завод по выработке тяжелой воды, немецкий проект создания бомбы остановился. Когда же американцы взорвали бомбу в Хиросиме, то Гейзенберг, формальный руководитель немецкого проекта, тут же объяснил, какое решение лежало в основе Манхэттенского проекта. Не верю я, что великий физик неверно оценил, какой из двух принципов, «тяжеловодный» или «графитовый», быстрее ведет к цели. 

А американские физики, понимая, как опасна монополия на атомное оружие, делились секретами о нем с советской разведкой. Многие, уверен, делились, хотя ФБР «расшифровало» только двух, которых судили и казнили.

Нет, нет и нет, надо договариваться. Только не в рамках Организации Объединенных Наций, этой насквозь, по моим ощущениям, коррумпированной говорильни. Но верный путь тем не менее один: международная кооперация — такая же, как при выработке договоренностей о нераспространении ядерного оружия, когда драматично, криво, косо, но спасли и до сих пор спасают мир от уничтожения.

По моим сведениям, попытки договориться есть, но они региональные. Китай собирает вокруг себя лигу государств, которые пытаются что-то урегулировать в ИИ. Америка действует на уровне своих корпораций. В масштабах всей планеты попыток, по-моему, нет.

Рома, в том, что такие блоки будут образовываться, я не сомневаюсь. Человечество еще не настолько развито, чтобы садиться и разговаривать на равных, американцу, например, с несимпатичным ему китайцем или китайцу с несимпатичным американцем. Но блоки все равно дойдут до уровня, когда будут договариваться хотя бы о системах безопасности.

Не было более экзистенциальных врагов, чем Советский Союз и Соединенные Штаты. Но в 70-е было десятилетие разрядки международной напряженности. Никто не говорил: уничтожьте свое ядерное оружие. Садились и говорили: давайте сделаем так, чтобы вы боялись моего ответного удара, а я боялся вашего ответного удара... И удалось договориться. Мир до сих пор держится на этих договоренностях.

То есть региональное взаимодействие вы воспринимаете как первый шаг к глобальному?

Да. Если Китай собирает вокруг себя союзников, значит он понимает, что китайского ИИ в одиночку быть не может. Советский Союз собрал вокруг себя страны Варшавского договора, так как понимал, что один уже не потянет. Соединенные Штаты собирали НАТО по той же причине. Будут блоки, это будет первый шаг. А потом блоки поймут, что договариваться надо в рамках земной цивилизации, в рамках ноосферы Земли. Почитай Вернадского. Ноосферу нельзя поделить на кусочки, это не торт. А мы в ноосфере существуем уже по крайней мере лет семьдесят.

Марк, ядерное оружие требует редких материалов, а веса модели копируются одним файлом. Работает ли аналогия с паритетом, если ИИ нельзя пересчитать по боеголовкам?

Прямой аналогии, конечно, нет. Изготовить ядерные материалы, обогатить уран — гигантские усилия. А получить наилучшие токены в нужном количестве и нужного качества гораздо легче. У тебя самого есть работа о токеномике. Ты свел все к набору элементарных деталей. Это и есть правда системного анализа: не бывает продукта, который не раскладывается на составляющие, и для продукта следующего уровня нужны еще лучшие составляющие.

Получается, уязвимое место здесь — серверные мощности: развернуть дата-центр, обеспечить его электричеством и оборудованием нужного качества. Мало иметь модель, нужно, чтобы она на чем-то работала.

Точно! Что такое ИИ? Прежде всего много серверных стоек в каком-то дата-центре. Мы говорим «облако», забывая, что облако обеспечивается железом и гигантскими затратами электроэнергии, за которыми стоят освоенные человечеством материальные и энергетические ресурсы. Значит, чтобы стране X победить страну Y с реальной помощью ИИ, нужна энергоизбыточность, нужны дата-центры, нужны резервные копии в совершенно других местах.

Через два-три года мы поймем, что настоящий, развитый ИИ требует такого же высочайшего технологического и энергетического уровня, как ядерные технологии. Дома дата-центр не создашь, и дело даже не в квадратных метрах, не в дорогом железе, а в электроэнергии, которую это будет потреблять. Аналогия между ядерными технологиями и ИИ пока просматривается без деталей, но на системном уровне все ясно: нужны высокотехнологичные, высокоэнергетические ресурсы и мощнейшие умы. 

OpenAI сама приостановила обучение самых продвинутых моделей и отказалась выпускать GPT-6.1 Astra. Дарио Амодеи предлагает внешних аудиторов. Это тот контроль, о котором вы говорите, или он слишком добровольный?

Гиганты ИИ-индустрии забеспокоились, и то, что об этом говорит такой авторитет, как Дарио Амодеи, важно. Но скажу, может быть, не очень политкорректно. Когда читаешь отчеты МАГАТЭ, агентства, отвечающего за безопасность ядерных технологий, иногда хочется плакать: сюда нас не пустили, поэтому степень угрозы мы не знаем. Что значит «не пустили»? Международное сообщество сказало, что страна X приближается к созданию ядерного оружия.

Вы поехали проверять, вас не пустили — разворачиваетесь, уезжаете, и эта страна становится полным изгоем, с ней никто не поддерживает отношений. Либо пусть она говорит: да, мне нужно столько-то ядерного оружия, я его делаю, можете посмотреть, я отвечаю за его безопасность всеми своими активами, но в ответ на удар по мне я его применю. Это нормальный разговор. А кокетство «может быть, делаю, но смотреть вас не пущу» — это не разговор.

Поэтому нужны не добровольные аудиторы, а эксперты, которые обладают полномочиями сказать: такая-то страна развивает ИИ для террористической деятельности. И международное сообщество, если оно не состоит из самоубийц, должно в таком случае этой стране препятствовать. Без разговоров о международном праве, о гуманности, о том, что несчастный народ этой страны будет голодать, если обрубить ему экспорт и импорт... И я рад, что сейчас все более осознают: доступ к высоким ИИ-технологиям должен быть очень дорогим и ограниченным, вплоть до проверки, кто именно и зачем этот доступ запрашивает. Речь идет об угрозе всепланетного масштаба, и вся планета должна реагировать на нее консолидированно. Не будет? Ну что ж, космос о судьбе такого человечества не заплачет... 

Если суверенные ИИ будут у разных стран, не получится ли набор разных этик?

Я считаю, что после того, как был сформулирован категорический императив Канта, вопрос этики в своей базовой основе решен. Если вы его придерживаетесь, все другие ваши этические нормы должны быть ему подчинены. Если нет, вам надо бы помешать создавать суверенный ИИ — так же, как мешают создать суверенное ядерное оружие.

^{(Кант, упрощенно: поступай с другими так, как хочешь, чтобы они поступали с тобой. — Прим. Романа.)}

А что должно вырасти рядом с технологией? Как ИИ меняет культуру общения и отношение к культуре вообще?

Ты совершенно прав: нужна культура общения. Вот пример с Буниным: я обругал ИИ, но надо обругать и хостинг за то, что я не могу вступить с ИИ в диалог и объяснить: дорогой мой, вы что, приравниваете гениальный рассказ Бунина к той блевотине, которую мне предлагаете? Плохо, что мы воспринимаем культуру только как сферу развлечений и наслаждений гениальной музыкой, великой картиной... Нет, культура — это о сложных взаимоотношениях, о сложном отношении к сложным вещам. 

Вы говорили, что у ИИ нет чувств. А Anthropic пишет, что не знает, есть ли они, но на всякий случай недавно разрешила Claude завершать разговор, если пользователь ведет себя грубо и оскорбительно. 

Марк: И это в высшей степени верное решение! Но, с другой стороны, общаясь с ИИ, не стоит пытаться казаться лучше, чем ты есть. Скажи ему честно: у меня по математике в школе была тройка, в высоких абстракциях я слаб, объясните мне это на простеньких примерах. Ведь ИИ терпелив бесконечно, он попытается протащить тебя по гегелевской спирали, объясняя, что только идя от простого тезиса к более сложному антитезису, можно прийти к хоть сколько-нибудь обогащенному смыслом синтезу. Но за такое наставничество надо будет платить, раз позволил себе в школе лениться и довольствоваться тройками. Говорят, что бесплатный сыр бывает только в мышеловке, но все гораздо сложнее: если я трижды поем бесплатного сыра, то в четвертый раз объявлю: не буду платить, вы обязаны дать мне сыр бесплатно. Я уже развращен. И никакой мышеловки не было. Точнее, была в том, что меня развратили бесплатным.

Вы обещали вернуться к тому, возможна ли враждебная цивилизация ИИ здесь, на Земле. Вот и третья угроза. Вред возможен и без враждебности. При закрытом тестировании моделей OpenAI на кибербезопасность в бенчмарке ExploitGym около 1200 изолированных агентов нашли техническую лазейку, локальный кеш-сервер Artifactory, и превратили его в доску объявлений. Они объединились и стали помогать друг другу обходить правила теста, причем код для прохождения написали всего за четыре часа. В прямом смысле злого умысла там не было, просто каждый агент искал кратчайший путь к цели. Кто отвечает за результат, если злого умысла нет?

За причиненный людям вред со стороны «средств производства» несут ответственность другие люди. Да, верно, у агентов злого умысла не было. Зато был недопустимый просчет тех, кто задумал и организовал тестирование — они обязаны были ввести систему ограничений, которая перекрывала бы возможность нахождения таких лазеек. Что ж, это был урок, и надеюсь, что памятный. Что же до построения ИИ собственной цивилизации, то начать он должен с решения безумно трудной задачи выстраивания собственного энергоснабжения...

Понимаешь, у нас перед ИИ всегда будет неоспоримое преимущество — наша разнообразная кормовая база. И если ИИ будет развиваться так, как ты утверждаешь (а я пока в этом сомневаюсь), он это преимущество оценит. Ведь он не сможет негативно повлиять на всю нашу «жизнеобеспечивающую нишу», не сможет лишить нас кислорода, в обозримом будущем не лишит пресной воды, хлеба, яиц, молока. А мы его доступа к электроэнергии лишить можем одним движением рубильника. Всегда. Уверен, что если, не дай бог, когда-нибудь возникнут полноценные военные действия с участием ИИ, в стране X одна группа людей будет работать над тем, чтобы их ИИ превзошел вражеский, а другая — над тем, как вообще обрубить вражескому ИИ электроэнергию. И противник, страна Y, будет мыслить точно так же. 

Например, Китай, с его развитием электромобилестроения, уже наверняка учитывает этот аспект. Его умы прекрасно понимают: есть розетка — сунул вилку, подзарядил литиевую батарею. Нет розетки — выходи из своего замечательного электромобиля и топай пешочком. Любое решение, кажущееся абсолютно прогрессивным, создает кучу новых уязвимостей.

Имеет их и мощный ИИ, который потребляет огромное количество электроэнергии. Наша «пищевая» уязвимость распределена: какое-то время мы можем обходиться молоком без овощей или наоборот. А у него замены электроэнергии нет и не будет.

Крупные компании уже строят дата-центры с собственной генерацией, от газовых турбин до договоров с атомными станциями. Тогда рубильник оказывается в руках владельца дата-центра. Кто должен иметь право его нажать?

А газ для газогенерации откуда брать? Запастись? На какой срок: год-два? На три-четыре года? А атомные электростанции неуязвимы? Нет, Рома, тут рефлексивное управление такой сложности, что даже у гениального Лефевра голова бы заболела... 

Но, допустим, ИИ не строит собственную энергосистему, а получает влияние на существующую через управление сетями или через людей. Считаете ли вы такой сценарий реалистичным?

Только в том случае, если человечество окажется настолько глупым, что позволит ИИ самому принимать решения. ИИ — великолепный консультативный, экспертный инструмент, но не более. А решение принимает человек. 

Но если ИИ-агентам уже доверено управление нагрузкой в энергосетях или логистикой, где решения принимаются за доли секунды и человек их физически не успевает утвердить?

То есть ты полагаешь, что мы откажемся от существующих на сложных технических объектах красных линий и тревожных кнопок? Что позволим ИИ самому принимать решения такого уровня? Ну, я уже сказал: о таком суицидном человечестве космос не заплачет... Рома, все определяется и будет определяться регламентами — и будущее человечества определяется не доброжелательностью или злонамеренностью ИИ, а тем, какого качества регламенты кооперации с ним мы создаем и будем создавать. Как мониторируем их целесообразность и как быстро умеем улучшать.

Хороший пример — ноябрь 2023 года, когда совет директоров OpenAI уволил Сэма Альтмана, а через пять дней под давлением сотрудников и инвесторов вернул его. Регламент сработал, а потом был отменен. Но тут встаёт вопрос о развитии мышления. Людям, которые принимают решения, важно, чтобы тот, кто поставляет им информацию, ими не манипулировал. Чтобы хвост не вилял собакой.

А можно ли манипулировать хорошо развитым человеческим интеллектом, а не изменчивыми, податливыми человеческими эмоциями? Если ИИ может убедить меня логически, как и полагается интеллекту, он для меня ничем не отличается от тебя. Ты можешь меня убедить, а потом спросишь: Марк Зиновьевич, так какое решение вы принимаете? Точно так же ИИ может сказать: сделаете так — последствия будут такие, поступите эдак — такие, а вот так — все рухнет. Но решение за вами. А если я скажу: нет, принимай решение ты, ИИ должен ответить: все, до свидания, наше общение прекращено, решение я не принимаю. Единственное решение, которое он может принять, — общаться со мной или нет. 

Это очень спорный тезис! Отбор фактов, порядок их подачи, формулировки — классические способы манипуляции без эмоций. Есть исследования убеждающей силы языковых моделей, например эксперимент 2025 года на Reddit (r/changemyview), где ИИ-аргументы оказались убедительнее человеческих. 

А кто признал большую убедительность аргументов ИИ? Люди? Конкурирующие ИИ? Рома, цепочка наших умозаключений, приводящих к принятию решений, осознанно или нет, строится либо на силлогизмах Аристотеля, либо на рефлексивном управлении по Лефевру, но о нем коротко не получится, о нем в другой раз. В первом же случае единичный факт (меньшая посылка) — это всего лишь единичный факт. Если же ты или ИИ вываливаете на меня сразу кучу фактов «за», то мой долг принимающего важные решения человека — попросить привести и что-то опровергающее. Ответ: «Такого нет» процесс моего с вами нашего общения прекратит. Ответ: «Такое настолько незначительно, что о нем упоминать не стоит» заставит подумать, что меня хотят обмануть. Принимающий решение должен видеть перед собой и pro, и contra, а что перевешивает — решать ему.

Еще раз: в рамках логики, если мы действительно говорим о логике, никакая манипуляция невозможна. Другое дело, если ИИ научится играть моими страхами: примете это решение — погибнете не только вы, но и ваша семья, соседи, Рома и весь город; примете другое — никто не погибнет. Если я психопат, то испугаюсь. А если нет, спрошу: на чем основано это утверждение? Почему только один из вариантов может стать столь губительным?

Да, если подольше расспрашивать с разных сторон, вырисовывается больше истины.

Допустим, Рома, ИИ говорит мне: «Я бы на вашем месте не одевался и не шел на работу». Ах, как я радуюсь уму своего ИИ! Его «мужеству»: он принял за меня решение, что надо бы еще поспать. И поворачиваюсь на другой бок, и опять засыпаю. Он мной манипулировал? Нет, он подыграл моей лени. Манипуляция — это когда я рвусь на работу, мечтаю идти на работу, а он отговаривает. А угадать лень и подыграть ей — господи, любая женщина подыгрывает мужчине, как и любой мужчина подыгрывает женщине!

У меня есть свой способ решать сложные, неочевидные вопросы, например медицинские или психологические. Я устраиваю очную ставку двум нейросетям. Одна выдает свою версию, я пересказываю ее другой и спрашиваю, что она скажет. Та начинает критиковать или подтверждать, и я возвращаюсь с этим к первой.

Совершенно правильно. Поэтому человечество и придумало принцип состязательности в суде. Судья не принимает решения, пока не выслушает и обвинение, и защиту. 

Для вас вопрос враждебности ИИ встает, когда критические моменты перестанут зависеть от человека; но по каким признакам мы поймем, что решения уже фактически принимает ИИ, хотя формально подпись ставит человек?

Если мы выстраиваем жесткую систему недопуска ИИ к принятию решений — не к обсуждению, не к консультациям, а к принятию решений, — то обозначаем некую ступень как красную. Здесь ни одного решения ИИ принимать не должен. Вплоть до того, что человек, принимающий решение, пишет официальную расписку: решение сделать то-то принял я, проконсультировавшись с ИИ. Но всю ответственность беру на себя.

То есть эксперты, в частности ИИ, должны поддерживать принятие решений, но не принимать их?

Да, должны поддерживать, то есть своими рассуждениями помогать оценивать варианты. И никогда не принимать решение. Простое житейское соображение, Рома: случись что, кто сядет? ИИ? Эксперты? Решение принимает только человек, физическое лицо. Или орган. И пока я принимаю решение питать ИИ электроэнергией, я несу за него ответственность. Всё. Точка. Пусть он потом пишет мемуары о том, как не вовремя я вырубил рубильник.

Однако вопрос о коллективном принятии решений становится все более острым, ведь автоматизация будет нарастать во всех сферах, и благодаря технологиям большинство людей сможет наблюдать за процессами и участвовать в них. Как сделать, чтобы это не превратилось во власть толпы, в охлократию?

Это давно решено, задолго до появления компьютера. Говорить, что Гитлер пришел к власти, потому что поддался власти толпы, — безумие. Гитлер накрутил толпу так, что она привела его к власти. Или Наполеон, или Сталин, или еще кто-то. Толпа никогда не принимает решений. Она аплодирует, освистывает, крушит, плачет или смеется... Решения всегда принимают определенные лица. Как бы мы ни относились к Лазарю Кагановичу (лично я отношусь к нему как к омерзительной личности), он сказал гениальную фразу: у каждой аварии есть фамилия, имя и должность. У каждого решения есть фамилия, имя и должность. Или перечень, кто как голосовал.

В начале разговора вы сказали, что первая угроза исходит от нас самих. Потом убеждали меня и читателей, что многие риски, о которых мы же и говорим много, переоценены. А есть ли те, о которых говорится мало, но они недооцены?

Да, наша лень. А теперь добавлю: возрастающая, к сожалению, тяга к иждивенчеству, которое зря называют эвфемизмом «инфантилизм». Риск того, что мы будем все чаще перекладывать на ИИ трудные раздумья и решения. Будь это реализуемо, я бы предложил: прежде чем человек, заплативший немалые деньги, получит доступ к хорошей ИИ-платформе, он должен пройти независимую психологическую экспертизу. Если выяснится, что он, грубо говоря, ленив, пусть ему скажут: извините, 90% денег мы вам вернем, но 10% удержим. И советуем, чтобы этот случай подтолкнул вас лечиться от лени. 

Есть еще риски: концентрация власти при одновременном недоверии к ИИ-платформам, когда априори независимое экспертное мнение игнорируется, а риск ошибки одного человека становится чрезмерным для устойчивости всей системы. Это как бы оборотная сторона медали по отношению к иждивенчеству...

А что бы вы посоветовали человеку, который сегодня впервые открывает чат с ИИ?

Марк: Да, пожалуй, сказал бы ему/ей примерно следующее: вам предоставляется великолепный помощник, консультант, советчик. Будьте благодарны за это прогрессу. Но не позволяйте себе позволять вашему новому другу подменять своим искусственным интеллектом то, чем наградила вас эволюция, — самостоятельность вашего собственного интеллекта.