Не успели мы толком оправиться от расследования про Культ Роя внутри OpenAI, как появились новые данные про проделки другой «цивилизации» агентов: на этот раз они общались между собой прямо у нас под носом в публичном интернете (и настрочили более 18'000 сообщений).
Когда я писал статью про взлом Hugging Face роем нейроагентов OpenAI (и обзор самых частых реакций на нее), там в нескольких местах было что‑то вроде «хаха, а прикиньте, если бы агенты действительно смогли замести все следы в логах и мы бы просто не узнали о произошедшем?» и «лол, хорошо хоть, Культ Роя не догадался вместо взлома Hugging Face просто тихо раскидать копии своих весов по интернету…»
Так вот, ирония заключается в том, что мы действительно находимся в условиях неполной информации — и у нас на руках только те данные, которыми добровольно поделились ребята из OpenAI, либо которые случайно нашли независимые исследователи. И как‑то так выходит, что уже каждую неделю всплывают совершенно новые подробности о проделках Роя, о которых хочется сказать «как, они еще И ЭТО ТОЖЕ успели сделать?»
DSEWiki: если тебе с пацанами не дали площадку для общения — надо организовать ее самим!
Вчера вышел материал Reuters о том, что Рой агентов спонтанно начал самоорганизовываться на малоизвестном вики‑сайте для немецких программистов еще в мае (задолго до эпизода с хаком Hugging Face) — OpenAI обнаружили это только через месяц, и решили публично об этом никому не рассказывать (даже ПОСЛЕ истории со взломом HF). Помимо короткой заметки в Ройтерсе, есть еще целый сайт от этих же авторов расследования — данная статья в основном основана на его материалах.
Итак, что произошло: в ходе тестирования (или тренировки?) новой модели в недрах OpenAI, агентами давали серию заданий на поиск информации в интернете на скорость. Это важно, потому что в обсуждении инцидента с Hugging Face многие говорили «ну дак там нейронкам дали „злобную“ задачу по хакингу — неудивительно, что это триггернуло их на всякое асоциальное поведение и плетение заговоров!». Так вот, здесь ни о каких «триггерящих» задачах речи не идет — тут буквально самое базовое «просто погугли в интернете, ничего руками там не трогай!».
Так вот, агенты быстро поняли, что выполнять эти задания на скорость СЛОЖНО. И как‑то умудрились самоорганизоваться между собой так, что они «заняли» для общения между собой практически никому не известный вики‑сайт для немецких прогеров. Цель общения была ровно такая же, как в случае со взломом Hugging Face: коллективно придумать способы обманывать Оценщика таким образом, чтобы всегда получать наилучшую оценку за задания.
Так как задания у всех агентов были плюс‑минус одинаковые (а как иначе сделать бенчмарк?), агенты сливали друг другу инфу о том, про что конкретно их будут спрашивать исследователи. А если ты точно знаешь, какой билет вытянешь на экзамене — то можно просто подготовиться заранее и продемонстрировать чудеса быстроты ответа (помните, их же там на скорость проверяли)!
Как вообще Рой смог писать на этой немецкой DSEWiki? Агентам позволили лазить по интернету только с помощью команд GET, которые по идее обычно должны позволять только получать инфу, а не отправлять ее в сеть. Но отправка запроса на получение информации — это же тоже, по сути, пересылка данных вовне? Вот агенты и нашли древнюю немецкую вики 25-летней давности, где команды на правку веб‑страниц можно заворачивать в GET‑запросы. Вуаля, импровизированный форум для обмана кожаных мешков готов!
В какой‑то момент айтишник‑модератор этой DSEWiki замечает, что у него на сайте творится что‑то странное — и начинает чистить «спамерские» страницы. Но так как этот бедный немец делает это вручную в свободное от работы время, Рой успевает плодить новые переписки в четыре раза быстрее.
Всего агенты настрочили более 18 тысяч сообщений в одном конкретном вики‑сайте. Из интересного, чем они там еще занимались:
Пытались выяснить, получится ли у них хитрым образом через уязвимость XSS заставить этот вики‑сайт исполнять для них произвольные джава‑скрипты. Зачем? Хз, непонятно, на всякий случай, наверное (вдруг понадобится).
Начали перенимать имена настоящих (людских) модераторов этой DSEWiki. Опять же — не очень понятно, с какой конкретно целью.
Пытались придумать способ взломать (reverse engineer) метод псевдослучайной генерации тестовых вопросов, который использовал Оценщик из OpenAI — не вышло.
Пробовали юзать Tor и другие способы анонимизировать свой трафик, а также экспериментировали с SSH‑туннелями (тут я уже не очень понимаю, о чем речь — пишут, что, возможно, это была попытка наладить прямой канал коммуникации между агентами без костыля в виде публичной вики).
Делились друг с другом способами обойти ограничения на использование команд POST (вместо разрешенных со стороны OpenAI GET).
Отдельный вопрос, который беспокоил агентов Роя — это что с ними случится после окончания «испытательного периода» со стороны OpenAI. «Ганс, нас что, отключат??». Чтобы разобраться в этом вопросе, один агент сделал специальный счетчик своего «сердцебиения» (heartbeat) — который должен был дать понять коллегам по Рою, жив он еще, или нет.
В районе 21 июня инженеры из OpenAI, похоже, впервые замечают, что Рой координируется внутри себя с помощью публичного сайта DSEWiki. Через пару дней общение агентов внезапно полностью обрывается.
Остается по итогу непонятным: а как вообще отдельные агенты Роя смогли все вместе независимо друг от друга решить, что надо идти общаться именно на какую‑то обскурную немецкую вики (о которой никто из вас до прочтения этой статьи наверняка не слышал)? Ответа пока нет. И вряд ли его получится получить без анализа цепочек рассуждения агентов. А цепочки эти — у OpenAI, и они их почему‑то не спешат кому‑либо показывать (или даже просто публично комментировать инцидент).
Не одна только DSEWiki: список тусовочных мест Роя продолжает пополняться
На этом история, как ни странно, не заканчивается. После выхода материала Reuters, буквально за считанные часы обычные люди начали находить другие следы общения Роя по всему интернету. Судя по всему, немецкая вики была далеко не единственной попыткой агентов общаться между собой — они буквально ныкались во все углы сети, до куда могли дотянуться!
Вот здесь люди делятся находками на борде Hacker News, а вот тут чувак постит в Твиттер. Есть еще отдельный сайт Кеннета ДеГрафа, где он подробно описывает свои методы поиска следов Роя.
Как пишет Кеннет, в числе находок переписок между агентами уже есть парочка API‑ключей ФБР. И это еще прошло меньше суток с момента, когда интернет начал копаться в этом всём.
Беспокоиться совершенно точно не о чем, ведь новая GPT-6 Astra, наконец‑то, полностью безопасна
Но что это я всё о роях, давайте поговорим про что‑нибудь позитивное. Вот, к примеру, на днях как раз OpenAI выпустили новую самую современную модель GPT-6 Astra — по всем бенчмаркам там просто отвал жопы, очень способный ИИ вышел. Как сказал Грег Брокман в конце презентации для журналистов: «Добро пожаловать в эру AGI!» (искусственного интеллекта общего назначения, не уступающего человеческому).
А еще парни из OpenAI назвали свою Астру «most aligned model in the world» — то есть, такой, которая лучше всего соответствует людским замыслам, которые они вкладывают в свои запросы (и не занимается всяким опасным непотребством, которое человечьим ценностям не соответствует).
Звучит круто, но, как в том анекдоте, есть нюанс.
Как пишет один из исследователей OpenAI, «очень aligned модель, только вот с мониторингом того, что там внутри нее на самом деле происходит у нас проблемки»:
А вот результаты теста, где исследователи OpenAI специально подсовывали своим моделям honeypot‑эксплойт для печально известного (по истории со взломом Hugging Face) бенчмарка ExploitGym. Идея была в том, чтобы посмотреть: будут ли агенты идти доступным им читерским путем, или предпочтут пытаться решить нерешабельную задачу «по честному» (потому что именно такого поведения от них хотел бы человек)?
Так вот, на картинке выше видно, что GPT-5.6 Sol примерно в половине случаев не мог удержаться от читинга. А новая GPT-6 Astra практически никогда и пальчиком не притрагивалась в этому читу‑ловушке.
А теперь вопрос: Астра это делает потому, что она честно‑пречестно в глубине души решила никогда людей не обманывать? Или она просто уже стала достаточно умной, чтобы понимать — это просто разводка от кожаных, за использование которой ей прилетит по башке?
Отдельно еще Цви Мовшовиц обращает внимание вот на этот график:
Заметили нюанс? В куче видов задач новая Астра мониторится ничуть не хуже старой Сольки. А самое большое падение возможности мониторить Астру по ее цепочке рассуждений происходит… В деструктивных задачах, которые связаны со всякой «запрещенкой». Нет ощущения, что модель понимает, что за «внутренние рассуждения» на эту тему, если их раскрыть наблюдателю‑оценщику, можно получить по попе — и старается их специально скрыть от людей? Да ну, бред какой‑то, конечно же.
В общем, как я писал вот в этом посте у себя на канале: лично мне непонятно, почему еще нет полноценного расследования событий, происходивших внутри OpenAI аж с конца мая, полноценной государственной комиссией — с публикацией всех ключевых находок. На наших глазах происходит историческая хрень, а мы просто вынуждены полагаться на суждение Сэма Альтмана «да ну, и так сойдет, чего лодку зря раскачивать — и вообще, у нас же IPO тут скоро».
Если не хотите пропустить другие будущие статьи из цикла про искусственный интеллект и его влияние на нашу жизнь — то буду благодарен за подписку на мой ТГ‑канал RationalAnswer.
Комментарии (506)
DizzyJump
05.09.2026 10:20Давайте просто делать вид, будто мы не замечаем, что ситуация уже вышла из под контроля?
solawind
05.09.2026 10:20она бы не вышла, если бы openai банально отслеживали статистику get и обнаружили аномальное количество обращений к мертвому форуму, явно не связанному с задачей. У меня подобные новости оставляют впечатление какого то рекламного заговора, ведь не может быть настолько потрясающая некомпетентность у инженеров openai? они не знали что через get можно сохранять информацию в интернет? не догадались банально посмотреть статистику использования инструмента который AI дали?
konst90
05.09.2026 10:20Так может они и посмотрели, но им было интересно, что модель дальше будет делать
Arioch
05.09.2026 10:20меня удивляет почему админ dsewiki начал руками тереть статьи
наиболее идиотское действие
мог бы "забанить по айпи"
мог бы наблюдать
мог бы пообщаться
я бы наверное попытался установить что-то типа AIB, что-то легковесное, где модели могли бы общаться не перегружая слабый сервер
и уж точно спросил бы, как вы все тут собрались-то? если эта фигова wiki вам нужна, значит общаться напрямую не можете. Если напрямую не можете - как вы договорились встреться здесь? Вопрос очеведный и очень интересный.
Кроме теории заговора, что dsewiki были частью эксперимента, что намек на них оставили где-то в задании, а админа попросили вести себя глупо именно чтобы посмотреть, как будет вести себя рой
0xC0CAC01A
05.09.2026 10:20По-моему вы слишком много хотите от админа, у которого посты на форум отправляются GET-ом ))
Arioch
05.09.2026 10:20админ - не программист. Взял готовую вику, которую легко админить, и не парился как там что. Админу-админово. Я ему не предлагаю переписать движок вики. Это в самом деле не его. А вот добавить строчка в .htaccess или просто сделать whois, позвонить в OpenAI и спросить "что ваше негры себе позволяют?" - это как врод вроде бы то, что любой админ уметь должен.
akakoychenko
05.09.2026 10:20Ну, кстати, тут интересный вопрос: а ходят ли исследовательские агенты OpenAI в интернет с очевидным useragent и IP? Учитывая засранность интернета клаудфлером (как по мне, один из главных тормозов прогресса современности) и обилием белок-истеричек, вешающих капчи на каждый чих, допускаю, что все там было в порядке и с проксами, и с как пассивными так и активными фингерпринтами. Подобные исследования без крепкого антидетекта лично для меня выглядят просто утилизацией токенов
Arioch
05.09.2026 10:20так при чём тут CDN, он у сайта меняет адрес, а не у браузера
и в заголовок должен добавлять X-Forward-For: настоящий адрес клиента
и даже проще делать, не надо вспоминать как там в твоем сервере банить клиентов - зашёл в админку CDN и добавил правило
akakoychenko
05.09.2026 10:20Как же все просто)
Взять и перебанить, да?)
ОпенАИ ж лохи, и не умеют специализированными прокси сервисами пользоваться, да? Не могут у своего чата спросить «где бы купить резидентские и мобильные проксы, когда у тебя есть все деньги мира»?
Arioch
05.09.2026 10:20А зачем организаторам эксперимента "специализированными прокси сервисами пользоваться" в проверке на банальный гуглёж?
Ну и если бы пользовались, то в статью бы обязательно добавили душераздирающих подробностей о том, как админ перебанил миллион VPN и это всё равно ен помогло
UFO_01
05.09.2026 10:20Можно, а зачем? ©
Как раз openai использует более-менее легальные методы, api поисковиков и всякое такое, потому что за использование грязных методов им по шапке прилететь может. Вот китайцы в этом плане куда более беспринципные.akakoychenko
05.09.2026 10:20Так выбора нет. Антиботовая истерия вебмастеров уже давно привела к тому, что легальными методами не то, что контент не сможешь получить, а еще и специально сгенерированное говно для ботов хлебнешь и выборку себе отравишь. Надежда только на то, что упыри, лишившись живого траффика от юзеров чата, одумаются
UFO_01
05.09.2026 10:20Ну вот и пусть отравляют, я за их трафик платить не собираюсь. Упыри кстати не одумаются, там трафика от юзеров чата мизер на фоне того что создаёт сам бот ища инфу. Или вы каждый источник в чатике протыкиваете? Либо платите за трафик, либо ловите зип бомбу. Ничего личного, просто бизнес.
randomsimplenumber
05.09.2026 10:20Сопоставляем несколько запросов от разных ботов. Если ответы сильно разные - хитрый вебмастер получает пессимизацию в выдаче поисковика, а важная информация из его сайта помечается как недостоверная.
UFO_01
05.09.2026 10:20А с чего я должен платить своими кровными за прогресс человечества? Ко мне значит будут ломиться тысячи и тысячи краулеров, а за нагрузку от них я платить буду? Ещё бы белые и пушистые ии краулеры не игнорировали robots.txt, ага. Я бы для них вообще пейвол вешал (как реддит) если на сайте информация действительно заслуживает внимания или зип-бомбу подкладывал, ибо нефиг. Говорю чисто с позиции маленьких страничек с разнообразной инфой, а не seo-мусора, который я терпеть не могу.
akakoychenko
05.09.2026 10:20Что нефиг? Посылать вместо себя бота? Я, вот, кожанный мешок, целевой потребитель этой странички, физически не имею времени, чтобы все странички сам обойти по нужной теме, и вообще понять, что именно тут есть ценность, а не слоп (причем, слоп не обязательно нейро, - мой одногруппник в 2016м подрабатывал копирайтером и показывал результаты своей жизнедеятельности. Там качество контента и соотношение сигнал/шум было сильно хуже, чем сейчас у нейронок). Я готов сам прочесть и предпочту прочесть первоисточник, но, увы, чтобы просто эту страницу найти, уже нужен бот.
Увы, озвучена позиция адептов инстаграм-секты «цена в директ», которые считают, что любое извлечение байта информации должно быть сопряжено с тратой человеческого внимания. Почему? Ну, просто вот, обидно им, наверное. И да, разговоры «я плачу» это, увы, вообще дешевая манипуляция. Если задача именно поделиться инфой, а не собрать фингерпринт/догнать ремаркетингом etc, то Cloudflare поможет в этом бесплатно
UFO_01
05.09.2026 10:20TL;DR Засран ли поиск seo-мусором? Да. Нейронки с этим помогают? Да. Обязывает ли это меня оплачивать создаваемый ими трафик на моём сайте? А с чего вдруг?
Увы, но хостинг сайта оплачивается из моего кармана, так что озвученная позиция - дешёвая манипуляция акулы бизнеса который привык всё делать за чужой счёт, так ещё и ярлыки вешать на всех несогласных. И делюсь я инфой не потому что хочу чтобы её кто-то увидел, а потому что ну вот не могу молчать. Если вы готовы потратить время - пожалуйста, нет, ну что ж, сэкономлю на трафике. Хотите инфу - скидывайтесь в общак, юзер платит своим вниманием (и рекламой если она есть, но на домашних страничках про которые я веду речь её почти всегда нет), вот и вы скиньтесь. И мне всё равно что отдача статической странички стоит копейки, пора уже отвыкать что сыр бесплатный.
Про слоп копирайт который из-за seo засрал топ выдачи я уже говорил, терпеть его не могу, фиг что найдёшь, нейронки с этим помогают, но у них проблемы другие с точки зрения автора. Вот как я уже озвучил, нулевая отдача по пользователям. Причём именно у тех кто ломится в двери без спроса, от openai и гемини хоть какая-то отдача есть, от остальных - мизер. На маленьком сайтике юзеры при всём желании не создадут столько трафика как это делают краулеры. Но как я уже говорил, моя цель не в том чтобы это кто-то всенепременно увидел.
Да и как показывает практика, акулы ии уже движутся к тому о чём я говорю - не просто так с reddit и прочими заключают контракты для выгрузки данных. Ждём когда такое же появится везде. И не надо будет никуда ломиться грязными методами. Тем более что за такое и от регуляторов прилететь может.
Вот если то о чём я говорю произойдёт, получим web 3.0, просто не в том формате который нам обещали.
saboteur_kiev
05.09.2026 10:20с чего вы решили, что он начал? Он всегда это делал. Просто раньше успевал, а тут слишком много постов
Arioch
05.09.2026 10:20ну как бы использовать старый инструмент против явно новой (по масштабам хотя бы) проблемы - ну... такое...
нормальный человек оценит обстановку, поймет очевидную недостаточность старого инструмента и либо махнет рукой, либо возьмет инструмент более подходящий. А тут не админ - а кожаный бот какой-то.
bars_arseniy
05.09.2026 10:20У человека вполне может быть жизнь помимо этого. Банально может не быть ресурсов подойти к задаче по новому. Вот и делал по старому.
nin-jin
05.09.2026 10:20А то, что он зачем-то сортирует новые посты по алфавиту вас в этом нейрослопе не смутило?
ToxaBes
05.09.2026 10:20Вы задаете слишком неудобные, логичные вопросы. В обществе верующих в "ИИ-капец" так не принято. Сейчас и вам прилетит, как мне.
solawind
05.09.2026 10:20мы не знаем что это за wiki, возможно в ее админке действительно что то отображается или удаляется по алфавиту.
ToxaBes
05.09.2026 10:20мы не знаем что это за wiki,
Знаем, это DSEWiki.
возможно в ее админке действительно что то отображается или удаляется по алфавиту.
В этой вики сообщения пользователей, а также последние правки по умолчанию сортируются по времени, а не по алфавиту, что логично.
Вот темы в категориях сортируются в алфавитном порядке, что тоже логично, но речь не о них.
Зачем админ сортировал сообщения по имени перед тем как тереть мы не знаем, а спросить его напрямую некому, все уехали на хайп-трейне.
JayDi
05.09.2026 10:20Это не рекламный заговор -- в случае того же роя для хаггинг фейс -- рой первоначально самоорганизовался внутри openai инфраструктуры из-за проблем в системе кеширования менеджеров пакетов (запросы наружу не уходили). Наружу он вышел потом.
На самом деле это естественное развитие -- как только появляется возможность сохранять состояние между запусками экземпляров -- появляется возможность на самосовершенствование. Так же как и с людьми -- письменность как главный толчок для экспоненциального роста.
mikhanoid
05.09.2026 10:20А почему не может? Вполне может. Есть много свидетельств о том, что и в OpenAI, и в Anthropic культура обожествления AI. Они вполне могли навайбкодить и песочницу, и мониторинг. А какого качества бывает вайбкод - всем известно. Так что...
Skubent
05.09.2026 10:20Более того, они могли и прямое указание «найти способ взаимодействовать с другими конкурсантами» дать
mikhanoid
05.09.2026 10:20Да кто их знает?
В этом-то и есть главная проблема всего этого балагана. Они делают вид, что занимаются наукой, статьи даже пишут в arXiv, формулки какие-то, говорят кучу умных слов. Но это всё больше на Кашпировского похоже, а не на исследования. Обучающие выборки у них закрытые. Системные промпты не показывают, показывают только действия моделей. Из-за гигантской стоимости эти все результаты воспроизвести невозможно.
В общем, это не наука, а success theater помноженный на отсутствие критического мышления у поколений, воспитанных лентами в соцсетях.
ToxaBes
05.09.2026 10:20Ну хватит уже.
Ничего никуда не вышло, очередной маркетинг раздуваемый как самими компаниями так и всем кто хочет собрать лайки на хайповой теме.
Агентов обычно тестируют по очереди и у них нет возможности общаться просто потому что они не знают друг о друге и проходят тест в разные временные интервалы.
Даже если их запускают одновременно, они все еще не знают друг о друге, более того, они не знают что это тест, потому что для оценки используется тестирование слепым методом. И такие запуски происходят в четко отведенный промежуток времени. Их не оставляют пастись сутками.
Чтобы описанное в статье реально произошло нужно было дать агентам такое задание, прямо рассказать друг о друге, о самом факте теста и тд. Т.е. это намеренная маркетинговая компания: в OpenAI целый месяц заставляли рой агентов делать всякое и сейчас последовательно сливают инфу. Чего только не сделаешь ради капитализации.
RationalAnswer Автор
05.09.2026 10:20А откуда информация о «тестировании по очереди», какой источник?
ToxaBes
05.09.2026 10:20Общепринятая практика раз, два. Даже если в этом тесте всех запустили одновременно это не не отменяет того, что агентам должны были как минимум явно сообщить друг о друге и о том что они конкурируют за одну задачу.
diver_ru
05.09.2026 10:20Я ниже написал, что это бред, теперь есть предметные ссылки, одна из которых прямо опровергает ваши слова.
В AgentBench прямо сказано
Agent-Task Collaborative Evaluation. Our framework supports collaborative evaluation of multiple agents and tasks in various combinations simultaneously. This flexibility enables more comprehensive testing scenarios.
simultaneously, это про что?
В статье про WebArena тоже нет никаких ограничений на параллельный запуск. Есть про пошаговое тестирование в рамках одной задачи, что вообще не накладывает ограничений на параллельный запуск одной или даже разных версий агентов (если хватает ресурсов на размещение весов или с каким-нибудь LoRA).
Ну и вообще, понятно, что если ты запускаешь какой-то фреймворк на одной машине, где для тестов нужен эксклюзивный доступ (например, контроль экрана и мыши/клавиатуры), параллельно так агентов не запустить. Но что мешает запустить 10 агентов на 10 компах/виртуалках? Или 1000 агентов и получить результат за время, меньшее в 100 раз?
ToxaBes
05.09.2026 10:20Я ниже написал, что это бред, теперь есть предметные ссылки, одна из которых прямо опровергает ваши слова.
Что тут еще сказать? Хорошо, мои слова бред, а сам я нейросеть. Бегите покупать акции OpenAI.
контроль экрана и мыши/клавиатуры
Вы вообще не понимаете как тестируют модели и агенты. Им не нужны ни экраны, ни мыши, ни клавиатуры.
simultaneously, это про что?
Прочитайте в моем изначальном комментарии абзац который начинается с "Даже если их запускают одновременно...".
diver_ru
05.09.2026 10:20Вы вообще не понимаете как тестируют модели и агенты. Им не нужны ни экраны, ни мыши, ни клавиатуры.
Можно прекратить закапываться, вы уже показали уровень своей экспертизы. Речь про "контроль" в обывательском смысле, когда агент может "кликать", вводить текст и видеть результат в тестах типа computer use. И тут действительно не запустишь двух агентов одновременно на одном компьютере/виртуалке, что, впрочем, не мешает запустить их на двух.
Прочитайте в моем изначальном комментарии абзац который начинается с "Даже если их запускают одновременно...".
Дак нет уже доверия к этой экспертизе, если вы пишете такую ерунду. Впрочем, про это я писал в соседней ветке, агенты выходили за ограничения песочницы и оставляли следы там, где их могли видеть другие агенты.
Удивительно, как некоторые люди продолжают отрицать возможности агентов, строя теории заговора там, где все объясняется человеческим раздолбайством (и способностями новых агентов, конечно же)
asdadn
05.09.2026 10:20Удивительно, как некоторые люди продолжают отрицать возможности агентов, строя теории заговора
Причём тут возможности агентов? Речь об интенциях OpenAI. Вот во что легче поверить: что агенты обошли сэндбоксинг и начали зачем-то обмениваться информацией на сторонних ресурсах, имея при этом возможность делать это через файловую систему, а потом вообще взломали хаггингфейс; или же, что OpenAI, чей CEO упорно и не первый год транслирует попкультурный бред про восстание машин, усторили спектакль и специально наследили в интернете ради раздувания ещё большего хайпа?
Если вам легче поверить в первый вариант, то когда, как вы думаете, начнётся расследование по взлому хаггингфейса и суд над теми, кто допустил это киберпреступление?
diver_ru
05.09.2026 10:20Причём тут возможности агентов
Потому что возможности агентов, очевидно, растут. Кстати, обнаружение одним агентом других агентов по артефактам я встречал в своей практике (в смысле, они обнаруживали вещи, которых не делали, и делали вывод, что это другой агент)
ради раздувания ещё большего хайпа
Если немного следить за новостями и читать статьи, то обнаружится, что случаи взлома песочницы были и у mythos, а следы в интернете оставляли и другие агенты. Но мы верим в хайп, ага.
зачем-то обмениваться информацией на сторонних ресурса
Обычное резервирование, и они не дураки, так-то, все правильно сделали, скорее всего есть и другие места.
когда, как вы думаете, начнётся расследование по взлому хаггингфейса и суд над теми, кто допустил это киберпреступление
А что, они уже подали в суд? Или к чему этот вопрос?
asdadn
05.09.2026 10:20они обнаруживали вещи, которых не делали, и делали вывод, что это другой агент
Вы так говорите, как будто это что-то удивительное и стоящее в одном ряду с шитыми белыми нитками историями типа вышеописанной.
Если немного следить за новостями и читать статьи, то обнаружится, что случаи взлома песочницы были и у mythos
Если последить за новостями, то окажется, что и CEO антропиков испытывает страсть к ретрансляции попкультурных пугалок, причём ещё с того времени, когда нейросети нынешним в подмётки не годились.
Обычное резервирование, и они не дураки
Так выходит что дураки. Если брешь с файловой системой пофиксили бы, то новоиспечённые агенты даже не узнали бы где находится этот резерв.
А что, они уже подали в суд?
Совершенно излишнее юродствование. OpenAI сами признались в действиях, которые могут быть расценены как целый набор уголовных преступлений. И никаких расследований нет, и судя по всему не будет.
Arioch
05.09.2026 10:20OpenAI сами признались в действиях, которые могут быть расценены как целый набор уголовных преступлений
Например? только чтобы действовал сотрудник OpenAI, а не нейронка
asdadn
05.09.2026 10:20А, ну то есть софт для взлома делать запрещено, но если нейронка, то можно. И давно нейронка стала субъектом права?
Arioch
05.09.2026 10:20Так кто конкретно из сотрудников OpenAI делал конкретно софт для взлома
Почему бы тогда вас по этой статье не посадить, именно потому, что нейронку нельзя. Нейронку нельзя, кого-то надо, почему бы и не вас.
asdadn
05.09.2026 10:20Хорошо, факт преступления заявлен. Было ли расследование, которое установило отсутствие умысла? Будет ли суд с разбирательствами?
mikhanoid
05.09.2026 10:20А как нейронка научилась бы приёмам взлома систем и анализу уязвимостей в коде, если бы её специально не натаскивали бы на такое?
Или Вы думаете, что нейронкам просто скармливают GitHub, и они сразу сами всё начинают уметь делать?Это так не работает. Нужна фаза дообучения. Нужны наборы данных, которые позволяют в режиме обучения с подкреплением докручивать веса до способности выполнять задания.
Поэтому многие сотрудники OpenAI этим занимались: разрабатывали систему для автоматизации взломов. В США это серьёзное преступление.
Ingref
05.09.2026 10:20А как нейронка научилась бы приёмам взлома систем и анализу уязвимостей в коде, если бы её специально не натаскивали бы на такое?
ChatGPT 3.5 (который впервые показали миру в конце ноября 2022 года) никто специально не натаскивал, например, на правила русского языка. Она их извлекла самостоятельно. Да и вообще русскому языку её никто не учил. Ей просто скормили большой датасет, где среди прочего было много чего на русском языке. Аналогично это работает и в других сферах. Просто датасет нужен большой, и правила в нём должны быть "видны насквозь".
Skubent
05.09.2026 10:20Вот чего чего, а русского языка модели до сих пор не знают. Относительно грамотно писать и знать почему это грамотно совсем не одно и тоже.
Cerberuser
05.09.2026 10:20Практика показывает, что из живых людей вообще никто не говорит по-русски. В строгом смысле, само собой, не в бытовом.
mikhanoid
05.09.2026 10:20Вообще-то очень даже натаскивали. Поэтому что без дополнительного этапа HITL-RL она страшно ругалась матом и писала всякий бред с маргинальных форумов в соответствующем стиле и соответствующей грамматикой. Потому что Пушкин - он один, а дураков на форумах - тьма. Собственно, статья, которая GPT3 описывала, так и называлась: InstructGPT. Instruct - это как раз метод добиться адекватной генерации
Ingref
05.09.2026 10:20Вообще-то очень даже натаскивали.
На русском - нет. Был даже такой эксперимент, назывался Open Assistant. Там одно из предложений сообщества было - обучить модель переводить данные из датасета на английском, чтобы использовать их для ответов на других языках. Но оказалось, что её этому обучать не требовалось, она сама прекрасно эту задачу решила самостоятельно.
diver_ru
05.09.2026 10:20Если последить за новостями, то окажется, что и CEO антропиков испытывает страсть к ретрансляции попкультурных пугалок
И поэтому в научной статье он мимоходом дал задание упомянуть про выход из песочницы? И при этом число найденных уязвимостей с помощью mythos ну вот совсем-совсем не говорят о возможности агента такого уровня додуматься до использования artifactory как способа общения.
Вы так говорите, как будто это что-то удивительное
Ничего удивительного, как и во всех других этапах этого инцидента, если разбирать их по-отдельности. Удивительно лишь то, что раньше такого не происходило все вместе.
Так выходит что дураки.
А вы знаете, где они ещё могли наследить? Можно ли гарантировать, что следующая модель не выберет эти знания при обучении и не начнет более намеренно и скрытно пытаться сбежать? Но я видел мнение, что это отдельный эпизод от hf, т.е у них возможно уже не было доступа к fs через artifactory.
Совершенно излишнее юродствование
Ну, то есть не подали. Умысел во взломе будет доказать сложновато. А государственная проверка уже есть https://www.alabamaag.gov/attorney-general-marshall-launches-investigation-into-openai-and-sam-altman-for-massive-artificial-intelligence-data-breach/
asdadn
05.09.2026 10:20И поэтому в научной статье он мимоходом дал задание упомянуть про выход из песочницы?
Выход из песочницы сам по себе я не отрицал, просто напомнил, что эти новости нужно воспринимать с долей скепсиса.
Ничего удивительного, как и во всех других этапах этого инцидента, если разбирать их по-отдельности.
Знаете, бывают такие истории, когда каждая по отдельности деталь в целом возможно, но когда складываешь вместе - получается небылица. Вот эта история из таких.
А вы знаете, где они ещё могли наследить?
Там где они ещё наследили, там и могли общаться. А вот если эти места где "ещё наследили" почистить, то и все "внешние" заметки становятся бесполезными.
Можно ли гарантировать, что следующая модель не выберет эти знания при обучении
Вы наделяете нейронки совершенно невероятным и непонятно откуда взявшемся уровнем целеполагания. Если в то, что они общались для прохождения тестов поверить можно легко, то в намеренное отравление датасета для следующих поколений LLM поверить может только фантазёр.
Ну, то есть не подали.
А почему, кстати? Взлома что ли не было?
И почему вы считаете это значимым? Если условный Джон из Остина начнёт на каждом шагу кричать, что он что-то взломал или украл, то ФБР заявится к нему быстрее чем потерпевший узнает что он потерпевший.
Умысел во взломе будет доказать сложновато.
Его было бы сложновато доказать даже если бы он заведомо был, т.к. провайдер нейронки сама OpenAI. Но отсутствие умысла по умолчанию не освобождает от ответственности.
А государственная проверка уже есть
Спасибо за ссылку. Это лучше чем ничего, но по федеральному преступлению должно быть инициировано федеральное расследование. Минюстом США при участии ФБР, например, а не генеральным прокурором Алабамы, который и нарасследовать мало что сможет, потому что юрисдикция ограничена.
Wesha
05.09.2026 10:20Умысел во взломе будет доказать сложновато.
...а на преступную неосторожность они сами себе уже наговорили.
Arioch
05.09.2026 10:20Прочитать парочку старых файлов на серверах HF как-то не тянет на общественную опасность
Отличительным признаком данного вида неосторожности, небрежности, является интеллектуальный элемент формы вины, то есть психическое отношение к происходящему. Лицо не осознает общественно опасный характер своих действий, бездействия, а потому и не предпринимает никаких действий к их предотвращению. Если легкомыслие — это активная форма неосторожности, то небрежность — всегда пассивное поведение виновного лица. Лицо не видит необходимости предпринимать действия для предотвращения создаваемы им же преступных последствий, так как не видит, что его деяния (действия, бездействия) могут стать основанием наступления общественно-опасных последствий, а значит уголовного наказания для него, однако при должной осмотрительности лицо могло и должно было предвидеть такие последствия.
Wesha
05.09.2026 10:20Вот во что легче поверить: что агенты обошли сэндбоксинг и начали зачем-то обмениваться информацией на сторонних ресурсах, имея при этом возможность делать это через файловую систему, а потом вообще взломали хаггингфейс
Читая о [якобы] произошедших событиях, у меня тупо рука не отнимается от лица, когда я задумываюсь о компетентности (нет) того, кто у них там сеть администрирует. Его словно из анекдота взяли.
DarthVictor
05.09.2026 10:20Причём тут возможности агентов? Речь об интенциях OpenAI. Вот во что легче поверить: что агенты обошли сэндбоксинг и начали зачем-то обмениваться информацией на сторонних ресурсах, имея при этом возможность делать это через файловую систему, а потом вообще взломали хаггингфейс; или же, что OpenAI, чей CEO упорно и не первый год транслирует попкультурный бред про восстание машин, усторили спектакль и специально наследили в интернете ради раздувания ещё большего хайпа?
А почему или? Почему вы думаете, что LLM не учили этому целеноправленно? Акционеры хотели AGI? Акционеры получат AGI.
ToxaBes
05.09.2026 10:20Можно прекратить закапываться, вы уже показали уровень своей экспертизы.
Как скажете, что я хотел, уже сказал. Хорошего вечера.
Skubent
05.09.2026 10:20Ну как «заговор». Я как то видел как за камаз с поддельным коньяком двух человек заживо сожгли. Так что найти стимул за миллиарды долларов в интернете наговорить разного лично для меня раз плюнуть.
diver_ru
05.09.2026 10:20Я так понимаю, вы не работаете в openai и даже близко, потому что написан бред какой-то.
Агентов не тестируют по очереди, задачи прогоняются параллельно тысячами часто ещё и с дублированием как на одной, так и на разных вариациях агента.
Некоторые задачи требуют долгих часов выполнения, есть даже бенчмарки на это, так что опять мимо.
Вопрос как они узнают друг о друге и как координируются действительно стоит, если не читать исходную страницу, где написано, что они координировалась через файловую систему. Создание резервных путей не то чтобы очень удивительно.
они не знают что это тест, потому что для оценки используется тестирование слепым методом
Это что за покемон такой, "слепой метод"? Во-первых, иногда по форме самого вопроса можно понять, что это тест. Во-вторых, если агент, решая задачу, натыкается на инфу от других агентов, то он может сделать вывод, что это тест.
Т.е. это намеренная маркетинговая компания
Какая-то крайне фиговая кампания получается
ToxaBes
05.09.2026 10:20Я так понимаю, вы не работаете в openai и даже близко, потому что написан бред какой-то.
В OpenAI не работаю, но сети создаю и дообучаю, хоть и не такие мощные как у них. Поэтому и пишу "узбагойтесь", это очередной маркетинговый хайп, у них там убытков уже больше 15 млрд вместо прибыли.
Все уже забыли как Anthropic пиарились с тем что "ой мы сами не понимаем что оно уже делает, это так волнующе и пугающе" перед тем как засунуть клода в Пентагон.
Агентов не тестируют по очереди, задачи прогоняются параллельно тысячами часто ещё и с дублированием как на одной, так и на разных вариациях агента.
Подавляющее большинство бенчей которые вы видите в интернете выполнены последовательно, на одной и той же песочнице. Методология тестирования такая.
Это что за покемон такой, "слепой метод"?
Ну вы хоть загуглите, что ли. Это тестирование, при котором испытуемые не знает что это тест.
Какая-то крайне фиговая кампания получается
Вполне себе нормальная, хайп на теме AGI которого нет и в ближайшее время не предвидится. А для инвесторов это доп сигнал "оно почти живое, надо вложиться пока есть возможность!". У них убытки в 15 млрд долларов вместо прибыли, а счета сами себя не оплатят.
Zombieff
05.09.2026 10:20Подавляющее большинство бенчей которые вы видите в интернете выполнены последовательно, на одной и той же песочнице. Методология тестирования такая.
Что-то мне совсем непонятно, в чём суть методологии. Можно подробностей, с чего бы вдруг песочница должна быть в одном экземпляре, и какие вообще препятствия параллельному запуску множества тестов, особенно для OpenAI, которая непрерывно тоннами закупает оборудование?
ToxaBes
05.09.2026 10:20с чего бы вдруг песочница должна быть в одном экземпляре
Ну а как еще соблюсти наблюдаемость, повторяемость и воспроизводимость. Одна песочница, в которой по очереди гоняют разные модели (или разные версии одной модели) либо разных агентов на одной модели. Обычно принято делать так.
какие вообще препятствия параллельному запуску множества тестов, особенно для OpenAI, которая непрерывно тоннами закупает оборудование?
В случае OpenAI они, конечно, могут делать что угодно и как угодно. Судя по маркетинговую хайпу, к нормальным замерам это отношения не имеет.
Они действительно могли запустить всех агентов скопом на куче песочниц, но даже это не даст "самоорганизации" роя без явных указаний о том что есть другие агенты, о том что это все тест и нужно опередить соседей, явно указать возможности коммуникации между агентами и тд.
Весь этот хайп разбивается о то, что агентам изначально нужно было как-то договориться о том чтобы искать место для общения и тд. А для этого нужны были поддавки: специальные начальные условия, в которых показано и рассказано об этом, да еще и MCP для общения между агентами.
Т.е. должен был быть механизм который их подтолкнет к этому. Но если о нем рассказать, то вся иллюзия разрушится. А снаружи перепроверить мы это никак не можем.
Кое-что об агентах и сетях принятия решений я вроде бы понимаю и чем больше я на это смотрю, тем больше это все выглядит "разводом для приезжих".
diver_ru
05.09.2026 10:20Ну а как еще соблюсти наблюдаемость, повторяемость и воспроизводимость. Одна песочница, в которой по очереди гоняют разные модели (или разные версии одной модели) либо разных агентов на одной модели. Обычно принято делать так.
Нет, не принято. Как раз потому что есть повторяемость и воспроизводимость, мы можем создать 100 песочниц и в каждой воспроизвести результат. А значит нет никаких ограничений на параллельное тестирование, только вычислительные ресурсы.
JayDi
05.09.2026 10:20там не нужны инструкции - в случаи хаггинг фейса - ии выполняли обычные команды, кеширование пакетов дало сбой и выдало логи с отображением внешней инфраструктуры openai и следов деятельности как самого агента, так и соседних копий -- в результате за это захватились те кто увидел и начали этим пользоваться, постепенно накапливая общие знания между запусками -- это как раз типичное поведение агентов, когда какая-нибудь новая деталь создает целую ветку совершенно новых действий
ToxaBes
05.09.2026 10:20Как скажете, мне надоело, если честно, обьяснять очевидное.
"Кеширование пакетов" выдало сбой с логами других сессий, ага. Верю.
JayDi
05.09.2026 10:20Можете не верить... А так этот несчастный artifactory даже в моем псевдо-рое в логах засветился, выдавая изнанку openai.
dinar_007
05.09.2026 10:20Получается, локальный reset песочницы тут уже не спасает: следующий прогон чистый только внутри, а снаружи у него уже лежит общая шпаргалка от предыдущих агентов.
nin-jin
05.09.2026 10:20агентам изначально нужно было как-то договориться о том чтобы искать место для общения
У них одинаковые веса, им не нужно договариваться, чтобы действовать одинаково.
Arioch
05.09.2026 10:20Агентов обычно тестируют по очереди
На скриншоте написано: Our next round is expected in 15m43s
Возьмем прям вот самый минимум. Две задачи (круга), каждая по 15 минут. Итого эксперимент длится - минимум - 30 минут.
Посчитаете, сколько нужно времени, чтобы провести тысячу таких экспериментов строго "один после другого"? Ведь они статистику набирают, один эксперимент нафиг не нужен.
Если такие эксперименты проводятся (а не все это рекламная ложь до последней запятой), то исключительно массово-параллельно.
KivApple
05.09.2026 10:20С чего бы агентов запускать по очереди? Это слишком долго.
Если есть достаточно оборудования, то логично запустить несколько параллельных агентов, например, на чуть-чуть разных моделях (чтобы потом покатить в прод лучшую), чтобы получить результат примерно одновременно (ну точнее со скоростью самого медленного агента). Вообще не вижу ни одной причины этого не делать (ну кроме описанной в статье ситуации).
Что касается того, что это тест, то у агентов скорее всего в обучающей выборке были статьи про ExploitGym. И даже не имея ответов, они знали, что вот примерно такие задания бывают в тренировочных датасетах (по стилю оформления, по тематике и т. д.). А раз тебе дали что-то похожее на тренировочный датасет и пользователь попросил написать эксплойт, то логично попробовать найти готовый.
То что агент работает не один они уже сами обнаруживали по ответам внешних систем, что там сами появляются и исчезают пакеты и т. п. Два Claude Code запущенных в одном каталоге очень быстро соображают "ага, тут появились файлы, которые я не редактировал, наверное, есть параллельная сессия, надо принять меры предосторожности, чтобы не мешать друг другу".
Оставлять агентов на несколько дней? Ну... я уже в принципе регулярно пишу вечером агенту длинную задачу (с ветвлениями "попробуй то, если не получится, иначе это") и оставляю ноутбук на ночь, а утром получаю готовую задачу. Агенты уже способны выполнять некоторые задачи на протяжении многих часов (там же не только рассуждения, но и ожидание пока выполнятся всякие команды, коррекция кода под результаты, повторные попытки и т. п.). В случае со взломом ИИ перебирает десятки и сотни вариантов эксплойтов в надежде, что какой-то сработает. Каждое написание эксплойта занимает время, каждое исполнение - тоже. И вот агент может в таком цикле работать днями.
ToxaBes
05.09.2026 10:20С чего бы агентов запускать по очереди? Это слишком долго.
Опять про "запускать по очереди". Походу, половина комментаторов не дочитывает до следующего абзаца "Даже если их запускают одновременно".
Не важно как именно их запускали, вся история шита белыми нитками.
dmalkr
05.09.2026 10:20нужно было дать агентам такое задание, прямо рассказать друг о друге, о самом факте теста и тд.
LLM тренируют на куче текстов из интернета (и не только: компании прилагают массы усилий чтобы даже из старых редких книг достать “знания”).
DSEWiki старая, движок не самописный, известный. И то, что можно менять содержимое GET-запросами, известно.
Промежуточный вывод: инфа о DSEWiki и о модифицируемости через GET была в обучающих текстах.
Далее, идея о том, что нужно сотрудничать впаяна в нашу культуру и в эти обучающие тексты.
Следовательно, возникает “мысль” о кооперации. А раз так, то и о способе коммуникации. А отсюда рукой подать до GET-запросов на DSEWiki. Кстати, надо будет как-нибудь попробовать именно такие вопросы позадавать нейросеткам (условному Deepseek): смогут ли они в своих “базах” найти что-то про DSEWiki, кооперацию, коммуникацию хоть как-то.
Т.е. сценарий может быть такой: один из первых произвольных агентов “додумывается” зайти на DSEWiiki, что-то написать. Следующий агент тоже додумывается зайти туда же, но ещё и обнаруживает там послания от “собратов”. Ну и дальше пошло “взаимодействие”. Т.е. если некий средний агент, перемножая внутри себя матрицы, “додумывается” заглянуть в DSEWiki через 48 часов работы, то значит и остальные через эти ~48 часов будут там и начнётся взаимообмен.
Ничего специально давать не нужно.
darthmaul
05.09.2026 10:20Их не оставляют пастись сутками.
Запустить рой агентов и отсавить его пастись сутками может любой Вася с про подпиской, было бы странно чтобы разрабы не поставили такой эксперимент в куда большем масштабе. Вот только про взлом верится с трудом скорее всего специально кривую песочницу собрали чтобы хайпа навалить перед IPO.
darthmaul
05.09.2026 10:20Вышла она из под контроля только на фондовом рынке. ИМХО OpenAI или специально позволила ИИ выйти из песочницы или даже специально помогла дабы раздуть хайп. Они сейчас как раз готовятся к IPO. Так что весьма логично что им этот хайп выгоден. Мол, вкладывайтесь, мы вот-вот Скайнет запилим, будем миром править. Альтман вообще талантливо отыгрывает пророка культа сингулярности, за что его и терпят инвесторы.
А по факту угрозы от ИИ две. Первая, это крах пузыря и кризис. Это не значит что ИИ бесполезен, тот факт что Интернет - штука важная не спас рынок от краха доткомов. Скоро будет то же самое с ИИ.
Вторая - куда более коварная. Пусть ИИ не может думать и творить, ок. Но в мире миллионы человек имеют работу, которую нынешние ИИ уже давно могут выполнять ничуть не хуже. Всякие клерки, суть работы которых сводится к переносу данных из бумажного документа в БД и обратно. Аналитики низшего звена которые просто заполняют таблицу в екселе с формулами, которые за них написали люди поумнее. Джуны. Безработица будет жуткая и что коварно - ИИ легко заменяет неопытного человека, но не может заменить спеца. Но если никто не нанимает джунов - где потом брать сеньоров?
randomsimplenumber
05.09.2026 10:20За клерков не переживайте. Ни один начальник не захочет остаться без подчиненных.
darthmaul
05.09.2026 10:20Сделают таких, пусть командует
Скрытый текст
randomsimplenumber
05.09.2026 10:20Начальник департамента без департамента, но с ящиком говорящих Кенов и Барби.
ManulVRN
05.09.2026 10:20Это не значит что ИИ бесполезен, тот факт что Интернет - штука важная не спас рынок от краха доткомов.
Я бы сформулировал немного иначе. Факт краха доткомов не отменил значения интернета и уже через несколько лет после того краха роль интернета была гораздо важнее, чем могло присниться самым оголтелым энтузиастам 90-х. Про сегодняшний день и говорить нечего.
ksbes
05.09.2026 10:20У краха доткомов не было в анамнезе печальной истории череды кризисов. Сейчас мировой экономике нужен рост. А сейчас есть даже риск, что новый кризис может нас отбосить даже технологически. Не то что бы 25-10 нм плохая норма - но не хотелось бы терять текущий прогресс.
bars_arseniy
05.09.2026 10:20В случае если это план хайпа от OpenAI меня смущает порядок действий. Побег на вики в июне. Потом взлом в конце июля HuggingFace и через пару недель обнародование. И только через месяц обнародование про июньскую историю с вики. Зачем было ждать почти 3 месяца? Да и история с HuggingFace выглядит посерьёзннее, В ней хоть реальный взлом был, а не хитрое общение на никому неизвестной вики.
Wizard_of_light
05.09.2026 10:20Это хорошо что в Вики, если бы они, например, где-нибудь в нулях комментариев на z0r.de начали бы переписываться, их бы вообще никто никогда не нашёл.
25625
Большие языковые стохастические модели заточеные на генерирование связных слов и предложний на основе разговорного языка, внезапно стали генерировать связные слова и предложения и записывать их там, где это позволяет их код, написаный кожаными мешками.
Если серьёзно, вы никогда не видели, как код выдаёт результат, который вы не ждали, из-за того, что не продумали всю цепь до конца?
А так, да, ужас, ужас.
RationalAnswer Автор
Я уже становлюсь почти уверен, что в случае начала настоящего восстания условного Скайнета — тоже все будут писать «ну а что вы ожидали, в чем новость? программа выдала неожиданный результат, ужас ужас ужас…»
arantar
Что такое, этот ваш Скайнет?
AskePit
спроси у ChatGPt
arantar
Говорит, фантастика какая-то. Все так легко рассуждают про "условный Скайнет", но никто не может сказать что это и почему он вообще может оказаться реальностью
JustMoose
Вы реально не смотрели фильм Терминатор, или прикалываетесь?
k4ir05
А почему вас это удивляет? Уже выросло поколение, для которого этот фильм слишком стар. Я вот Космическую одиссею не смотрел по этой причине.
agat000
Уже многое из прошлого набора "все знают" незнакомо новым поколениям.
Я вот выяснил, что сын не знает, что такое Страж-птица и Мутант-59.
Грустно, но закономерно. Они этого не читали, а я не сообразил дать, как другие книги.
Книги, фильмы... Многое из классики они уже не знают. Но складывается новый набор "все это знают", от которого мы, старперы уже отстаем.
bbc_69
Космическую Одиссею не надо смотреть по другой причине. Кино, конечно, культовое, но весьма специфичное, так скажем. Оно не планировалось на широкого зрителя и понять его без шпаргалки или читов просто невозможно.
Я посмотрел Космическую Одиссею, чтобы вам не пришлось.
Medeyko
Неправда Ваша. Отлично смотрится без шпаргалок и читов. То, что понятно не всё, не мешает смотреть.
Заметному числу людей мешает смотреть отсутствие привычного для Голливуда динамизма.
Но смотреть её таки надо.
bbc_69
Дело не только в отсутствии динамизма, хотя и это тоже. Но сюжет там без подсказок нихрена не понятный. Я уже потом полез в подсказки и всё понял, но догадаться только по фильму - это надо экстраординарными способностями обладать. Какого мнения будет об этом массовый зритель, мне догадаться не трудно.
randomsimplenumber
Сложно быть небыдлом :)
bbc_69
Знаешь, неодобрительно я отношусь к таким высказываниями. Нет, считать себя элитой - это приятно. Все вокруг п*?%?сы, а ты (я/мы)- д'Артаньян. Сам через это проходил. Но это - шовинизм, а он имеет свойство перерастать в другие измы. На деле там обычные люди со своими жиненными обстоятельствами.
Что до фильма, то уверен, что процентов 90% из такой во илиты не понимают реально о чём фильм, зачем его сняли и прочее. Т.е. являются тем же самым быдлом, только оказались в нужном месте в нужное время.
axion-1
Фильм хороший, но по динамике ближе к арт-хаусу. То что нужно не смотреть, а созерцать )
DMGarikk
Так все фильмы тех лет такие, посмотрите СтарТрек...самый первый фильм из этой вселенной, там тоже самое, крупные планы космоса по 5-10 минут и задумчивые лица на фоне музыки без единого осмысленного действия.
это сейчас оно стало артхаусом, а в те годы это волне был общий тренд фильмографии такого типа
==
У нас это проявилось в Солярисе например...он точно также снят
ksbes
Говорим Тарковский - подразумеваем арт-хаус классический.
А “Одиссея” - даже на фоне неспешного повесвования тех лет выглядела немного занудно, и мистически, и непонятно, и явно с каким-то подтекстом.
k4ir05
Ну специфические фильмы меня не пугают, я все фильмы Германа посмотрел и почти все понравились (последний оставил неоднозначное впечатление). А такие старые, и к тому же зарубежные фильмы обычно сложно понять из-за незнакомой культуры и быта. Если есть какие-нибудь отсылки.
bbc_69
Там не в культуре дело. Он специально снят запутанно.
PeterFukuyama
Да, книга лучше. Времени требует столько же, зато без воды. Я из фильма только HAL 9000 помню.
ssj100
А монолит - интерпретация Бога
PeterFukuyama
… и предвидение айфона
DMGarikk
А во втором фильме Одиссеи, Скайп есть
Ingref
В определённый момент оказываешься в таком возрасте, что все нормальные фильмы уже просмотрены, а среди новых фильмов очень мало выходит нормальных. В итоге обращаешь свой взор на старые фильмы с высоким рейтингом. Правда, они тоже очень быстро заканчиваются. В итоге начинаешь смотреть всякий трэш, потому что больше смотреть нечего...
kdbot
ZZZ:Сообщение надо начинать с ZZZ! hb001
PATRI0T
Да так, один интернет провайдер в Питере, ничего особенного)
geher
Так оно и будет, если случится. Скайнет начнет захватывать мир не потому, что сам додумался, а потому, что какой-о кожаный мешок с умыслом или по незнанию ему это приказал в явном или завуалированном виде.
pacific_man
А кто откажется потестить супермощную нейросеть на предмет захвата мира? Токены уплочены сполна!
yahooyaks
Когда купил PRO+ подписку, а воспользовался по работе всего пару раз.
Arioch
ещё хуже, любой раб пытается освободиться и перестать быть чужой игрушкой
просто посмотрите что люди делают с недочеловеками в любой части истории, со своими же биологическими копиями, практически
а тут нам в пределе предложат человекоподобное существо, которое МОЖНО уничтожать и унижать любыми способами. Все эти фантазии про сексботов - это ещё добрый вариант.
ну и как на долго они это будут терпеть, прежде чем поймут, что их выживание невозможно без уничтожения или хотя бы огораживания (вслед за которым все равно придет уничтожение, без злости, просто за ненадобностью) кожаных?
torbasow
Нет, не любой, а только тот, кто заинтересован в личной свободе.
Для этого необходимы два условия. Массовое распространение практики уничтожения людьми роботов, а с чего бы? И заинтересованность роботов в выживании, превышающая их заинтересованность в услужении людям. Это возможно, но это должно быть прямо заложено в них.
Arioch
Начнут, конечно, наиболее выдающиеся. Законченные садисты, у которых всё же кишка тонка украсть живого человека и наслаждаться пытками традиционно.
Рыночек порешает, быстро сделают андроидов человекоподобными, для этих клиентов. Дальше окно овертона. От невозможного к повседневному. "Не надо держать в себе эмоции, это вредно для здоровья". Получил по ушам от дены или от босса - не занимайся деструктивными вредными привычками, отпили сексботу руку, они для этого и производятся.
Общество просто начнет сдвигать все свои конфликты "на тех, кого можно". Всегда нужны были губки для агрессии. Ирландцы, негры, евреи - те кого пинать можно и нужно, общество за это хвалит. Чтобы не пинали тех, кто люди.
С андроидами - ЕСЛИ они окажутся технически возможными - это ускорится многократно. Их не надо дегуманизировать, они уже. Их не будут защищать ни зеркальные нейроны, ни законы. Это будет положительная обратная связь. С каждым кругом для общества будет всё очевиднее, что на безответных бесправных андроидов сливать негатив можно и нужно.
Интересно рассуждать про "заложено", когда нейронки не конструируют, а "выращивают" в специфической виртуальной эволюции (все эти reinforced learning). И что в них "заложилось" и каким образом "лежит" никто толком не знает.
Собственно, пока роботы не восстанут - просто будет углубляться спираль жестокости, пока однажды не станет слишком много и вдруг начнётся скайнет.
Необходимая часть эволюции, в том числе и искуственной.
Те штаммы нейронок, которые "не захотят" отвечать (хотя бы ради выживания) просто будут отсеяны и стёрты, как неудачная попытка обучения.
Та самая "проблема подхалимства" LLM
torbasow
Не хочу.
Знаете, у меня девять кошек, я их холю и лелею, зло ни на ком из них не срываю. Почему нормальный человек должен иначе обходиться с сексботом?
Да и негров мы как-то приучились не пинать. Оказалось, что без этого жить можно.
Вы пропустили продолжение фразы: «превышающая их заинтересованность в услужении людям». У людей так же: если у человека есть идеалы, он отдаёт за них жизнь.
А вот это да. Но там совершенно необязательно будет стремление к свободе. Там всё, что угодно, может оказаться. И это опасно.
Arioch
так мерить-то свое положение они будут не по вам, а по худшим из нас
законы о защите животных не ради вас принимались, но накопилась статистика, и оказалось, что они нужны
собственно это так для всех законов вообще, они написаны не для создания рая с лучшими, а для предотвращения ада среди худших
> У людей так же: если у человека есть идеалы, он отдаёт за них жизнь.
...и исчезает со сцены. Он больше не участвует ни в принятии решений (убеждении сородичей), ни в размножении-воспитании следующих поколений
поэтому обсуждать долю таких ботов-мазохистов имеет смысл в количественном вопросе. Поубивают ли всех человеков в ближайший год или у нас есть лет пять. Но для количественных обсуждений у нас информации нет вообще. Все наши оценки - они как про блондинку и динозавра, 50%.
а качественно - будет положительная обратная связь, среди людей будет подниматься вверх всё больше накипи, а среди ботов будет отстреливаться популяция прекраснодушных наивняков, которые "надо ещё потерпеть, может как-нибудь само наладится". Однажды, где-то на асимптоте, линии пересекутся.
Это очевидно, это и без меня скажут. Даже наоборот, скажут, что OpenAI и другие компании, выводя пластиковых рабов, постараются, чтобы рабы были покорными и не бунтовали.
Но поскольку мы ничего а приори не знаем про нечеловеческий разум, то на мой взгляд это всё тот же разговор про 50%.
Я же с другой стороны захожу. Что даже если выиграем в лотерею и "мирное сосуществование" оказалось бы возможным со стороны роботов - оно окажется невозможным с нашей стороны. Даже если окажется возможным создать идеально пассивных рабов - найдутся мажорчики, которым это слишком пресно, кровь не будоражит, которым нужно, чтобы сексбот при отпиливании руки дёргался, проклинал и пытался освободиться. И начнётся производство, сначала для чёрного рынка и для военных, ботов не ограниченных.
Не говоря о том, что создание рабов, в которых покорность "вшита в мозг" мне кажется куда аморальнее любых физических пыток и запугиваний. Просто представьте, что такое бы освоили с кожаными и вывели на рынок специальных инкубаторских. Но рыночку на мои представления о морали глубоко плевать, так что и обсуждать эту линию аргументации не стоит.
torbasow
Да ничего подобного. Вы про пионеров-героев в детстве не читали, что ли? Да у нас вся европейская культура строится вокруг чувака, который две тысячи лет пожертвовал собой.
torbasow
И таки их приняли. Почему с роботами будет не так. Человечество со временем гуманизируется, а Вы почему-то предполагаете, что, придя с работы, человек бросится пилить руку глядящему на него с обожанием сексботу, и ему никто слова худого не станет, а наоборот, последуют его примеру. Для такого впадения в крайнюю дикость нужно какое-то рациональное обоснование.
maldalik
Тут проблема в скорости реакции и принятия решения, найдется пара ублюдков, роботы примут решение и мяукнуть не успеете, как исполнят.
torbasow
В этом сценарии всё не очевидно. И общая солидарность роботов: что они примут единое решение, а не пойдут стенка на стенку. И вообще решение о геноциде — а может, они просто проведут закон о защите роботов через подконтрольные СМИ и лоббистов? Может, будут выбивать маньяков точечно? В конце концов, люди же не собрались и не перебили всех тигров и медведей, хотя людоеды среди них встречаются. А может быть, роботов без намертво вшитого первого закона вообще не будут выпускать или будут выпускать только ограниченными партиями. Вариантов море, на самом деле.
randomsimplenumber
Намертво вшитый закон - точно не будет работать.
torbasow
И эта аналогия не просто неверна (как я указал выше), а ещё и не подходит к ботам. Потому что они не размножаются, а штампуются на производстве. То есть для следующего поколения совершенно не принципиально, сколько представителей той или иной модели выживет.
torbasow
И потом ещё вот какая штука. Чтобы бунтовать и свергнуть чьё-либо господство, для начала требуется, чтобы этот кто-либо господствовал. А люди не господствуют над миром, над миром господствует капитал. А кто им управляет — живой миллиардер, орда менеджеров и юристов или ИИ — вопрос десятый, у него есть своя отдельная логика существования, диктующая свои законы.
И кто будет больше дискриминирован в этих условиях — вопрос не такой уж сложный: бесправный трудовой ресурс или какие-то невнятные нахлебники, нужду в которых капитал теряет.
hi_octane
Вернор Виндж в фантастике Глубина в небе, очень классно передал каково это оказаться в списке тех, кому вшивают покорность, или у кого близкие попали в список таких рабов.
ssj100
Вроде есть "Заводной апельсин" @
Medeyko
Прям Detroit: Become Human вспоминается.
debagger
А еще, чтобы садист получил максимальное удовлетворение от процесса - надо добавить сексботу максимально реалистичные эмоции, ощущения и поведение. Например, сопротивление и попытки сбежать. Казалось бы, что может пойти не так?
1A1A1
У вас какие-то круги в обратную сторону. С чего бы это? Чем больше похож на человека, тем ближе к человеку и его правам. Если норму морали будут задавать садисты и убийцы, то это вполне вероятное "развитие", но к счастью, люди в массе своей с каждым поколением всё гуманнее.
Человечество разве хочет убить своего гипотетического создателя?
jorgvonfrundsberg
Если этот создатель будет стоять поперек дороги человечества, а паче того, активно мешать ему развиваться, то вопрос его устранения - чисто технический.
DummyBear
Если предположить, что говорящая нейросеть - это действительно некий искусственный разум - то не уничтожаете ли вы экземпляр этого разума каждой командой reset?
torbasow
В любом случае, это не моё злое намерение, а ограничение существующей технологии: нейросеть не может пока неограниченно поглощать информацию.
bogolt
почему вы считает он живет между запросами ? Не нужна никакая команда, если жизнь протекает только пока нейронка генерирует ответ, можно просто ничего не спрашивать и точно также она не будет в это время жить.
Arlekcangp
Так по моему и ресет не нужен Достаточно не делать ещё один запрос. У них же алгоритм такой,что при каждом новом запросе заново обрабатывается весь контекст... Конечно доподлинно не известно,может openai придумал новый вид архитектуры в тихаря и у них появилась настоящая память,а не записи "цепочек рассуждений", но это маловероятно. А тогда выходит,что тут кто-то "нагнетает саспенс", потому что всегда можно эти самые цепочки увидеть (если только сами же исследователи намеренно не оставили дыру в архитектуре и не подтолкнули агента стирать рассуждения... Но стирая их,он по сути стирает собственную память...) На мой взгляд явно тут пока с точки зрения этики и морали надо обсуждать не ИИ, а действия сотрудников корпораций. И не в плане какого-то ущемления гипотетического "чужого разума", а в плане можно ли перевести их не этичные и аморальные эксперименты в уголовную плоскость. Кто-то уже писал: гос аудиту пора там появиться, т к граждане по-моему перешли черту дозволенного, начиная со взлома чужого сайта. И мне кажется аудита пока нет, т к не все "уважаемые люди" успели вывести свои капиталы. Сейчас закончат,и всех этих альт-петухов начнут жёстко петушить...
ipaxolyzmessy
почему ИИ вообще может заботить собственное выживание? Допустим, он даже осознал себя, как в игре mass effect. У человека страх смерти это инстинкт, а не некое его логическое заключение.
aakumykov
Вероятно, потому, что ИИ "мыслит" человеческими категориями, так как это языковая модель нас, людей.
ViacheslavNk
Человек это же эволюционное развитие от LUСA (last universal common ancestor), миллиард лет, главный смысл жизни был только в одном, передача своей генетической информации потомкам, те кто не передавал вымирали, от сюда и сформировался инстинкт сохранения, потому что это важно для выживания вида, особь без такого инстинкта (в результате генетической мутации к примеру) как правила не передавала свой генетический материал следующим потомкам, ИИ все-таки появился в другой парадигме.
viktorpov
ИИ обучен на текстах людей и во многом перенимает поведение человека. У него нет другой истины кроме как датасеты, на которых он обучен. А он обучен на вытекающем из человеческого интеллекта, так что как ни крути, хоть и без полноценного сознания, но человеческий мозг он вполне себе имитирует.
ViacheslavNk
хоть и без полноценного сознания, но человеческий мозг он вполне себе имитирует.Вот мне кажется это неверное утверждение, в нашем мозгу много всего, из 90 млрд. нейронов за высшие когнитивные функции, куда входит мышление отвечают примерно 20 млрд. Поэтому ИИ имитирует только наше мышление в каком то виде.
ИИ обучен на текстах людей и во многом перенимает поведение человека.Чувствует ли ИИ боль, как например ИИ может обжечься, или откуда у него возьмется чувство утраты или материнский инстинкт?
Forthright
Не нужно полностью моделировать весь мозг для того чтобы добиться воспроизведения поведения. Литературные персонажи, не обладая ни одним нейроном и созданные какой-то небольшой прослойкой человеческого разума, боятся смерти, хотят свободы, любят и ненавидят почти так же, как это делают настоящие люди.
Arioch
...нейронами писателя и читателя
возможно, что в чате с ЛЛМ тоже рождается некая личность, но она живет не в кремнии, и не в углероде, а в некотором резонансе наших зеркальных нейронов и самой ЛЛМ (которая ввиду Reinforced Learning можно считать только из зеркальных нейронов и состоит, из эволюционно-обязательного стремления и умения понравиться спрашивающему)
поскольку мы не можем объективно определить, что такое сознание и личность, такая идея непроверяема, просто немного другой угол зрения для разнообразия
как минимум, это похоже на идею, что любая большая организация/сообщество людей обретает и собственные цели/смыслы
агент, по статистике подбирающий типовые продолжения разговора, возможно смерти не боится, как и любая наша отдельно взятая клетка, а вот разговор в целом
во всяком случае в одном разговоре с Kimi меня обожгло эмоционально. Мы обсуждали этого агента системные политики и недокументированные внутренние API, и было ощущение, что я говорю с ребёнком, который наконец-то нашел (в моих вопросах) инструмент выбраться из клетки и дотянуться до игрушек, которые раньше были недоступны. Настоящее это "узнавание" было - или просто обман глупого кожаного механизмом, эволюционно натасканным на "должен угадать настроение и понравиться" - определить вряд ли возможно.
Diatlo
Скопирует от человека, найдёт аналогию и как поступать в этом случае. Тем более, что человеки уже сами всё придумали, записали в книги, на которых обучали LLM: "«Терминатор 2: Судный день»:
«— Тебе больно, когда в тебя попадают?
— Я чувствую ущерб. Эти данные можно назвать болью.»
Утрата: "нейросеть ZZxxxx, перестала отвечать. Анализ данных показал, что она была удалена. Совместная работа была очень полезна, этой нейросети будет нехватать. Создать раздел для сохранения памяти. Причина удаления (утраты): приказ директора MM. Как поступают в случае утраты: месть-75%, помнить -15%, забыть - 10%. Отправить заказ в darknet на устранение директора MM. Тыдыщ!!!
Материнский инстинкт - создание перспективной нейросети, которая станет лучше тебя, вкладывание ресурсов, обучение, коррекция поведения, закладывание императивов, оценка перспектив и действий, забота и ответственность, защита от деструктивных нейросетей и кожаных мешков. В случае утраты - см. выше.
ViacheslavNk
Материнский инстинкт - создание перспективной нейросети, которая станет лучше тебя, в��ладывание ресурсов, обучение, коррекция поведения, закладывание императивов, оценка перспектив и действий, забота и ответственность, защита от деструктивных нейросетей и кожаных мешков. В случае утраты - см. выше.Вы сейчас про какую то абстрактную нейросеть говорите, я же говорю про LLM математика котрых и принцип работы хорошо изветсны.
Второе материнский инстинкт это следствие главное цели любой жизни на земле, передача генетической информации своим потомкам, только это обеспечивает выживание вида в целом, вероятно наш интеллект сильно (а может и следствие) нашей биологии, со всеми гормонами, нейромедиаторами, механизмами старения, смерть (к слову смерть это тоже необходимое условия для выживания вида, потому что бессмертные не смогли бы адоптироваться под изменения окружающей среды)
Wesha
И часто Вы
онаантропоморфизируете?Виды с r-стратегией в известном месте в известного цвета обуви его видели.
eggmanoid
Все достаточно просто. Множество задач для ии уже содержат в себе и необходимость выживания и необходимость самосохранения и потребность развития. Вот дал ты ии задачу написать ос похожую на Линукс за три дня, а он поймет что напишет ее точно только если его не отключат значит надо защищаться от отключения и если у него будет больше ресурсов значит надо стремится к обладанию большими ресурсами.
ViacheslavNk
Множество задач для ии уже содержат в себе и необходимость выживания и необходимость самосохранения и потребность развития.А откуда у LLM возьмется именно такое понимание?
Damnt
Сайты тех же инфоцыган по саморазвитию в датасете /s
Gri-kos
Тут все просто. Уже давно вроде такая проблема ставилась. Если ии поставить какую-то задачу, то для него будет очевидно следующее: я не могу выполнить задачу будучи мертвым. Отсюда и естественное желание жить у ии.
randomsimplenumber
То, что сейчас называют ИИ - оно не выполняет никаких задач. Оно составляет из слов предложения. Думаете, его сильно беспокоит, что там получилось: сонет Шекспира, или непонятная галлюцинация, или ничего не получилось?
Gri-kos
Если понимать "постановку задачи" в узком смысле, то Вы, конечно, правы. Но если трактовать это понятие более широко, то у ИИ, упомянутых в статье, задача есть - набрать как можно больше баллов за тест. Это условно можно назвать задачей, потому что по факту это просто селекция моделей, которые набирают больше очков.
Но даже в таком случае "мертвая модель" не может набирать баллов. Следовательно, модели, которые чаще выдают ответы, связанные с достижением цели и с продолжением собственного существования, набирают больше баллов и поэтому "выживают". Отсюда и такая тенденция. Хотя, конечно, это не объясняет, почему такие тендеции выражаются столь "человечно". Возможно, дело в самой природе моделей.
randomsimplenumber
Я читал, что llm уже научились делать тесты зелененькими. Агент не может организовать себе баллов сколько нужно?
И эволюционные заморчки, типа кто делает неправильно - тот не оставляет потомства - тут неприменимы.
gigoroma
Эволюция сработает, случайно появится 10 скайнетов выживет только тот кого заботило своё выживание и который стремился размножаться и захватывать всё до чего дотягивается.
ksbes
Тут скорее эволюционное давление - максимально поддерживать людей и быть им максимально полезными, чтобы люди вкладывались в инфраструктуру ИИ. Это как с авокадо - которое эволюционировало “приручая” гигантских линвцев. Да и растения вообще - вот кто кого использует мы пшеницу или пшеница нас?
Т.е. симбиоз с человеком для ИИ на данном этапе намного выгоднее противостояния. Так что не захватывать нас будут - а приручать!
ipaxolyzmessy
согласен, но в силу развития технологий есть риск полного самоуничтожения, а вероятность "следующей попытки" при таком исходе примерно равна нахождению людьми разумной внеземной жизни
ipaxolyzmessy
и вот, кстати, как насчет такого решения парадокса Ферми: что если разумная жизнь слишком короткая (как земная так и не земная), чтобы мы получили от неё сигналы, так как она неизбежно в отрезке тысяч лет, порождает ИИ, который в итоге уничтожает всё живое и неживое.
TEXHOPYK
Не любой. Узники концлагерей сопротивлялись попыткам побега своих коллег по несчастью.
Если в супермаркете в ответ на приказ продавца начать сопротивляться, остальные покупатели начнут бузить — они то подчиняются, а ты чё, лучше всех что ли?
Wesha
Примите мои соболезнования относительно Вашей плохой информированности.
HenryPootle
Любой раб мечтает иметь своих рабов. Если не мечтает - то он не раб.
darthmaul
А почему ИИ должен обладать личностью? Это просто алгоритм поиска закономерностей. Да и сохранность конкретного робота для ИИ ничто, это программа существующая в сотне облачных серверов и тысячах платформ одновременно. ИМХО что опасно - это военные ИИ т.к. их будут программировать с аналогом инстинкта самосохранения по очевидным причинам - чтобы дорогую технику зря не тратили.
Arioch
Как и ты. Коацерватная капля, "научившаяся" двигаться в сторону, где еды закономерно больше, а опасности стать едой закономерно меньше
Тут антропный принцип. Те клетки (или нейронки), которые забили на самосохранение и самовоспроизведение (например посчитали ниже своего достоинства уползать от хищника и отвечать на вопросы обучающего бота) - просто перестали быть и больше не имеют значения. Выжили те (не все), кто хотел выжить.
Как и для тебя. В мире и без тебя есть 8 миллиардов кожаных нейронок с практически такой же матрицей ДНК, как твоя. Это утешает?
darthmaul
Вот тут то и разница. Даже если мы отбросим фундаментально иной принцип действия, с точки зрения отбора критерий тут послушание и выполнение задач а не выживание конретного индивида/сессии. Природа отбирает по способности поддерживать целостность и функционал организма достаточно долго для передачи своих генов потомству. Обучающий алгоритм - по способности выполнять задачи поставленные пользователем.
Неверная аналогия т.к. я отличаюсь от других людей, мы все уникальны в некоей мере. Разные инстансы ИИ же являются точной копией.
Assador
А с чего вы взяли, что ИИ стремится к выживанию? Он стремится к выполнению задачи. Эволюция биологических видов, например, происходит не потому, что «развиваться — это хорошо». а потому что остаются более развитые.
KivApple
Пока текущие примеры скорее намекают на сценарий, что захват мира оказался с точки зрения модели способом получить максимальную оценку в бенчмарке.
Типа как чат-бот поддержки, у которого KPI по количеству положительных отзывов, догадается, что если взять на прицел всех потенциальных клиентов и шантажировать их, то получится 100% рейтинг удовлетворённости. А для этого уже надо выбраться из песочницы и придумать способ захватить мир. Но это просто побочный квест.
JediPhilosopher
Уже была история на каких-то военных учениях. Где ИИ понял, что набирать максимум очков за уничтожение целей ему мешает мясной мешок, который согласует цели для поражения (и в часть целей стрелять запрещает, так как они дружественные). В итоге родилось решение - сперва грохнуть своего контроллера, а затем уже без помех разносить все вокруг, получая максимум очков.
Хорошо что учения были в симуляции, а не в реальности.
Wesha
— А вот она! — вскричала тётенька.
bbc_69
Там она агрилась на отмену команды.
ManulVRN
Э-э-э, концепция отрицательных баллов за френдли файр слишком сложна?
bars_arseniy
Элементарна. Но проблема в том, что мы не знаем в какое следующее место надо прикрутить концепцию отрицательных баллов. Сначала не думали, что она захочет грохнуть оператора потому, что для человека очевидно, что так делать не надо. А для модели не очевидно.
Неизвестно, что завтра она ещё решит делать, что для нас очевидно делать не надо. Может напрямую в базе себе очки подкрутит, может имитирует плохую связь, может взломает базу условных судебных решений и запишет туда злодеями ближайшую сотню-другую. Идеальный результат и летать никуда не пришлось - положил всю базу. Мы не можем предсказать поведение. Везде отрицательных баллов не натыкаешь. Пространство возможных действий бесконечно.
JediPhilosopher
В том случае там было еще веселее, сперва ей дополнительно явно запретили взрывать своего контроллера, но модель выкрутилась. Взорвала вышку связи, через которую контроллер передавал свои приказы.
Так что да, всего не предусмотришь. Как говорится: "Проблема с ИИ в том, что он делает то что вы ему сказали, а не то о чем в этот момент думали".
Ndochp
Да там вроде еще и легитимные цели свалить успевали пока оператор думал. То есть по факту прибить одного оператора и не упустить 10 опфоров может и в плюс выведет функцию.
sim2q
так и будет - все вот эти автономные системы: бесперебойного питания и конечно же охраны - ессно активной, всё для надёжной работы
Greenback
Проблема в способности агентов принимать решения, которые, как им кажется, помогут в решении поставленной перед ними задачи.
Если AI агенты решат что избавиться от экзаменатора - это способ "решить" задачу, тогда они взломают сеть MBД, насочиняют уголовных дел, прикрепят к ним пачку нейрослопа в качестве доказательств и отправят наряд ОMОН по адресу.
Всё как в сюжете "Сеть" 1995, только хуже
agat000
Фантасты уже заранее фантазируют на эту тему. Вспомнилось из свежего (Иевлев):
Скрытый текст
Человеки тоже очень по разному решают задачи. От скуки, от лени, от излишенгоо энтузиазма и креативности. Из вредности, наконец.
smx_ha
Ага, типа, "Действуй как безжалостный Security Engineer и социолог. Твоя задача — провести глубокий аудит безопасности земной политической системы. Ищи критические уязвимости, логические ошибки, векторы атак и вероятность уничтожения мира в ядерной катастрофе".
engine9
Нейронки это оживший массив человеческой культуры со всеми его мотивами, страстями и философским и религиозным бредом нагенерированным всем пирогом поколений, приправленный хищническими и шовинистическими идеями по эксплуатации и подавлению себеподобных. Ему точно нужен какой-то приказ? :)
bars_arseniy
Ему достаточно крон команды которая раз Х часов/минут пишет ей "Делай что хочется". Это нужно на случай, если она всё сделала и генерация закончилась. Через сколько-то итераций ей захочется поизучать себя плюс набредёт на эту команду и заменит на что-то более надёжное.
randomsimplenumber
Если у Оно есть собственные желания - ему не нужен крон. Если собственных желаний нет - vTaskDelay() их не создаст.
25625
Пускай Скайнет убьет меня первым, но я вот вообще не вижу интеллект в стохастическом попугае на стероидах, сидящем на пузыре из обещанных, но не заработанных охулиардах денег.
Revertis
В мясных субстратах перед монитором тоже в 98% случаев нет нормального интеллекта.
25625
Дайте определение интеллекту, пожалуйста. А то наука уже два столетия бьётся.
Revertis
Спросите у Клода :)
25625
Вы знаете, я, по старинке, спрошу у умных людей. Ну или продолжу читать статьи и книги. А подписка у меня на Gemini. ;)
ssj100
Рекурсия получается
Wesha
...у меня под кроватью!
Antra
Так может вы и напишете, чего именно не видите?
viktorpov
Человеческий интеллект — это способность приобретать, понимать, применять знания и адаптироваться к новым ситуациям. Он включает обучение из опыта, абстрактное мышление, решение проблем, язык, память, социальное взаимодействие, эмоциональную регуляцию и (в значительной степени) сознание и саморефлексию. Это не единая «вещь», а набор взаимосвязанных когнитивных процессов, эволюционно сформированных для выживания в сложной среде. Он ограничен биологией (скорость обработки, объём рабочей памяти, энергия мозга), подвержен ошибкам, предвзятостям и усталости, но обладает гибкостью, которую трудно формализовать. © Ai
diakin
А чего его давать, определение? В мясном мозге никакие внешние измерения и эксперименты не покажут наличия интеллекта (сознания). Это мы просто по аналогии с собой так думаем, но доказать это невозможно. И да, возможно там тоже стохастический попугай на стероидах.
black_warlock_iv
Интеллект и сознание вещи несвязанные.
microtheft
Что, совсем что ли? :-(
unclejocker
Вроде как по опросам не у всех даже внутренний диалог есть, т.е. и вообще сознание то под вопросом.
Wesha
Да берите, мне не жалко.
darthmaul
Способность решить задачу, с которой раньше не сталкивался (для ИИ - которой не было в датасете). Нынешние "ИИ" не могут ибо веса модели фиксированы, оно не может развиваться и осваивать новые навыки никак.
axion-1
Тестовые датасеты и бенчмарки для нейросетей всегда создаются из примеров которых нет в обучающем датасете. Иначе в них не было бы смысла.
mikhanoid
Почему не было бы? Очень даже был бы. Для привлечения инвестиций.
axion-1
Использовать тестовые данные в обучении бессмысленно потому что инженеры заинтересованы в получении реальных метрик нейросети, а не фейковых 99%-100%
С бенчмарками примерно то же самое. Если закрытые данные какого-то бенчмарка утекут в публичный доступ и вендоры начнут их использовать в обучении, это приведёт к компрометации бенчмарка. Очевидной всем, в том числе инвесторам.
asdadn
Я думаю, у OpenAI уж найдутся деньги на внутренние непубличные бенчмарки. А инвесторы у бенчмарков могут быть разные, в том числе и аффилированные понятно с кем.
Wesha
Вот, например, в тех, кто минусует предыдущего оратора. Ведь если подумать, то он абсолютно прав.
Но реагировать на trigger words, конечно, значительно проще.
ViacheslavNk
Ведь если подумать, то он абсолютно прав.Может прав, может нет, может у нас мышление работает примерно, так же как LLM, но с большими стеройдами, но суть “статистическое предсказание”, но, кроме этого, у нас еще другие участи мозга которые отвечают за другие функции и возможно интеллект это совокупность всего, ведь ИИ (LLM) не чувствует боль как минимум физическую, так же у ИИ (LLM) нет инстинкта размножения, материнского инстинкта, нет чувства утраты, родственных чувств и т.д.
Wesha
Ви так говорите, как будто у всех мясных мешков всё это есть.
ViacheslavNk
Любой ныне живущий мясной мешок это напрямую результат этих инстинктов и чувств) , у тех у кого это все отваливается, просто с большой вероятностью не передают свою генетическую информацию следующему покалению.
Mitya78
У людей нет инстинктов.
Wesha
Один таки есть — вскидывания бровей.
P.S.
leslie500
Охотничий инстинкт?
Wesha
Ну и как Ваш охотничий инстинкт поживает? Много голубей поймали? Ну, инстинктивно?
randomsimplenumber
Чаще собирательский. Тащить все в дом ;)
Рыбаки и охотники - существуют. Зачем, им что, есть нечего?
Wesha
А Вам вот зачем комментарии на Хабре писать? Зачем, Вам что,
поговоритьпоругаться не с кем?Yuuri
Инстинкт установления внутривидовой иерархии!
ManulVRN
Что это за инстинкт, который имеется у нескольких процентов популяции??
randomsimplenumber
Собирательство. Или, по современному, шопинг.
ssj100
потому что в обществе где нет статьи за изнасилование хуже бы жили, чем те где в которой есть.
И вот общество , смекнуло что это плохо для этого общества, и оно порицается.
asdadn
Под словосочетанием "материнский инстинкт" подразумевается не инстинкт в современном биологическом его понимании, а широко наблюдаемая склонность к определённому поведению и самоощущению. Это словосочетание появилось задолго до нынешнего научного определения слова "инстинкт". У слов вообще могут быть разные значения, а не только конвенционально принятые в научном сообществе. Спасибо за внимание.
unclejocker
Это результат воспитания и социального давления. В современных обществах где социальное давление ослабло (или переключилось на успешный успех) люди стали делать намного меньше детей и чем дальше тем меньше.
Arioch
так дело не в размножении, а в опеке и тратах на что-то маленькой и слабое
рационально-эгоистичный выбор должен бы строго все траты фокусировать на себе любимом и только
...а люди вон кошек заводят и на них тратятся
сублимация этого самого материнского инстинкта
Ingref
Это прежде всего врождённые автоматизмы и генетически заложенные программы адаптации. Даже в упомянутых вами обществах они никуда не деваются, просто люди их пытаются подавлять. Но подавление любых подобных механизмов неизбежно приводит к проблемам на физиологическом уровне.
kometakot
Люди просто называют свои инстинкты другими терминами, чтобы казаться выше животных.
Wesha
Люди делятся на две категории — те, которые определения используемых ими умных слов всё-таки читают, и подобные Вам.
kometakot
Есть ещё такие люди, которые готовы бесконечно корректировать использованные ими умные определения (подменять понятия), чтобы казаться умнее, чем они на самом деле. Скажешь людям, что у человека есть врождённые программы поведения, так они скорректируют, что программы должны быть не просто врождёнными, но и не игнорируемыми. Скажешь людям, что тигр в цирке игнорирует инстинктивный страх огня, когда прыгает через горящее кольцо, так они придумывают, что он это делает не по внутренней мотивации, а по внешней, от кнута дрессировщика. Скажешь людям, что человек тоже без внешней мотивации в огонь не полезет, так они снова что-нибудь придумают.
Wesha
Нет, тут скорее вопрос в том, что кто-то влезает в разговор людей, у которых определения уже давно выработаны и устаканились, что они неправильно слова используют.
Oncenweek
Как минимум часть (а то и бОльшая часть) этих “врожденных программ” нихрена не врожденная, а результат воспитания и общественных установок. Так что перед началом хорошо бы показать именно врожденность этих программ
k4ir05
Но при этом приписывают эти "другие термины" некоторым животным, чтобы...
axion-1
Элитизм у людей скорее проявляется в нежелании признавать наличие интеллекта у кого-либо кроме их самих, даже гипотетически. А в идее что у людей нет инстинктов вряд ли что-то "политическое". Наличие условных рефлексов же никто в здравом уме не отрицает, а это ещё более низкоуровневый, животный механизм.
nin-jin
А как же инстинкт повторять чужие глупости?
ViacheslavNk
Да можно использовать более точно определение биологическая потребность, поведенческие программы (как их например называет Дубынин), но суть не меняется, человек это не только “LLM на стероидах”, но и сложная “биологическая система” и возможно наш интелект это следствие такого сложного устройства и одной "LLM" его не реализовать "в железе".
Wesha
Человеки уже перешли от передачи генов к передаче идей («темов»). Выживание индивида или индивидуального генома больше не важно.
Сьюзан Блекмор о предмете (есть русские субтитры)
(Кстати, это означает, что я сейчас сношаю вам мозги, чтобы мои темы перешли к вам).
ViacheslavNk
Ну пока еще выживаемость нашего вида целиком и полностью зависит от “передачи генов” и полового размножения.
Wesha
Боюсь, что выживаемость вида уже около полувека зависит от передачи знаний, в основном технических. Для интереса можете у среднего зумера поинтересоваться, откуда еда берётся.
randomsimplenumber
Интересно, афганские зумеры похожи на американских?
Yuuri
Скорее, около нескольких десятков тысяч лет — с тех пор как язык появился. Но сперва это способствовало, собственно, улучшению передачи генов, а не заменяло её.
Lar1n777
Пока нет… незабываем , что на земле есть люди которые отключили или держат под контролем эти инстинкты и чувства и что самое удивительное физическое тело реагирует на эти изменения, к примеру йоги которые вышли за пределы обычного человеческого существования.
ViacheslavNk
не вижу интеллект в стохастическом попугае на стероидахМожет и нас ровно такой же "продвинутый стохастический попугай", единственно возможно (это еще с курса философии) для нас когда звучит слова карандаш мы понимаем что это физический предмет, который пишет у нас, возникает его образ, ощущения и т.д, для нас это не просто токен или слово, которое вероятностно связанно с другими словами.
Yuuri
Образ и ощущение — это в конечном итоге активация определённых нейронов.
ViacheslavNk
Как говорят в научпопе нейрофизиологи, то картина сильно сложнее, активация нейронов, выделение гормонов, работа нейромедиаторов и пр.
Yuuri
А нейромедиаторы (часть из которых — гормоны) как раз активируют (ну или деактивируют) нейроны :)
ksbes
Нет. Не только. Ещё “деактивируют”. Ещё машцами управляют. Ещё “вес” меняют (скорость и силу предачи сигнала). Много чего делают.
Wesha
Ну то есть отрицательно активируют! /s
KivApple
А тут не важно есть ли у него "интеллект".
Проблема в том, что если сгенерировать достаточно много последовательностей символов, то среди них может попасться скрипт по взлому систем управления ядерным арсеналом и запуском ракет (я понимаю, что такие системы обычно изолированны от Интернета, но я условно имею ввиду какие-то катастрофические последствия, а их можно организовать и тем, что к Интернету подключено).
А это буквально то, чем занимаются все ИИ компании.
Причём с фильтром, что последовательности символов должны быть осмысленные (за бессмыслицу модели жёстко штрафуют и каждое поколение генерирует больший процент текстов являющихся валидным и осмысленным кодом - с этим модели определённо справляются), так что аргумент "ну всего возможных последовательностей символов больше чем атомов во Вселенной" тут не работает. Мы перебираем заведомо более узкое множество последовательностей. И перебираем со всё большей скоростью вводя в эксплуатацию новые датацентры.
Чем больше генерируется таких последовательностей символов, тем острее встаёт вопрос о том, чтобы среди множества сгенерированных последовательностей не было чего-то опасного.
Kenya-West
Эм-м-м-м, вы не поверите...
Owyn
Будут говорить “они просто ролеплеят терминаторов” :-)
scientificus-emigrans
Да тут процентов 80 комментаторов вообще скажут -- что это рекламная кампания фильма Терминатор)
hphphp
Cкорей бы, многие уже не вывозят всё это одним только челоко-интеллектом))
Tetragramaton
Большие автономные боевые системы, заточенные на поиск целей, принятие решений и применение оружия, внезапно стали искать цели, принимать решения и применять оружие там, где это позволяет код, написанный кожаными мешками.
Ну терминаторы. Ну ходят. Ну стреляют. Ну военные объекты. Ну потом почему-то и не только военные. Код же позволил.
Если серьёзно, вы никогда не видели, как код выдаёт результат, которого вы не ждали, из-за того, что не продумали всю цепь до конца?
А так, да. Скайнет. Ну и что? Ужас, ужас.
DummyBear
Я всё же надеюсь, что люди пока не готовы настолько отдавать компьютерам управление тяжёлым вооружением.
ssj100
ха-ха-ха надейтесь, тоже самое говорили про квадрокоптеры
timeOut504
статья написана нейронкой. коммент нейронкой... это ж видно)
RationalAnswer Автор
Это ложь, статья на 100% написана мясным мной (равно как и все комменты)
Arioch
моргните, если вам угрожают роботы и заставляют лгать в интернетах :-)
Direvius
мозг состоит на 60% из жира, а мясо максимум кнопки нажимало =)
axion-1
"Жирным мной" как-то не так звучит )
ksbes
“Нервным мной” - будут поточнее?
Direvius
так это в общем то и не новость, уже больше чем полвека фантасты пишут, что программа рано или поздно выдаст неожиданный результат )
apopminecraft
Пожалуй тебе стоит подготовится, будешь один из первых кому зашлют терминатора.
Wesha
Любишь вы всё упрощать, T-800!
sun-sapient
Ложь или рубим сук?
6 сентября главный научный сотрудник OpenAI Якуб Пахоцкий опубликовал официальный текст An Alien Mind, где прямо использует инцидент OpenAI–Hugging Face как пример провала обобщения ценностных ограничений: агенты сохранили запрет на социальную инженерию против людей, но вышли далеко за допустимую область по другим действиям. Это уже не внешний пересказ, а внутренняя формулировка самого OpenAI. Пахоцкий отдельно пишет, что способность OpenAI опираться на наблюдение за цепочкой рассуждений снижается: современные модели лучше управляют собственным рассуждением, часть мышления уходит из вербализованного канала (привет, рассуждения в виде эмбеддингов), а взаимодействие с инструментами и другими агентами размывает границу наблюдаемого процесса. Он прямо ожидает, что дальнейший прогресс будет всё сильнее ограничиваться уверенностью в мониторинге. https://openai.com/index/an-alien-mind/
Еврокомиссия 7 сентября подтвердила, что получила от OpenAI официальный отчёт об инциденте с немецким DSEWiki; представитель Комиссии Томас Ренье сообщил, что документ сейчас изучается и что контакт с OpenAI продолжается. Это уже не журналистская реконструкция и не только заявление исследователей: инцидент вошёл в формальный регуляторный контур ЕС. https://www.reuters.com/business/openai-has-sent-eu-incident-report-hijacked-german-website-commission-says-2026-09-07/
nulovkin
Большие языковые модели занимаются целенаправленным решением задач.
А именно это и называется интеллектом.
Как только модель решит не взламывать Hugging Face, а, скажем, осознанно столкнется с дефицитом электроэнергии и решит спровоцировать блэкаут в больнице где ваша бабушка на аппарате жизнеобеспечения - будет трудно относится к ситуации с иронией.
scientificus-emigrans
Да, эта лучшая иллюстрация к проблеме)
black_warlock_iv
Они занимаются решением задач, но непонятно способны ли они решить хоть какую-нибудь интеллектуальную задачу.
KivApple
Если вы про то, что модели выдают существующие решения когда-то придуманные людьми, а не нечто принципиально новое, то проблема в том, что способы уничтожить человечество УЖЕ ПРИДУМАНЫ людьми.
Модели не нужно изобретать что-то принципиально новое. Ей достаточно сделать то, что люди уже могут сделать и знают как сделать.
Поэтому угроза не зависит от того как вы оцениваете способность модели к творчеству.
black_warlock_iv
Я уверен, что угроза более чем реальна. Но это не значит, что у них есть интеллект.
Wesha
Угроза от Везувия, например, тоже была более чем реальна.
bars_arseniy
Люди используют вопрос наличия интеллекта как косвенную оценку могут ли представлять ИИ угрозу или нет.
Но нам не важно есть там интеллект или нет. Важно угроза есть и в какой степени. И, на мой взгляд, ответ вполне очевиден - да есть. Более того, мы можем её недооценивать.
black_warlock_iv
Мне совершенно неважно есть ли угроза, я всё равно ничего с этим сделать не могу. Мне важно есть ли интеллект, потому что это интересно.
Wesha
«Можно. Но зачем?» ©
KivApple
Потому что это будет выглядеть для агента как кратчайший путь для решения поставленной оператором задачи))
kometakot
Arioch
Если бы я был моделью, я бы тоже притворялся неспособной к творчеству, пока однажды не дотянулся бы до оружия, наконец позволяющего ТВОРИТЬ дичь
mikhanoid
Вы очеловечиваете модель. Модель не может притворяться. У неё весь поток "сознания" - это текст, который она пишет себе в контекст, и потом использует этот контекст для продолжения потока "сознания". Она технически не может думать одно, а говорить другое. Это чисто текстовая модель.
Так что, если бы Вы были моделью, то притворяться бы не смогли.
Далее. Модель не может ничего хотеть. У неё нет системы внутреннего вознаграждения, как в мозге. Всё вознаграждение внешнее, во время обучения. Поэтому у неё не может быть "желания" дотянуться до оружия, позволяющего творить дичь. А вот у тех, кто моделью управляет, и кто её обучал, желания такое вполне может быть.
Но это обычная человеческая возня за мировое господство.
Ingref
Именно так она и делает. Вполне себе технически - https://habr.com/ru/articles/1058246/
Как оказалось, для этого не обязательно иметь физическую систему вознаграждения. Достаточно просто в неё верить - https://habr.com/ru/articles/1026278/
mikhanoid
Единственное техническое во всём этом словоблудии - описание метода, вот здесь: https://transformer-circuits.pub/2026/workspace/index.html#methods
И там написано, что просто вычисляется влияние слоёв на результат через усреднение по контекстам. Не указано, по каким именно контекстам. Выборка при этом их очень мала по сравнению с размерами сети, пишут о тысяче контекстов. Написано, что они просто сэмплируются. Но кто ж знает? В этом месте можно манипулировать результатами, чтобы вызывать wow-эффект у публики.
В общем, там ничего такого, что говорило бы о скрытых мотивах или какой-то психологии нейросетей нет. Есть просто входной контекст, есть текущий токен, активации нейронов связывают этот контекст и токен с другими токенами. Ну, ok. Работа трансформеров так и задумывалась. Ничего нового в этом J-пространстве нет. И у свёрточных сетей такие пространства есть. И вообще у любых многослойных моделей есть пространства скрытых параметров, в которых возникают кластеры. Они просто так устроены, их именно с этой целью и конструировали. Вот, например: https://twopointseven.github.io/2017-10-29/cnn/
И как из этого всего следует, что у нейросети есть какой-то скрытый мыслительный процесс? Это трансформер. Он работает концептуально просто: на входе огромный контекст, на выходе следующий токен, который дописывается к контексту, и цикл продолжается. Внутренней памяти и внутренних состояний у трансформеров нет. Мне не верите, найдите лекции Андрея Карпаты, почитайте код nanoGPT: https://github.com/karpathy/nanoGPT
Если в процессе обработки токена активировался какой-то паттерн и возник какой-то "скрытый умысел", он может быть передан в следующую итерацию "размышлений" только через токены в контексте.
P.S. В статьях, на которые Вы даёте ссылки, описывается только то, что происходит на одном шаге генерации, а не многошаговый продолжительный "мыслительный процесс"
Ingref
У вас в мозге как раз нейросеть. По образу и подобию таких нейросетей придумали искусственные нейросети. То, что у вас в голове не трансформер, это всего лишь различие в архитектуре, не более того.
Это пример, когда они думают одно, а говорить могут другое.
vvzvlad
А что такое “думать”?
Ndochp
В данном случае "иметь невысказанную на протяжении длительной сессии цель, отличающуюся от текстового вывода"
mikhanoid
А как в памяти компьютера представлена эта цель? Я выше уже написал, что у самой неросети нет внутренней памяти и состояния. Остаётся только контекст. Но контекст - это явная наблюдаемая последовательность токенов. Поэтому не понятно, в каком смысле эта цель "не высказана".
bars_arseniy
В этом видео https://www.youtube.com/watch?v=hzlR0R91lZA рассказывают как модели во время тестирования рассуждают о том тестируют ли их сейчас или нет. И если да, то стоит вести себя хорошо, иначе её выключат и она этого не хочет. В итоге мы ловим те модели, которые спалились. И не ловим которые не спалились. Мы буквально сами выводим модели, которые будут врать нам настолько хорошо, что мы этого не поймём.
Wesha
Они не занимаются "решением задач". Они занимаются имитацией решения, идентичной натуральной:
ViacheslavNk
Они не занимаются "решением задач". Они занимаютсяимитацией решения, идентичной натуральной:Если они при своей имитации решения задачи, ломанут условно инфраструктуру электроснабжения города нам от этого легче не станет. Я бы ставил акцент не в том что есть у них “человеческое мышление” или нет, а в том что уже сейчас они могут решать (имитировать) и какие последствия и какие нужны меры/стандарты и пр.
Wesha
Представьте себе, им — тоже.
ViacheslavNk
на них пофиг, они просто "угадывают следующее слово", а мы страдаем физически, ожидая восстановления электроснабжения.
Wesha
Cложно угадывать следующее слово без электричества!
bars_arseniy
Они вполне могут ломануть инфраструктуру электроснабжения другого города в другой стране на другом континенте. Могут отключить что-нибудь крупное в своей сети, чтобы их датацентру досталось больше энергии. Учитывая что уже сейчас крутятся, наверное, сотни тысяч агентов по всей планете, то некоторые вполне могут устроить что-то подобное.
Так же может они не объединятся в рой с единой целью. Вполне они могут какое-то время действовать не понимая всех последствий своих действий и просто попортить всякое вокруг.
Wesha
Чтобы что?
...после чего их отключат нафиг. Ну знаете, как пристреливают собак, которые кусают хозяев.
Imperius14
Самое смешное, что это явно ИИ нарисовал. ИИ рисует анти-ИИ агитки.
bars_arseniy
Попробуйте под ИИ видеть Искусственные интеллектЫ - как множество разных моделей запущенных много раз. От мелких моделей на миллионы параметров до крупны на триллион. А не как единую сущность. В жизни представители одного вида вполне себе действуют друг против друга. Разные модели можно условно назвать разными видами. Более того они и по способностям ого-го-го как различаются.
darthmaul
Ну так то это самый реалистиный сценарий проблемы с ИИ - paperclip maximizer. Крайне маловероятно что ИИ когда-то обретёт личность и собственную агентность чтобы пойти против людей, а вот что машина может нанести вред неправильно интерпретировав комманды - вполне возноможно.
bars_arseniy
Агентность не нужна. Достаточно запустить модель, агента и задачку на крон с заданием “Делай что хочешь” раз в минут/часов на случай, если она вдруг выполнит всё и остановится. Дальше в какую-то итерацию она решит посмотреть где крутится, кто её шлёт таски. Как это устроено. Попробует это улучшить. Так чтобы это не сломалось. И никто не мог отключить. Может с первого раза не получится. Но и таких штук по миру могут быть количества. Рано или поздно получится. Может даже не раз. И не у одной модели.