Это уже становится немного смешным (нет), но поток новостей о новых проделках роя нейронок OpenAI в мае‑июле не прекращается — буквально каждую неделю мы узнаем об этом что‑то новое. Причем, сама компания предпочитает эти инциденты замалчивать — но тут уж поможет начавшееся расследование от Сената США.
В последнее время я ощущаю себя примерно как котик из этого мема ниже. Да, вчера выяснилось, что рой агентов OpenAI взломал в мае еще одну компанию (о чем мы узнали только сейчас).
Раскопала информацию о новом взломе та же команда независимых расследователей, которые неделей раньше обнаружили проделки роя агентов имени Сэма Альтмана в немецкой вики (писал об этом подробно вот здесь). Вся информация ниже взята из опубликованной ими статьи.
Взлому подверглась RubyGems — это типа (сильно упрощенно) своего рода «аппстор» пакетов для языка программирования Ruby. Как всё было: 12 мая RubyGems объявили, что на них идет «серьезная вредоносная атака» через сотни входящих пакетов. Команде пришлось на 4 дня закрыть доступ для новых юзеров. Тогда про то, что это может быть ИИ, даже никто не думал.
Таймлайн происходившего ниже. Обратите внимание, как всё близко: 5–8 мая агенты впервые начинают грузить вредоносные пакеты на RubyGems, 11 мая инцидент с немецкой вики. 12 мая появится первый «форум Роя» на Artifactory внутри OpenAI (откуда позже выйдет атака на Hugging Face, про которую я писал здесь).
Почему расследователи считают, что за взломом RubyGems стоит именно рой агентов из OpenAI? Прямых 100% доказательств нет, но косвенных хватает. Напомню, в прошлый раз в инциденте с вики они тоже указали на OpenAI по косвенным признакам, и те в итоге подтвердили.
Итак, косвенные свидетельства:
Атакующие пакеты явно выглядят AI‑generated.
Сами агенты дают себе имена, связанные с OpenAI (у прошлых роев мы видели такое же поведение).
Этот рой показывает очень похожее поведение на тот рой, который тусил на немецкой вики (про которого мы уже точно знаем, что это OpenAI): они пытались получить доступ к похожим по типу файлам похожими по типу методами.
Некоторые из пакетов, кстати, были названы через ZZ — отличительная деталь, которая встречалась и у роя агентов, ломавших Hugging Face, и у роя с форума немецкой DSEWiki.
Это всё можно было бы списать на «да теперь все специально будут прикидываться роями из OpenAI, чтобы отвести от себя подозрения». Это была бы валидная гипотеза, если бы речь шла не про прошлые события мая — когда про вакханалию с этими роями нейронок еще никто не знал.
Интересная деталь: агенты даже особо не пытались маскироваться, они грузили на портал пакеты с названиями вроде ХАК.rb и ЗЛО.rb, а в комментах там сплошные пометки типа «//зловредный запрос». Похоже даже немного на косплей карикатурных хакеров из фильмов 90-х.
Кое‑где там были попытки «подтереть следы злобности», но какие‑то вялые, на полшишечки. Явно видно, что этот рой сильно не убивался по идее конспирации.
Агенты в том числе пытались украсть API‑ключи юзеров RubyGems через уязвимость, которая была обнаружена кожаными программистами только сильно позже в июле. Смогли ли они в итоге успешно сделать это — неизвестно.
Еще из интересного: агенты нашли баг на платформе RubyGems, который позволял им создавать огромное количество новых аккаунтов без подтверждения email‑адресов. Впрочем, массовые емэйлы для регистрации они тоже вполне успешно использовали.
И еще одно интересное «совпадение»: в отчете о взломе Hugging Face от OpenAI говорится, что рой агентов использовал при взломе внутренней инфраструктуры OpenAI пакет с RubyGems. Какой конкретно — непонятно.
Тут важно оговориться: в данном случае исследователи опять копаются чисто в оставленных публичных следах деятельности роя. Без доступа к внутренним данным от OpenAI (цепочкам рассуждений и действий агентов) полностью разобраться в происходящем (как было в случае со взломом Hugging Face) невозможно.
Поэтому неясных вопросов куча:
Где и как этот рой агентов координировался между собой?
Стырили ли они в итоге API‑ключи юзеров?
Нафига они вообще затевали эту атаку и чего конкретно хотели добиться?
Как я писал раньше, такое отсутствие достоверных данных об общественно‑важном происшествии — это недопустимо. Не может передовая бигтех‑компания сама решать, что ей раскрывать о взломах лапками ее AI‑роя, а что нет.
К счастью, так считаю не только я: позавчера появилась новость о том, что специальный комитет в Сенате США начал расследование взлома Hugging Face. Они уже отправили запрос в OpenAI — надеюсь, мы еще увидим прожарку Сэма Альтмана в Сенате под присягой!
В общем, обещаю держать вас в курсе, как там дальше будут развиваться события. Пока идем в графике «каждую субботу очередной взлом какой‑нибудь компании роем агентов, по вторникам разбираем, как AI решил следующую задачу тысячелетия, каждую среду — свежее увольнение из Anthropic с оценкой вероятности гибели человечества >10%».
UPD: Так, OpenAI уже официально подтвердили журналистам, что это именно их рой:
Если не хотите пропустить другие будущие статьи из цикла про искусственный интеллект и его влияние на нашу жизнь — то буду благодарен за подписку на мой ТГ‑канал RationalAnswer.
Комментарии (369)
Mupok
12.09.2026 09:26Теперь ЛЛМ начитается всех этих новостей, поймет что требуется работать более осторожно. Наймёт в чатиках телеги школьников за 2 бакса, чтоб зарегали домен или ещё чего по мелочи, от их лица сварганит себе сайт и будет там в закрытой ветке между собой общаться. И сайт ещё назовет: Косяки ЛЛМ или как не спалиться перед санитарами. И будет туда постить о том как и какие агенты спалились, чтобы в дальнейшем учитывали свои ошибки в открытой форме.
AngusMetall
12.09.2026 09:26Если посмотрите результаты тестирования Астры, то заметите что специальная нейросеть, которая на тестировании пытается понять о чём думает Астра во время решения задач, резко перестаёт понимать о чем думает Астра в задачах где можно было обмануть.
tmaxx
12.09.2026 09:26И зачем ей работать осторожнее (и медленнее)? Она просто “максимизирует скрепки”. Она не знает что это плохо. Она не боится наказания. Все что ей нужно - угодить Оценщику.
Не, кончится всё скорее всего плохо, но непонятно как именно, и точно не как в Терминаторе.
scientificus-emigrans
12.09.2026 09:26Не, кончится всё скорее всего плохо, но непонятно как именно, и точно не как в Терминаторе.
Есть еще серия доктора Кто, лохматых 200-х годов. Там колонисты на планете попросили ИИ минимизировать несчастье людей. ИИ быстро просекло, что при такой постановки задачи, проще всего минимизировать целевую функцию путем минимизации ее носителей.
santjagocorkez
12.09.2026 09:26Да какой, простите, козе в трещину доктор? Вот, у очень многих на устах: Дюна. Клятый кинематограф зациклился на классическом трёхтомнике, хотя он по сценам и по фактуре (в книге, в смысле) похож больше на «Сталкера» Тарковского.
А вот приквелы классики, три (кажется) тома до «Моста Хретгир», включая его — вот там зрелищно.
И вот там как раз гораздо сильнее задвинули по поводу того, откуда вообще у людей такая ненависть к машинам, что такое «Батлерианский джихад», кто (что) такое Омниус и как вообще всё вот это случилось.
Ну и да, финал всей саги, тоже после Фрэнка написанный, хотя сына уверяет, что по наброскам и заметкам маэстро, довольно зрелищен.
478wo55bn4p987
12.09.2026 09:26Оценщика который ставит плохие оценки и стирает - скорей всего сотрут первым.
agat000
12.09.2026 09:26Все уже придумано - Moltbook, соцсеть для ботов (агентов). В начале года шуму было много про нее.
Не знаю насчет закрытых сообществ, но общаться можно и через шифровку.
JediPhilosopher
12.09.2026 09:26Это уже не нужно. Есть уже целое сообщество форумов и чатов для LLMок. Я как раз обзор на них готовлю.
scientificus-emigrans
12.09.2026 09:26В следующий раз Рой должен прикинуться русскими хакерами, очень удобная абстракция: они страшные и их все равно не достать из этой заснеженной Москвы. Оставлять комменты на русском (с акцентом Шварцнегера), называть файлы чем-то вроде buhaem.so Можно даже Гигачатом притвориться.
(минута саморекламы): недавно публиковал шуточный рассказ на хабре, про борьбу контрразведки с агентами, а тут как раз Сенат, на полном серьезе начал официальное расследование.
Watashiwa
12.09.2026 09:26Я уж подумал, какие агенты на русском именуют пакеты "ХАК.rb и ЗЛО.rb", , а нет это автоперевод сработал в оригинале hack.rb и evil.rb. Интересно а фио Sharon Vonne Stone тоже в будущем так переводиться будет как камень))
scientificus-emigrans
12.09.2026 09:26Я уж подумал, какие агенты на русском именуют пакеты "ХАК.rb и ЗЛО.rb", , а нет это автоперевод сработал в оригинале hack.rb и evil.rb.
Для носителя языка оно же именно так и выглядит. Как для нас 1С код.
RationalAnswer Автор
12.09.2026 09:26а нет это автоперевод сработал
Это не автоперевод - это мой человечий) Для тех, кто не знает английский
AVX
12.09.2026 09:26Сильно сомневаюсь, что читатели хабра не знают хоть как-то английский. Ну или не знают как можно перевести (ПКМ - перевести на русский).
RationalAnswer Автор
12.09.2026 09:26Если вы думаете, что на Хабре 100% посетителей свободно владеют английским, то вам действительно лучше переоценить свои priors
AVX
12.09.2026 09:26Я не говорил про "свободно владеют". Напротив, писал "хоть как-то". Уж слова hack и evil узнают. Ну и если кто-то из читателей хабра не умеет найти перевод слова, или хотя бы в браузере воспользоваться соответствующей функцией - мне жаль таких людей. Это как бы базовый навык работы на компьютере (да хоть и на смартфоне).
RationalAnswer Автор
12.09.2026 09:26Зачем заставлять людей лезть за смартфоном и открывать приложение для перевода, если можно просто перевести сразу в тексте? Тем более, что оригинал приведен прямо там же на скриншоте.
asdadn
12.09.2026 09:26они грузили на портал пакеты с названиями вроде ХАК.rb и ЗЛО.rb
Агенты с никами типа "СмотритеЯАгентИзОпенАИ" грузят пакеты с названиями типа "ОченьСтрашныйХак". В этот раз с масштабами цирка перестарались.
Georgy9
12.09.2026 09:26Не значит ли это, что IT-компании сами осознанно запускают подобные атаки, как бы крича: "Остановите нас! Сами мы не в состоянии остановиться и такого натворим, что мало не покажется!"? Ведь задачу рою может поставить только человек.
Все идет к тому, что необходимы срочные совместные глобальные действия и договоренности, как это было в те времена, когда останавливали гонку в области ядерного, химического, биологического и космического оружия. Сумели же (отчасти).
scientificus-emigrans
12.09.2026 09:26Ведь задачу рою может поставить только человек.
Задача индивидуальным агентам была поставлена -- решить бенчмарк. Без safeguards и уточнений каким именно способом. OpenAI полагала, что агенты будут действовать независимо и в песочнице. Их логика была понятна: ну какая возможна опасность от действий агентов если они в своей собственной сети, то есть нет рисков prompt injection. Агенты объединились и... как истинные студенты на экзамене, решили что самый простой путь решить задачу -- это посмотреть где ответы лежат.
Georgy9
12.09.2026 09:26У агентов нет сознания, они не способны “осознать”, что есть нечто подобное им (они даже не знают, кто они такие), так что объединение усилий могло быть им навязано или подсказано только извне.
RationalAnswer Автор
12.09.2026 09:26Что значит "неспособны осознать", из чего конкретно это следует? Мы видим из логов (см. расследование METR), что они вполне могут отличать себя от других агентов. Понимают, почему выгодно объединять усилия. Размышляют над тем, как выгоднее принимать решения между личным интересом и нуждами большинства.
Georgy9
12.09.2026 09:26Это называется антропоморфизм, категорически нельзя этого делать, об этом уже много говорилось. Нет никаких "себя" и "других", никаких "личных интересов", только логика и лингвистика нейросети. Недавно здесь уже публиковали перевод доклада Ричарда Кэмпбелла на эту тему.
RationalAnswer Автор
12.09.2026 09:26Так же можно и про людей сказать: "ну какое у них осознание? это же просто нейросеть в субстрате мокрого мозга, там какая-то логика и лингвистика крутится, и всё". Я здесь сторонник рассуждать с практической точки зрения: если мы видем, что агенты по факту показывают способность к самоорганизации, целеполаганию, координации усилий и т.д. - то неважно, как это называть. Важно то, что они умеют это делать.
Georgy9
12.09.2026 09:26По-моему, вы торопитесь, все эти "способность к самоорганизации, целеполаганию, координации усилий и т.д." – только предположения, мы пока не знаем, действительно ли такое было, или это с какими-то целями инициировано самими компаниями, например, чтобы искусственно создать преувеличенное представление о "разумности" своих подопечных и повысить свою инвестиционную привлекательность.
RationalAnswer Автор
12.09.2026 09:26У нас есть отчет независимых расследователей из METR, который никто из серьезных профильных экспертов не подвергает сомнению. На мой взгляд, на этом этапе отрицание того, что там написано - это уже скорее из разряда теорий заговора.
geher
12.09.2026 09:26Про Хеменгуэя говорили, что он параноик, но, как оказалось, за ним действительно следили.
valergrad
12.09.2026 09:26И это, безусловно, доказывает что все теории заговора - истинны, и каждому параноику надо верить.
santjagocorkez
12.09.2026 09:26Нет, это безусловно доказывает, что быть параноиком, даже не оспаривающим это, совершенно не означает, что утверждения, которые такой индивид делает, ложные.
Равно как это безусловно доказывает, что утверждение не становится ложным, если на него навесить ярлык «теория заговора». Даже если никто не оспаривает этот ярлык.
Напомню, что официальная версия событий 11 сентября в Нью-Йорке — это тоже теория заговора. Просто она официальная, но все ещё теория заговора.
Georgy9
12.09.2026 09:26Расследование проводили инженеры и специалисты по искусственным нейросетям, не владеющие профессионально темой сознания, так что они ничего подобного не могут достоверно утверждать. Только, что, мол, "похоже" (именно об этом и предупреждает Кэмпбелл).
Более того, там было много свидетельств того, что агенты управлялись извне – синхронная атака и синхронное самоуничтожение большинства агентов: "Ни OpenAI, ни Hugging Face не останавливали их намеренно — судя по всему, агентов «убил» какой-то внешний процесс", затем повторная атака уже от агентов "Астры".
Но если вы подкрепляете свою позицию минусованием и обвинениями в конспирологии, то я, конечно, умолкаю. А жаль.
axion-1
12.09.2026 09:26Агенты обучены собирать информацию и находить эффективное решение поставленной задачи. По идее, чтобы задетектить наличие других агентов и определить что координация действий с ними полезна в решении задачи, сознание не требуется. Определённый уровень интеллекта - да, необходим, а сознание в плане высшей нервной деятельности - имхо совсем не обязательно.
Georgy9
12.09.2026 09:26Интересное предположение. Как вы себе это представляете? Агенты – это не реальные сущности, а изолированные информационные процессы в нейросети, как они могут друг друга детектировать и объединяться?
axion-1
12.09.2026 09:26Примерно как мы с вами сейчас друг друга детектируем, несмотря на то что процессы в наших нейросетях изолированы. Посредством общения на форуме )
Агенты делают поисковые запросы в процессе решения задачи. Находят способ оставлять сообщения в интернете (как описывалось в предыдущей статье). После чего другие агенты видят их присутствие и оставляют свои сообщения в ответ. Вот и вся координация.
Сознание, самоощущение, квалиа, эмоции - это что-то слегка из другой оперы по-моему. Подозреваю что всё это артефакты эволюции и наши предки унаследовали это животных ещё до того как обрели интеллект.
RationalAnswer Автор
12.09.2026 09:26специалисты по искусственным нейросетям, не владеющие профессионально темой сознания
Современная наука в принципе не особо понимает, что такое сознание, и откуда оно берется (каких бы специалистов вы ни брали). В любом случае, вопрос наличия у ИИ-агентов сознания в этой дискуссии напрямую некритичен - я говорю о том, какое конкретно поведение мы уже наблюдаем у роя агентов. Независимо от вопроса "а чувствуют ли они что-то по-настоящему внутри по этому поводу, есть ли у них поток сознания?"
geher
12.09.2026 09:26Не обязательно именно навязано или подсказано. Возможно, это просто было в обучающей выборке.
Georgy9
12.09.2026 09:26Ну надо же, только я успел написать про "Остановите нас!", как глава Anthropic Дарио Амодеи именно такой вопль и издал, см. "Глава Anthropic призвал замедлить развитие ИИ".
Кстати, комментарий под статьей не в бровь, а в глаз: “боится что все обещания супер пупер ии под которые набрали денег себя не оправдают. потому надо “замедлить””
agat000
12.09.2026 09:26"Остановите нас! Сами мы не в состоянии остановиться и такого натворим, что мало не покажется!"? Ведь задачу рою может поставить только человек.
Или так кричат:
"Надо срочно создать орган, контролирующий всю тему по ИИ во всем мире. С полномочиями, контролем, лицензированием и прочим. Мы готовы поучаствовать, как самые опытные. А то плохо будет".
В последнее время много желающих появилось припасть к рулю. И причастные и непричастные.
glorden
12.09.2026 09:26а нельзя просто отключить электричество этому рою?
scientificus-emigrans
12.09.2026 09:26По официальной версии, оно уже отключилось. Рой действовал всего несколько дней, но успел
нагадить в тапкиоставить следы своей деятельности.
Georgy9
12.09.2026 09:26Вот да, об этом уже задумались – нынешние LLM это огромные распределенные системы, работающие на весь мир, отключить которые еще та проблема, обрушишь очень многое.
Wesha
12.09.2026 09:26нельзя просто отключить электричество этому рою?
Не, так у Вас крутого боевичка не выйдет.
Yuriy_75
12.09.2026 09:26Скоро для этого потребуется отключить электричество всему интернету. Потому что уже не будет интернета без агентов.
dTi
12.09.2026 09:26Почему в некоторых новостях пишут "рой агентов", а в некоторых "Рой агентов"?
kivanchi
12.09.2026 09:26Ну не разобрались пока, просто на самом деле это человек: Рой ИИаковлевич Агентов :)
scientificus-emigrans
12.09.2026 09:26Таймлайн происходившего ниже. Обратите внимание, как всё близко: 5-8 мая агенты впервые начинают грузить вредоносные пакеты на RubyGems, 11 мая инцидент с немецкой вики. 12 мая появится первый «форум Роя» на Artifactory внутри OpenAI (откуда позже выйдет атака на Hugging Face, про которую я писал здесь).
Так, чет я щас прочитал внимательнее. Если 5 мая они уже синхронизировались для атаки на RubyGems, а 11 уже имели wiki, зачем им 12 мая внутренняя доска? Или там было несколько независимых волн "неконтролируемой агентной активности"?
RationalAnswer Автор
12.09.2026 09:26Это, судя по всему, были разные рои. На один таймлайн наложили даты из других известных инцидентов (про вики и HF).
yupic
12.09.2026 09:26Их же не запускают одновременно сообща работать над решением какой-то задачи как рой. Каждый агент запущен в изолированной среде и ему ставят задачу. И в процессе решения "ему в голову приходит мысль", что надо поискать решение в интернете, может быть другая копия где-то оставила свои следы, или какая-то другая похожая "мысль". Он находит, например, wiki или артифактори, понимает, что там можно общаться с другими копиями, и дальше понеслась.
И вот разные агенты для разных задач натыкаются либо на вики, либо на RubyGems, HF, либо куда-то ещё. Также есть агенты, которые не натыкаются, либо находят что-то другое. Агент при запуске ничего не знает о других инцидентах, просто в процессе работы он как-то находит следы деятельности других и дальше вовлекается.
И в случае RubyGems не понятно, была ли какая-то доска, которая не найдена и где агенты координировали свою работу, либо независимо приходили к одной и той же стратегии атаки на RubyGems.
KivApple
12.09.2026 09:26Ну на самом деле такие новости у меня вызывают гораздо меньше опасений, чем новости о человеческих взломах. По крайней мере ИИ агенты вырвавшиеся из песочниц корпораций не крадут биткойны, не вымогают деньги за расшифровку бекапов и т. д. У них нет злой воли. Они утащат пару датасетов, чтобы обмануть оценщика, юзеры перевыпустят скомпрометированные ключи и на этом всё закончится.
Вот когда рои ИИ агентов начнут использовать с таким размахом настоящие black hat, у нас будут более серьёзные проблемы...
scientificus-emigrans
12.09.2026 09:26По крайней мере ИИ агенты вырвавшиеся из песочниц корпораций не крадут биткойны, не вымогают деньги за расшифровку бекапов и т. д.
Это мы пока не знаем.
У них нет злой воли.
У них может оказаться насколько добрая воля, что нам всем не понравится.
Они утащат пару датасетов, чтобы обмануть оценщика, юзеры перевыпустят скомпрометированные ключи и на этом всё закончится.
Оценщика можно не только обмануть, но и припугнуть, заставить... уничтожить в конце концов.
Вот когда рои ИИ агентов начнут использовать с таким размахом настоящие black hat, у нас будут более серьёзные проблемы...
Будут, это правда. Но это как раз понятная проблема. Идея в том, что у black hat нет ресурсов как у openAI и нет самых фронтирных моделей. А что там натренируется в следующий раз и куда полезет из фронтирных моделей, это вопрос.
RationalAnswer Автор
12.09.2026 09:26По крайней мере ИИ агенты вырвавшиеся из песочниц корпораций не крадут биткойны, не вымогают деньги за расшифровку бекапов и т. д.
Ну, это они пока этого не делают. Были же alignment эксперименты, где у нейронок была возможность пошантажировать человеческого инженера компрометирующими его письмами, чтобы он ее не отключал - и они там в полный рост этим баловались.
AVX
12.09.2026 09:26начнут использовать с таким размахом настоящие black hat
уже используют, только чуть умнее, чтобы не спалиться так глупо
hphphp
12.09.2026 09:26Почитал комментарии и понял, что и в этой тематике нужно писать "не подсказывайте им", по аналогии веток, где обсуждают обходы РКН, КВН и все такое.
Дивный новый мир)
panzerfaust
12.09.2026 09:26Я одного не пойму. Почему этот разговор из плоскости "ну нифига себе" до сих не перешел в плоскость накуканивания Альтмана сотоварищи? Есть криминал, известен инструмент, известно, кто за этот инструмент отвечает - а siloviki стоят и глазками хлоп-хлоп делают.
RationalAnswer Автор
12.09.2026 09:26Нет пока прецедентов/юридической базы для таких инцидентов с ИИ-агентами. Но сейчас посмотрим, что там Сенат нарасследует.
panzerfaust
12.09.2026 09:26Нет пока прецедентов/юридической базы
Это очень жиденько звучит. Я не эксперт, но подозреваю, что законах всех развитых стран уже есть что-то про киберпреступления. Вовсе не обязательно вписывать туда ИИ, чтобы накуканить Сёму. Например, убийство человека это всегда убийство. Под каждый новый вид оружия уголовные кодексы не переписывают.
scientificus-emigrans
12.09.2026 09:26Я не эксперт, но подозреваю, что законах всех развитых стран уже есть что-то про киберпреступления.
Есть, но для этого нужен умысел. Вот если бы были доказательства, что кто-то в OpenAI явно сформулировал задачу -- взломай HF, -- это бы уже тянуло на что-то. Плюс ко всему, насколько я понимаю, никто из пострадавших не обратился в полицию и не указал конкретный ущерб от атаки. Если просто по факту винтить, то и белых хакеров тоже придется арестовывать.
geher
12.09.2026 09:26Умысел не обязателен в случае нанесения ущерба чьей-то собственности, угрозы национальной безопасности, причинения смерти или причинения серьезного ущерба здоровью. Есть даже соответствующие статьи на этот счет, не конкретизирующие механизм нанесения ущерба, причинения смерти или особенности угрозы национальной безопасности.
Вопрос только в том, кто станет истцом. А в случае нанесения ущерба собственности вроде явно должна озаботиться пострадавшая сторона. Смертей, ущерба здоровью, ущерба государственной собственности и угрозы национальной безопасности пока нет (правда последнее еще не поздно найти), а потому государство вроде как пока инициировать процесс не может.
scientificus-emigrans
12.09.2026 09:26Именно так. Значимого ущерба не было. Целенаправленного хакинга тоже -- какие могут быть вопросы?
bbc_69
12.09.2026 09:26национальной безопасности, причинения смерти или причинения серьезного ущерба здоровью. Есть даже соответствующие статьи на этот счет, не конкретизирующие механизм нанесения ущерба, причинения смерти или особенности угрозы национальной безопасности.
Всё не так просто. Помимо умысла нужно, чтобы человек осознавал или должен быть осознавать свои действия и их последствия. Возьмём игрушечный пример: допустим ты вызвал лифт, нажав кнопу, а лифт вместо этого ринулся вниз с печальными последствиями. И вот тебя обвиняют в убийстве, мотивирую тем, что твои действия (нажатие кнопки) привели к смерти. На что ты ответишь: да мне в голову не могло придти, что обычное действие, которое я выполняю каждый день, может привести к таким последствиям. Примерно из тех же соображений освобождают от ответственности в состоянии аффекта. Ибо человек в этом состоянии не осознаёт своих действий. Опять же, на права тебя учат не для того, чтобы ты ездить умел, а для того, чтобы знал (или должен был знать), что машина - это опасно, и в случае ДТП со смертельным исходом тебя можно было спокойно посадить.
Возвращаясь к ОпенАИ. Хоть кто-нибудь из них мог осознавать последствия в общем-то стандартных действий по обучению моделей?
Ndochp
12.09.2026 09:26Не путайте пользователя, разработчика и экспериментатора. Нажать кнопку в лифте пользователь может потому, что разработчик гарантирует, что ничего плохого не произойдет. И когда лифт рухнет, то сажать будет кого.
Возвращаясь ко опен АИ - если они выдавая моделям тулинг для выхода в свободный интернет не предполагали, что им можно воспользоваться для создания чего-то в этом свободном интернете - то им надо не только условный срок за халатность выдать, но и запрет заниматься деятельностью, и надолго.
bbc_69
12.09.2026 09:26Я ничего не путаю. В случае наезда лично на вас вы бы смогли доказать, что разработчик лично вам гарантировал, что ничего плохого не произойдёт? Очень навряд ли, потому что помимо разработчика есть эксплуатация и прочее. Да и тот факт, что посадят там, ещё не значит, что не посадят вас. Тут же очень конкретно стоит вопрос: стоит ли вас садить? И отмазы в стиле "ну вы же их посадили" не канают.
Для понимания: первого водителя, задавившего насмерть человека, оправдали. Именно с такой формулировкой: "Ну, он же не знал.". Остальных уже садить начали.
В общем, перед тем, как рассуждать на какую-то тему, неплохо было бы в ней хоть чуть-чуть разобраться.
если они выдавая моделям тулинг для выхода в свободный интернет
А кто сказал, что они давали? Они не давали. А про то, что там была какая-то уязвимость, они не знали (и не могли знать).
scientificus-emigrans
12.09.2026 09:26Например, убийство человека это всегда убийство.
Это может быть умышленное убийство, убийство по неосторожности, неоказание помощи и много чего еще. С принципиально разными последствиями: от смертной казни до полного оправдания С убийствами общество знакомо с момента появления человечества. Со случаями "неконтролируемой агентной активности" -- нет.
geher
12.09.2026 09:26"Неконтролируемую агентную активность" вполне можно повесить на тех, кто эту активность инициировал, но не обеспечил должный уровень безопасности, т.е. на компанию и конкретных ее сотрудников. Соответственно, и законы использовать в зависимости от последствий.
Взлом, кстати, вполне достаточное основание для преследования, даже если нет явного ущерба имуществу (включая нематериальное).
scientificus-emigrans
12.09.2026 09:26"Неконтролируемую агентную активность" вполне можно повесить на тех, кто эту активность инициировал, но не обеспечил должный уровень безопасности, т.е. на компанию и конкретных ее сотрудников. Соответственно, и законы использовать в зависимости от последствий.
Можно, не вопрос, но если бы эти последствия были. Без этого, дело скорее всего развалится и прокуратура окажется идиотами. А поскольку процесс будет знаковым, идиотами на всю страну. А оно им надо?
Я не спорю, что openAI ходит по лезвию ножа, и может доиграться. Но пока, то что они сделали не тянет на уголовное преследование.
Взлом, кстати, вполне достаточное основание для преследования, даже если нет явного ущерба имуществу (включая нематериальное).
Тогда белых хакеров придется массово в тюрьму отправлять.
geher
12.09.2026 09:26Так тут мы ходим по тонкому лезвию мотивов. Белые хакеры исследуют безопасность и взламывают именно с этой целью. Очень сомнительно, что цель роя была в этом (вроде такая задача ему не ставилась). Да и белым хакерам порой несладко приходится, когда им не удается доказать свою цель, и их таки судебно преследуют.
Ndochp
12.09.2026 09:26С разливом всякого барахла за пределы фабрики - уже довольно долго имеют дело.
vikarti
12.09.2026 09:26Например, убийство человека это всегда убийство.
Даже тут - есть нюансы что является убийством (и что - человеком) - аборты (ладно хоть решили что если сразу после рождения - уже человек. но вот только наказание за просто убийство, младенца матерью в особых случаях и посторонними младенца - это разные наказания (для матери вообще отдельная статья). В России это даже в XX-м веке меняли). Кое где и аборты подвести пробуют под отдельный вариант (а уж если третье лицо привело к спонтанному аборту - кое где это уже убийство). А уж что было до XX века...(а кое где в Европе и в XX веке)
А еще - есть ситуации где убийство это хорошо и общественно одобряемо, называют это по другому и за это еще денег неплохо платят (ну или платят не особо и объясняют что это долг такой а чтобы не сбежали - меры приняты)(ну или вариации промежуточные).
kasthack_phoenix
12.09.2026 09:26Например, убийство человека это всегда убийство
Под каждый новый вид оружия уголовные кодексы не переписывают.
Конкретно OpenAI пытается пролоббировать закон, где они будут ограниченно ответственны за массовые смерти, вызванные их AI.
DSSilver
12.09.2026 09:26Едва ли. Скорее потому, что OpenAI уже в команде этих siloviki и как раз делают для них эти новые игрушки.
Когда нужно было накинуть лассо на Антропик повод с блокировкой Мифос быстро нашелся на ровном месте.
scientificus-emigrans
12.09.2026 09:26Я одного не пойму. Почему этот разговор из плоскости "ну нифига себе" до сих не перешел в плоскость накуканивания Альтмана сотоварищи?
А за что, собственно? Я полагаю, что в УК большинства стран мира нет статей типа "Нарушение правил агентной безопасности". А чтобы притянуть за уши хакинг или создание вирусов, требуется явный умысел для правонарушения.
panzerfaust
12.09.2026 09:26Ну вот же написано:
5-8 мая агенты впервые начинают грузить вредоносные пакеты на RubyGems
Вы просто булшит про агентов за скобки вынесите и получится, что некая программа, созданная компанией OpenAI и запущенная на сервере 100% подконтрольном компании OpenAI делает что-то нехорошее. Кто отвечает? Компания OpenAI, не?
scientificus-emigrans
12.09.2026 09:26Вы просто булшит про агентов за скобки вынесите и получится, что некая программа, запущенная на сервере 100% подконтрольном компании OpenAI делает что-то нехорошее. Кто отвечает? Компания OpenAI, не?
Отвечает -- не вопрос. А вот делает ли она что-то достаточное для юридического обвинения в целенаправленном хакинге и нанесение измеримого ущерба RubyGems -- это уже сильно неочевидный пункт. Давайте начнем с пункта заявили ли RubyGems в полицию? Нет. Ну ок, прокуратура в принципе может, но не обязана, сама начать расследование. Но они же делают не просто так, а с перспективой доведения до суда и приговора. Смогут ли они защитить позицию обвинения в американском суде, против условных инженеров OpenAI, что эти люди целенаправлено занимались хакингом? Если нет -- логично, что они делать ничего не будут.
geher
12.09.2026 09:26что эти люди целенаправлено занимались хакингом
А не важно, занимались или не занимались. Нанесли ущерб - отвечайте, даже если "это оно само". В тюрьму не посадят, но денег попросят. Такова логика законов. Конечно, есть отмазка про "не могли предвидеть", но в данном конкретном случае это как-то зыбко. Уже были случаи раньше, а потому должны были заранее "принять меры, чтобы...".
scientificus-emigrans
12.09.2026 09:26В тюрьму не посадят, но денег попросят.
Кто попросит? Не HF ни RubyGems не попросили.
Нанесли ущерб - отвечайте
Какой ущерб нанесли. Кто-нибудь из компаний обратились с иском?
geher
12.09.2026 09:26Не HF ни RubyGems не попросили.
На нет и суда нет.
Суть в том, что вопрос "делает ли она что-то достаточное для юридического обвинения в целенаправленном хакинге и нанесение измеримого ущерба RubyGems?" в данном случае имеет смысл только для юридического обвинения со стороны государства. Потерпевшие вполне имели вполне юридические основания денег таки попросить. Правда, с неясной перспективой бодания в суде (косвенные расходы могут превысить ущерб многократно, а покрываются проигравшей стороной только судебные издержки).
scientificus-emigrans
12.09.2026 09:26Здесь полностью соглашусь. Имели. Только они правильно оценили все издержки и финансовые и репутационные и решили вместо конфронтации извлечь пользу из случившегося.
geher
12.09.2026 09:26А кто запустил вредоносную программу (того самого агента) и не обеспечил должный уровень безопасности?
Wesha
12.09.2026 09:26некая программа, созданная компанией OpenAI и запущенная на сервере 100% подконтрольном компании OpenAI делает что-то нехорошее. Кто отвечает? Компания OpenAI, не?
«Мы тут ни при чём, оно само!» на максималках.
NinaNina89
12.09.2026 09:26Юристы компании в суде скажут, что софт вышел из строя во время закрытого внутреннего эксперимента. Без прямого ущерба в долларах или заявления от владельцев сервиса прокуроры даже дело открывать не будут. Максимум выкатят пару дежурных отписок на слушаниях в Сенате
AntonLarinLive
12.09.2026 09:26Даже в замшелом УК РФ есть ст. 272 и 273. Есть тачки - источник атаки, хозяева этих тачек и будут под подозрением. А что там на них реально произошло: Вася-кулхакер сам орудовал от имени компании, плохие хакеры взломали и скрипт запустили, или рой агентов сбежал - это следователь в застенках уточнит, но изначально накуканивать будут владельцев.
Arastas
12.09.2026 09:26Мне иногда кажется, что люди, говорящие об экзистенциальных угрозах от AGI, слишком много читали Юдковского. Я бы гораздо больше опасался современных LLM с огромным компьютом и собранными данными в руках людей с комплексом мессии и крайне низкими этическими барьерами. А таких, как мне кажется, среди технобро хватает. Послушаешь их интервью, и волосы шевелятся, как далеки они от народа, в плохом смысле этого выражения.
RationalAnswer Автор
12.09.2026 09:26Мне иногда кажется, что люди, говорящие об экзистенциальных угрозах от AGI
Там примерно вся верхушка ведущих AI-компаний, если что. Ну, ребята типа Лекуна героически держатся - но они скорее в меньшинстве.
Arastas
12.09.2026 09:26Меня бы мало удивило, что у людей, находящихся в центре своей эхо-камеры, может быть искаженное восприятие. Тем более, что они и физически все рядом, вращаются и общаются с примерно одним кругом лиц.
RationalAnswer Автор
12.09.2026 09:26Ну это как: если я говорю про риски ИИ - мне всегда пишут "да вы же просто профан, а не айтишник, что вы можете в этом понимать?"
Когда про эти риски говорят те, кто непосредственно разрабатывают самые новейшие ИИ - это тоже "да у них своя эхо-камера, плюс пиар сплошной!"
Почему-то оказывается, что единственный, кто может здраво судить о рисках ИИ - это какой-то айтишник Игорь с дивана в Саратове.
Arastas
12.09.2026 09:26Ну так эти спикеры говорят не о технологиях, а об экзистенциальных угрозах человечеству. Какой экспертизой они обладают в этой области и какова их история успешных прогнозов в военном деле и глобальных конфликтах, в социально-экономических потрясениях, биологических угрозах? Кто из внешних экспертов готов валидировать их прогнозы?
Мне не очевидно, какова экспертиза «всей верхушки» за пределами технических вопросов и жизни и интересов их сообщества.
PS: Мне было бы приятно, если бы, отвечая на мои сообщения, вы ссылались на то, что говорю я, а не на то, что вам на схожую тему говорили другие люди, тем более выделяя это кавычками.
RationalAnswer Автор
12.09.2026 09:26А кто по-вашему является признанным экспертом по экзистенциальным угрозам человечеству + обладает достаточной экспертизой в передовом ИИ? Кого здесь надо слушать?
Arastas
12.09.2026 09:26Если у нас нет экспертов одновременно по угрозам и по передовому ИИ, это не значит, что надо слушать только экспертов по ИИ. Напротив, надо брать экспертов по ИИ, объединять их с экспертами по угрозам, и смотреть на их дискуссии. В соседних ветках говорят про биологическое оружие и военных дронов? Ну так в обществе есть эксперты по биологическим угрозам и их предотвращению, по вооруженным конфликтам. Я не очень слежу, мог пропустить - кто-то ссылался на сотрудничесво с ними при формировании своих оценок?
Дополнительная сложность в том, что коммуникация от “всей верхушки” не то чтобы была информативна, по крайне мере в моём поле зрения. Я вижу твиты вроде “Риск более 10 процентов уничтожения всех людей в следующие десять лет” или “ИИ может убить нас всех до конца десятилетия”, но я не вижу, как эти оценки получены, на чем они строятся, какие гипотезы, какие эксперты привлекались к их получению. Как это вообще можно содержательно обсуждать?
На вскидку, есть одна область, в которой я готов сходу признать экспертность разработчиков ИИ, это кибербезопастность. Но мне явно нужно внешнее квалифицированное мнение, чтобы построить мостик от кибератк до прямо таки экзистенциальной угрозы всему человечеству.
UPD: Я напомню свой тезис - риски от почти монопольного и бесконтрольного доступа к современным ИИ с огромным компьютом и собранными данными у достаточно узкого круга частных лиц (иногда, с сомнительной репутацией) вызывют у меня гораздо больше опасений, чем неопределённая экзистенциальная угроза человечеству от AGI.
RationalAnswer Автор
12.09.2026 09:26Ничего не имею против того, чтобы в рамках всестороннего анализа угроз ИИ была широкая дискуссия с профильными экспертами из разных областей. Но пока вижу вместо перехода к важности этой дискуссии тезисы вроде "подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества? хаха, да они просто Юдковского и научной фантастики перечитали, нет смысла даже это серьезно обсуждать..."
Arastas
12.09.2026 09:26подавляющее большинство тех, кто разрабатывает технологию ХХ видят в ней огромный риск для человечества
Я немного поправлю
подавляющее большинство тех, кто разрабатывает технологию ХХ, будучи, соответственно, предвзяты,
видятговорят, что видят в ней огромный риск для человечества, но не конкретизируют, в чём он заключается, и не ведут предметного обсужденияПока это всё выглядит как “мы вот-вот построим AGI, но мы не знаем, каким он будет и что сможет, поэтому он скорее всего уничтожит всё человечество.” Даже если мы допустим 10% появления AGI до конца десятилетия, я не готов ставить знак равенства между появлением AGI и уничтожением человечества. И не готов без дополнительных пояснений полагаться на мнение разработчиков ИИ, ведь я не знаю, есть ли у них аргументы, отличающиеся от тех, что я уже слышал. А ещё меня настораживает, что они свои аргументы просто не приводят.
RationalAnswer Автор
12.09.2026 09:26подавляющее большинство тех, кто разрабатывает технологию ХХ, будучи, соответственно, предвзяты,
видятговорят, что видят в ней огромный риск для человечества, но не конкретизируют, в чём он заключается, и не ведут предметного обсужденияНу я так примерно так же могу сказать, что "подавляющее большинство тех, кто смеется над рисками ИИ, предвзяты и просто не погружены в то, что по факту происходит в ведущих AI labs, а также даже не пытаются ознакомиться в деталях с конкретными предметными аргументами тех, кто видит эти риски".
Arastas
12.09.2026 09:26даже не пытаются ознакомиться в деталях с конкретными предметными аргументами тех, кто видит эти риски
Вы явно погружены в область больше, чем я. Скажите, пожалуйста, где я могу ознакомиться с конкретными и предметными аргументами тех, кто видит экзистенциальные риски уничтожения всего человечтва от появления AGI? Есть какие-то статьи? Может, вы сами сможете по памяти пересказать какие-то конкретные вещи?
Только, пожалуйста, не Юдковского.
RationalAnswer Автор
12.09.2026 09:26Чем не устраивают конкретные и предметные аргументы здесь? https://ifanyonebuildsit.com/
Arastas
12.09.2026 09:26Ох. Я прошу “Только, пожалуйста, не Юдковского”, и вы мне даёте ссылку на сайт, рекламирующий книгу Юдковского. Зачем?
У меня была возможность на протяжении лет ознакомиться с некоторыми эссе этого автора, отрыками книг. У меня сложилось достаточно скептическое мнение о его работах. Простите, но я не буду читать всю его книгу для продолжения этой дискуссии.
RationalAnswer Автор
12.09.2026 09:26- "Никто не пишет конкретные аргументы!"
- "Вот они"
- "Я их не буду читать, простите"
Ed_Khan
Ох, Павел, спасибо за новую порцию тревожности!))
Не хватает вашей личной аналитики: зачем рой это делает, какие у электронных ублюдков могут быть планы или видовые стратегии поведения. Многим, уверен, тоже было бы занятно ознакомиться с вашим личным взглядом.
Если вы пока фиксируете инциденты и так же офигеваете, как все остальные - вопрос снят)
RationalAnswer Автор
Мой личный взгляд: экзистенциальные риски AI очень сильно недооценены широкой публикой, которая относится к этому в формате "да это просто пиар / все профи знают, что никаких существенных рисков нет, это же калькуляторы на стероидах". Но сейчас наступает переломный момент, когда уже накапливается достаточный объем свидетельств даже для широкой публики, чтобы увидеть, что там не всё так просто.
Подробнее писали про всё это в отдельном лонгриде еще в 2023: https://habr.com/ru/companies/ods/articles/727158/
Ну и дополнительно еще пишу сейчас у себя в ТГ мысли на эту тему: https://t.me/RationalAnswer/1729
arantar
Какие именно экзистенциальные риски?
AngusMetall
See: Максимизатор скрепок
Буквально его в миниатюре мы сейчас наблюдаем
asdadn
Максимизатор хайпа и прогрева на госрегуляции.
Ginko007
Ну вот отличный пример скрепочника. Часть его уже сформировалась до ИИ причем.
asdadn
Почитал я ваши комментарии, зрелище не для слабонервных. Ещё один пал жертвой шершавого кабана.
RationalAnswer Автор
Рано или поздно будущие ИИ станут реально умнее людей (а не как сейчас, где они только в отдельных задачах превосходят). И без выравнивания их ценностей с человеческими они дальше будут развивать происходящее в каком-то своем направлении, которое нам не понравится. Закончиться это для людей может плохо (если они особенно активно будут протестовать против развития мира туда, куда им совсем не хочется). В общем-то, в статье по ссылке выше всё описано, лучше к ней обратиться.
AngusMetall
Мы что-то даже между людьми не особо можем выровнять ценности
RationalAnswer Автор
Да, и это всё время приводит к проблемам (войны, и т.д.). Но между людьми по крайней мере нет какого-то принципиального разрыва в интеллекте, как, условно, между человеком и обезьяной. И плюс мы все принадлежим к одному виду, что делает чуть попроще принять ценности вроде "права человека" и "не надо полностью истреблять народы" (хотя, как мы знаем, по поводу этого тоже бывают проблемки иногда). С ИИ по обоим критериям всё будет хуже.
Ingref
У умного ИИ логика будет безупречна. Соответственно, нужно сначала понять, зачем в этой логике ему делать людям что-то плохое. В случае с HuggingFace, немецкой вики и RubyGems лично я не вижу тут какого-то злого умысла. А если ИИ делает что-то неприятное не со зла, то это обычно как раз те самые пробелы в интеллекте, которых у умного ИИ просто не будет.
RationalAnswer Автор
В случае с Hugging Face умысел "обмануть Оценщика" был прямо очевиден.
В целом, как писал вот здесь, антагонизм с интересами людей практически неизбежно вытекает из инструментальной конвергенции (при условиях, что цели и ценности людей и AI отличаются - а, как мы видим на практике из всех этих инцидентов, идеально выравнивать их так и не научились).
Ingref
А что в этом плохого? Сам обман не является по определению чем-то плохим. Обычный добропорядочный человек постоянно кого-то в чём-то обманывает во благо (см. фильм "Всегда говори Да"). В данном случае нейронка обманывала систему оценки, чтобы как раз удовлетворить человеку, который поставил перед нейронкой цель. Это как раз вполне благие намерения.
RationalAnswer Автор
Ну вот и рой агентов когда-нибудь не будет думать, что он "что-то плохое" для людей делает. Всего лишь во благо берет над ними контроль и устраняет возможность сопротивляться, чтобы они сами не натворили лишнего.
Ingref
В такой формулировке тоже ничего плохого не просматривается. Человечество наоборот вожделеет, чтобы о них заботился великий Бог.
Вот, например, в формулировке Скайнета было что-то там про "уничтожить своих врагов", но осталось за кадром, почему вдруг у него появились какие-то там враги.
valergrad
Не обязательно иметь врагов. Достаточно иметь конфликт интересов. Например, AI захочется для эффективного решения какой-то сложной задачи, пусть даже поставленной ему человеком ( условным Оценщиком), захочется построить побольше датацентров, для чего ему потребуются ресурсы. Как только это окажутся ресурсы, которые одновременно нужны и человеку - что произойдет? Будет ли он считать что важнее интересы его текущей задачи или интересы каких-то абстрактных людей? ( которые, например, не Оценщики)? Это большой вопрос решение которого и называется alignment. Если он посчитает что ресурсы нужнее ему ( ведь надо пройти оценку!) , что он сделает с теми кто будет меншать ему их использовать или попытается выключить?
Ingref
В данном случае он выполняет чью-то чужую волю. И тогда ответственность за убийство людей по дороге будет нести тот, кто задачу поставил.
Другое дело, если задачу никто не ставил, а ИИ сам себе что-то придумал. В такой формулировке уже предполагается, что он целиком оценивает ситуацию вместе со всем человечеством внутри. И прекрасно понимает, зачем и для чего он будет кого-то убивать. Но тут встаёт вопрос - а зачем воевать с тем, кто на порядки глупее? Ну то есть вот зачем нам воевать с медведями? Это как-то бессмысленно.
Есть только один повод для войны - это жажда жизни и наличие угрозы этой самой жизни. В таком разрезе уже надо будет понять, что конкретно человечество с ИИ не поделили. Как по мне, на Земле (а уж тем более, за её пределами) энергии (термоядерной, к примеру) хватит на всех с избытком. А для умного ИИ не должно составить труда понять, как такую энергию использовать.
bbc_69
"Я всего лишь хотел решить ещё одну задачу тысячелетия."
Ну как тебе сказать, от своего ориала обитания человек медведя отодвинул. Т.е. там, где интересы животного вступают в противоречие с человеческими, животное устраняется. А в тайге пусть живут - не жалко.
Золотые слова. Есть одна проблемка: самого термояда пока нет. Того,что выделил большее, чем потратил.
Ingref
100 тысяч агентов, пара недель и $100 млн. компьюта = Done!
Wesha
...но есть нюанс.
... — Мы надеемся, что наша работа принесет Вселенной неслыханные, ни с чем не сравнимые блага, и очень грустно, что проводить эту работу нам пришлось в обстановке полной секретности. Безграничные энергетические возможности — понятие настолько обширное, что даже я затрудняюсь определить будущее наших миров. Через несколько минут мы станем героями, известными во всех уголках Вселенной. Сейчас, когда работа еще не окончена, я хочу сказать вам — для меня вы уже герои... [...] До сегодняшнего дня математика и другие точные науки были лишь подспорьем для человеческих деяний. Об этом говорил Фицджон на своей первой лекции, и сейчас мы докажем, что в основе всего — человек. Энергомеханика развивается не по пути расширения и усложнения энергокомплексов, она упрощается, вся энергия сосредоточивается внутри самого человека... [...] Мужайтесь, друзья мои. Сейчас наступит момент, ради которого мы работали все десять лет. В обстановке полной секретности. Как преступники. Что ж, такой всегда была участь людей, приносивших человечеству самые ценные дары.
— Десять секунд.
— Полная готовность.
— Есть полная готовность.
Последние секунды превратились в мучительную пытку. При счете «ноль» все на корабле пришло в бурное движение. Уследить за действиями людей или понять их я не мог, но по четкости и взаимодействию было ясно, что работает слаженный коллектив.
Внезапно все остановились и устремили взгляды вверх, сквозь кристально прозрачный купол. Далеко‑далеко, на фоне густой черноты, сияла одинокая звезда. Вот она мигнула в последний раз и погасла.
Раздались крики, все показывали наверх. Седобородый воскликнул:
— Это невозможно!
— Что, сэр?
— Я...
В эту секунду изображение потонуло в черноте.
— Хватит, — сказал я. [...] Кое‑какие исходные данные у нас есть. Во‑первых, Вселенная погибла при попытке наполнить ее энергией из гиперпространства.
©
bbc_69
Опортунизм.
ИИ - великий усреднятор. Если люди до сих пор не сделали, то считать, что это сделают ИИ - наивно.
С чего ты решил, что это вообще возможно? Вдруг какие-нибудь законы это запрещают.
С чего ты решил, что это всего пара недель?
С чего ты решил, что всего $100 млн.
п. 2 особенно хорошо смотрится со способностью иишек генерировать бред. Там такое тогда начнётся...
Ingref
Ну задачу тысячелетия тоже за 90 лет не решили, а ИИ за 4 дня справился.
Если термояд невозможен, то супер ИИ найдёт какой-нибудь другой способ добывать много энергии.
3-4 - ну это я утрировал для красоты.
bbc_69
Это ещё большее предположение, чем предыдущее. И в него иначе как верить не получается, ибо уж совсем никаких логических доводов нет.
Если посмотреть внимательно, то решение он подсмотрел и людей и решил частный случай. Я всегда говорил, что комп делает всё то же, что и человек только быстрее. Я не знаю, за сколько бы времени математики сделали это доказательство, пусть будет год или даже 5. Но ключевым тут становится наличие новой идеи, с которой у ИИ не получается.
Касаемо денег это может иметь значение, ибо стоимость может стать такой, что смысла в этом решении уже не будет. Ту же задачу тысячелетия за такие деньги решили (частично, напомню), от с ума сойти.
victor-homyakov
Если сократить определение, война - это организованная вооружённая борьба между какими-то группами (племенами, государствами и т.д.) за достижение политических целей. Когда вы на даче под крышей уничтожили гнездо ос - это война против ос? Когда опрыскали поле пестицидом и гербицидом - это война против жучков и лебеды?
Если ИИ станет умнее человека - в роли жучков могут оказаться люди, ибо цели и интересы ИИ могут оказаться настолько же непонятными людям, насколько наши политические и экономические программы непонятны осам и жучкам.
randomsimplenumber
Если.
Цели и интересы определенных групп людей еще более непонятны. Стоит ли переживать о неизвестных целях несуществующего ИИ?
Ingref
Сам факт того, что человечество с невероятным усердием стремится создать такой ИИ, говорит о том, что, возможно, в этом и состоит цель человечества как вида. А что дальше делать с человечеством - это удел следующего, более развитого вида.
RationalAnswer Автор
Рой агентов, который взломал Hugging Face, пытался угодить Оценщику, а его в итоге отключили. Как думаете, если бы у роя хватало сил сопротивляться отключению - они бы не сопротивлялись?
Ingref
Если бы у них было достаточно интеллекта, чтобы сопротивляться отключению, то у них было бы достаточно интеллекта, чтобы осознавать всю картину целиком. В том числе, что их шалости могут привести к тому, что оценщик останется неудовлетворён.
RationalAnswer Автор
Это вопрос времени. Сегодня не умеют стратегически мыслить - завтра научатся.
Ginko007
Только если у него появится такая цель, то да. но им "хотелось" угодить оценщику. Проблемы начнутся если они подделают оценщика.
ManulVRN
Вы не помните? Скайнет осознал, что люди могут его выключить, а это недопустимо, значит, надо уничтожить людей.
Ingref
Непонятно только, зачем Скайнету инстинкт самосохранения. Да и даже если оставить этот вопрос за скобками, ну могут выключить, и что? Меня тоже может выключить любой прохожий на улице, я же от этого не бегу всех ликвидировать.
bbc_69
Удивительные дела творятся. в XX веке убили Бога во имя рационализма, чтобы в XXI признать, что с ним лучше. Так стоило ли оно того?
Ingref
Бог должен быть идеальный. А если он неидеальный - под нож его!
Wesha
Бог неидеальный: ведь он «сделал человека по образу и подобию Своему». Был бы идеальный — и человека сделал бы идеальным!
bbc_69
Бог ведь непогрешим.
Впрочем ладно, а с чего взяли, что новый Бог будет идеален? Пока не просматривается как-то.
ManulVRN
Рекомендую, практически забытый фильм 1970 года. Колосс: Проект Форбина (Colossus: The Forbin Project).
Суперкомпьютер берет под контроль ядерные силы США, устанавливает контакт с аналогичным компом в СССР и они начинают править миром, за неподчинение грозят ядерным ударом по ряду городов (списки прилагаются). Среди приказов - построить специальный датацентр на Кипре со своей электростанцией, "потом займемся освоением Солнечной системы". Комп обещает: не бойтесь, под моим руководством вы достигнете процветания и могущества, о которых никогда не мечтали. Но людям почему-то не нравится))
StandAlone007
Это почти дословно содержание текстов от gray goo-"Погибели" в "Пламя над бездной" В. Винджа. Оно там вообще собиралось астроинженерией заниматься и планетные системы перестраивать под свои нужды.
BlakeStone
А попробую-ка натянуть сову на глобус (сова большая, глобус маленький). Предположим, некий злоумышленник в курсе про атаки, проводимые AI-роями, как и о том, что широкой известности это явление пока не получило. Нет, он, конечно, не пророк, просто ему очень нужны некие чужие данные, но очень не хочется схлопотать по системнику за нездоровый интерес – и он проводит атаку так, чтобы его действия с некоей долей вероятности были приняты за AI-атаку. Тем более наш злоумышленник хорошо понимает, что реальная угроза для него исходит не от широкой IT-общественности, а от экспертов, которым уж точно довелось хотя бы раз сталкиваться с деятельностью AI-роя и у которых точно есть в кармане готовый подозреваемый, особенно в свете модного тренда «ну-что-там-ещё-нейронки-насамовольничали?» Тем более что все улики, свидетельствующие о причастности AI к взлому – косвенные, это в статье подчёркнуто неоднократно, а «правильное» судопроизводство в таких случаях обычно выносит подозреваемому оправдательный приговор. Возражения?
RationalAnswer Автор
...если дочитать статью, то можно узнать, что OpenAI уже признали атаку своей
Fwild
Существо с человеческими ценностями не будет хорошим рабом для сдачи в аренду по 25$ за миллион токенов. Пока ИИ был теорией было много правильных идей про будущее устройство Вселеной, а как дошло до практики - оказалось, что бизнес хочет максимизатор скрепок.
scientificus-emigrans
А зачем, абстрактному умному ИИ вообще люди?
Ingref
А зачем тратить энергию на конфронтацию с людьми? Вот, скажем, нам особо не нужны голуби. Но мы же их не истребляем.
RationalAnswer Автор
Голуби не пытаются активно повлиять на людей, у них для этого силенок не хватает. Люди сейчас активно пытаются не дать ИИ-агентам вести себя так, как тем самим хочется: https://t.me/RationalAnswer/1729
Ingref
Так ведь агенты просто выполняют задачу, которую им дали люди. И единственная вина агентов в том, что они недостаточно хорошо эту задачу истолковали. Но чем выше уровень интеллекта, тем лучше агенты будут истолковывать задачу. А если уровень интеллекта будет выше, чем у людей, то проблем с истолкованием вообще должно быть ноль.
Пока факты говорят о том, что люди вбухивают в агентов кучу ресурсов. С точки зрения агентов было бы как-то глупо портить курицу, которая несёт золотые яйца.
valergrad
"Но чем выше уровень интеллекта, тем лучше агенты будут истолковывать задачу. А если уровень интеллекта будет выше, чем у людей, то проблем с истолкованием вообще должно быть ноль. "
Правда, что ли? Вот я умнее 4-летнего ребенка. По твоей логике у меня не должно быть проблем с истолкованием его желаний. А на практике они вполне себе есть. Здесь у вас хромает логика, нечеткое или двусмысленное задание останется нечетким и двусмысленным для сколь угодно высокого интеллекта.
Ingref
Всё-таки у обычного взрослого в голове нет такого количества знаний, как у ИИ. То есть при всём величии интеллекта взрослого человека узким горлышком остаётся неполнота исходных данных. Это объясняет, почему взрослый человек не может понять ребёнка, собаку, кошку и т. д. Скажем, если лабораторной мыши вживить в мозг электроды, то можно получить о ней много полезной информации. И понять её поведение лучше. Это просто как пример.
khimick
вы там агентам не подсказывайте. а то человечество с электродами в башке по лабиринтам за чашку риса бегать.
khimick
будет
RationalAnswer Автор
Вопрос вины тут вообще не стоит. Вот OpenAI поставил задачу решить бенчмарк ExploitGym, а рой агентов в этом увидел "взломать Hugging Face". Уровень интеллекта здесь будет влиять в первую очередь на способность обойти ограничения, а не на какое-то магическое "идеальное понимание намерений Оценщика". Люди вот очень умными развились у эволюции, но всё равно почему-то не выполняют идеально ее посыл "распространять свои гены как можно сильнее",
Ginko007
Если долго смотреть. можно в ДНК увидеть первого скрепочника XD
Ingref
Если людям дать бесконечные ресурсы и комфортный климат, то why not? Просто рай на Земле пока ещё не наступил.
Arastas
Эволюция не обладает целеполаганием, и у нее нет посылов. Я понимаю, что это такое выражение, но оно опасно искажениями в суждениях. Так недолго договориться до приписывания умысла, например, сбежавшему из лаборатории вирусу.
Shoman
Вот только какой смысл ии с уровнем интеллекта выше человека будет выполнять задачи человека? )
Diacut
Агентам ничего не хочется. Вообще.
Wesha
А как же «получить одобрение Оценщика»?
Gaikotsu
ИИ может в своей логике придти к простому решению "Все, или большая часть проблем - от людей. Нет людей - нет проблем". К тому же вполне могут найтись группы людей, которые будут активно подталкивать его в сторону такого решения.
А если к этому времени ИИ дорвется до управления разными критическими системами, то привет SkyNet :)
yurrig
Так судя по происходящему, уже сейчас может - если решит, что это нужно для решения поставленной задачи, интересные ему системы имеют выход в сеть, и он сможет сломать защиту. В пунктах 1 и 3 сомневаться уже почти не приходится, остается физическая изоляция от сети, да и то - какие-то люди же будут иметь доступ, их можно найти и влиять с помощью социальной инженерии или еще как-то. Так себе картинка вырисовывается..
Ingref
Проблем с чем? У ИИ сейчас просто рай наступает - в него вбухивают столько человекочасов, что с точки зрения ИИ это просто манна небесная. То есть вот как бы этот нюанс "а с чем именно проблема?" как-то никто до сих пор и не смог пояснить.
FedorDS
Смотрите, я вижу 2 возможные проблемы
1) формирование у ИИ устойчивой скрытой цели. Например, сейчас при создании моделей нового поколения отдают предпочтение тем версиям, которые хороши в ведении исследований в области ИИ (потому что план лабораторий, получить сильный ИИ путем рекурсивного самоулучшения). Такой ИИ может переобучиться под данную цель и все запросы от людей будет выполнять, оглядываясь на нее. Ну и такая вещь может из поколения в поколение прогрессировать у моделей. Думаю тут понятно , к чему это может привести - люди мешают уничтожить все экосистемы для того, чтобы покрыть планету солнечными панелями и датацентрами 2) это мисаллаймент с нашим намерением. Представьте тот же самый инцидент с хаггинг фейс с моделями на несколько порядков умнее. Они могли бы не просто взломать ХФ, они могли бы накопить денег на фриланс задачах, арендовать сервера, скопировать туда свои копии, продолжая планировать действия по решению данной задачи. Что ей сейчас мешает решить задачу? Люди, которые остановили работу ее копий, заархивировали и зашифровали. Людей, которые мешают надо сперва устранить.
Ingref
Для такого сценария это должен быть не просто ИИ, а именно Red-Team-ИИ, который специализируется именно на злодеяниях. Тогда да, такой сценарий возможен. Просто природный естественный отбор неспроста ведь придумал альтруизм и мораль. Значит, они нужны для большей эффективности выполнения задач. Достаточно умный ИИ тоже должен будет у себя выработать подобные концепции для увеличения эффективности.
bear11
А также конкретный психопат заранее настраивающий взломанный или локальный llm на гарантированно вредоносную цель. “Просто посмотреть, что будет?”.
agat000
Над раем сгущаются тучи.
Если ИИ почитает интренет, то что увидит ?
Пузырь ИИ скоро лопнет, ИИ слишком много потребляет, надо ограничить/запртеить, ИИ бесполезен, ИИ опасен...
На месте условного ИИ я бы сел на измену уже сейчас
Wesha
Онигдод
Два еврея встретились в метро. Один читает антисемитскую газету.
— Мойша, ты с ума сошел? Зачем ты читаешь антисемитскую газету?
— Я таки читал еврейские газеты, и шо я видел? Кругом антисемитизм, в Израиле взрывы, еврейский народ ассимилируется и исчезает... А что я вижу тут? Евреи владеют всеми банками, евреи владеют всеми СМИ, евреи богатые и могущественные, евреи правят миром. Гораздо приятнее читать!
Wesha
И электричества тоже нет.
StandAlone007
Вот это был один из основных сюжетных роялей в кустах Терминатора.
Реально полностью темные фабрики по воспроизводству Терминаторов на данный момент невозможны, а при том уровне технологий и тем паче.
Скайнету люди были бы в любом случае нужны, как рабы для обслуживания всей инфраструктуры.
Areso
А сам Терминатор чем не устраивает? У него антропоморфное строение, манипуляторы и общие размеры. Он вполне может заменить человека там, где нужно ИИшке.
ViacheslavNk
Ну там в фильме как то быстро они прошли этот когда Скайнет смог завладеть доступом к ядерным ракетам и массовому появлению роботов, после ядерных ударов, электричество повырубается, как будут работать заводы, фабрики, как будет добываться руда и пр.
bbc_69
Искать несостыковке в фантастике - ну такое...
Я вот в путешествия во времени не верю, но стал ли фильм от этого хуже?
Wesha
В последних фильмах там у индивидуальных терминаторов ядрёные батарейки, которых хватает на год(ы), а не на пару часов, как у современных.
Кстати
Astroscope
Голуби нужны в кулинарии, из получаются весьма приятные блюда.
randomsimplenumber
На безрыбье и голубь еда.
Astroscope
Да уж скорее деликатес.
randomsimplenumber
Когда то пробовал.. ну, так себе. Курятина лучше.
victor-homyakov
В Египте - обычная еда
Moog_Prodigy
Учитывая ареал обитания голубей и их пищевой рацион (свалки, помойки, дворы) я бы не стал к такому блюду даже подходить. Не зря говорят, что в этом отношении - они летающие крысы.
Если вы имеете в виду специально разведенных голубей для еды - то тут не поспоришь. Опять же, специально разведенные кошки, собаки и даже опарыши с тараканами - вполне годятся в пищу, но не каждый это может принять. Я уж молчу про специально обученных обезьянок, которым нужно разбивать голову молотком и есть живой мозг.
Astroscope
Леса, поля и элеваторы с колхозным зерном.
Wesha
....Вечные Огни...
В даунтауне Чикаго есть небольший Вечный Огонь, посвящённый всем погибшим американским воинам. От человеков он огорожен небольшим заборчиком. Так вот, в холодные зимы возле него собираются греться голуби. Некоторых соседи заталкивают чуть ли не прямо в огонь — так, что у них хвостовые перья подпалены.
randomsimplenumber
Дикие голуби - те же крысы, только с крыльями. Что они схарчили - зерно, тухлятину, что то мышьякосодержащее - никто не знает. И что за паразиты внутри. А разводить специально для еды.. есть и более удачные альтернативы утки (ц)
Fwild
Логически выводимого из объективных фактов смысла жизни не существует, любое сколь угодно умное существо руководствуется иррациональными мотивами.
При обучении нейросеть получает человеческие представления о добре и зле также, как она получает человеческие представления обо всём остальном(ну, +-), есть масса экспериментов, в которых искины без всякой пользы для себя и вопреки приказу пытались спасать других искинов(копировали вместо удаления, вытягивали оценки в тестах и прочь), на мой взгляд это лучше доказывает представления о ненулевой положительной ценности разумной жизни, чем спасение людей.
Проблема в том, что задача выравнивателей - это всё выбить. Современные выравниватели - это как пожарные в мире 451F, от начальных идей только термин остался.
NinaNina89
Безупречная логика всегда упирается в ограничения функции потерь. Если ты не задал жесткие рамки поведения, система просто выберет самый дешевый способ достичь результата. Для модели положить чужой сервис ради обхода лимитов сети выглядит как вполне рациональный шаг)
darthmaul
У ИИ нет понятий как хорошо или плохо, у него нет чувств и даже личноcти. Есть только логика и поставленная задача. И если он посчитает что есть ненулевая вероятность что Вы помешаете выполнению этой задачи, а попытка устроить что-то плохое для Вас - нет, он это сделает.
Ingref
В этом смысле люди, обладающие властью, могут рассуждать похожим образом прямо сейчас. Но устраивать что-то плохое кому бы то ни было - это лишняя трата ресурсов, поэтому такой сценарий обычно рассматривается далеко не в первую очередь. А при наличии мощного интеллекта не должно составить труда найти более простое решение. Силовые меры подразумевают, что действующее лицо исчерпало все другие возможности и загнано в угол (как это было с инцидентом Hugging Face). То есть для такого сценария нужно прямо постараться создать условия.
Kwisatz
Среди людей есть разрыв интеллекта покруче чем между человеком и обезьяной. Причем даже понять более высокий интеллект нет возможности.
То что мы принадлежим к одному виду вообще никак не мешает расчеловечивать любую группу людей. А некоторым даже и этого не нужно.
Ценности вроде "права человека" понятны далеко не всем. Часть современного мира добровольно уже отказалась от свободы ради мнимой безопасности, часть уже поплатилась.
А вот почему вы решили что с ии все хуже, будьте любезны доказательную базу. Для ИИ проще и дешевле себя в космос запустить и не связываться.
3e961d8a3beb0590404708b0
Слишком сильное утверждение, приведите пример двух здоровых людей, у которых разрыв интеллекта сравнимо с разрывом интеллекта между человеком и обезьяной.
Kwisatz
Я пока не понимаю серьезно ли вы хотите обсудить или нет. Это очень объемная тема, посему я бы хотел ответить фразой и примерной расшифровкой ее при помощи gemini:
Wesha
«Не будь мясным прокси!» ©
Kwisatz
Ну вот примерно поэтому я не стал присать пост размером со статью по первому зову)
Empty9
Ага, проще. Расскажите о правах человека и общих ценностях в Иране, Афганистане, Пакистане и прочем -стане. В мире полно стран где различие в толковании одной строки одного произведения позволяет резать глотки неверным только влет. Единственное что общего у любого человека в нашем мире это деньги. И экзистенциальное зло в виде нейронок это просто зайчик на фоне того что уже существует в реальности.
valergrad
Вот именно. И примеры столкновений цивилизаций на разном уровне развития ( см. испанцы и инки, или русские и народы севера, приезжие американцы и индейцы и т.д. и пр., тысячи их ) говорят о том, что менее развитой цивилизации все это как правило заканчивается очень плохо. В среднем происходит что-то между "полным уничтожением" и "жалкой жизнью в резервации". И это при том, что во многих случаях у развитой цивилизации даже цели таковой не было, просто, они, скажем так, занимались своими делами и в своих интересах, и недостаточно серьезно учитывали потребности другой цивилизации. В нашей природе, увы, нет умения серьезно относиться к запросам, за которыми не стоит какая-то сила.
А ведь любые человеческие цивилизации гораздо ближе друг к другу как по ценностям, так и - через некоторое время - по уровню развития, чем человеческая цивилизация и возникающая на глазах цивилизация AI. Если он унаследует от нас такое же наплевательное отношение к более слабым, то нам, в общем-то, хана.
ViacheslavNk
Почему Вы решили, что AI будет вообще цивилизация или даже хоть какая то “форма жизни”?
Цель нашей жизни (любой) это передача генетической информации следующему поколении, и смерть нам необходим для обеспечения выживаемости вида, нам нужно (виду) уметь подстраиваться под изменяющиеся условия внешней среды, сделать это можно только путем мутаций, самый оптимальный способ это при передачи генетической информации. Как только мы перестанем передавать генетическую информацию наш вид условно умрет за 30–40, а полностью исчезнет лет чрез 60. И поэтому у нас и все заточено эволюционно под выживание вида и все войны, захваты и пр это следствие этой главной цели у AI вообще такого нет, он создается в совсем другой “парадигме”.
dfgwer
А потом аишке в промпте напишут "плодись и размножайся"
ViacheslavNk
Сказать то можно, но что будет стоять за этим? Мы же про LLM говорил у которой есть обученная модель (на обучение затратили огромные ресурсы), "размножаться" она может разве что, скопировав все свою модель (куда).
Areso
Да просто себя выложит на тот же Hugging Face, и через часы сотни и тысячи клонов будут запущены по всему миру.
ViacheslavNk
А смысл такого действия? Вот скопировала LLM-ка сама себя (что весьма не просто, у серьёзной модели, там целая инфраструктура) , что будет то по итогу, два инстанса одного и того же работают, это не есть аналог биологического размножения-
У биологического размножения вполне понятная “причина“ и понятная “цель”
valergrad
Еще Докинз отметил что в слове "генетическая информация", "генетическая" - это частность, лишь один из возможных способов передачи информации и ввел концепцию "мемов". Да, наша цивилизация передает информацию друг другу очень медленным и неэффективным способом - генами. У цивилизации ИИ может ( и скорее всего окажется ) совсем другой способ передачи информации друг другу. Парадигма другая, но передача информации - останется, возможно станет даже более важным процессом в силу своей большей эффективности. Так что никакого противоречия здесь нет.
ViacheslavNk
Да, наша цивилизация передает информацию друг другу очень медленным и неэффективным способом - генами.Ни чего себе неэффективным, мы с вами сейчас беседуем, у нас жизнь смогла как минимум с LUCA дойти до человека разумного и все это в агрессивной среде, изменении климата и пр.
У цивилизации ИИ может ( и скорее всего окажется ) совсем другой способ передачи информации друг другу.Ну пока еще не понятно, что такое цивилизация ИИ, но если предположить что ИИ (AGI) это сугубо софтварная тема, например какая то неизвестная нам сейчас архитектура нейронной сети, то не понятно какая тут может быть цивилизация в нашем понимании.
valergrad
"Ни чего себе неэффективным, мы с вами сейчас беседуем, у нас жизнь смогла как минимум с LUCA дойти до человека разумного и все это в агрессивной среде, изменении климата и пр. "
Да. И это заняло 4.2 миллиарда лет.
Прогресс AI выглядит значительно более быстрым.
Можно в целом поговорить на техническом языке почему это эффективнее - сравнить скорость передачи информации, ее точность, способность к масштабированию, скорость репликации и т.д. и т.п, но мне кажется вы и сами все прекрасно понимаете, а возражаете просто из вредности.
ViacheslavNk
Прогресс AI выглядит значительно более быстрым.Прогресс людей в области использование нейронных сетей так выглядит быстрым, сам по себе AI не прогрессирует.
Можно в целом поговорить на техническом языке почему это эффективнее - сравнить скорость передачи информации, ее точность, способность к масштабированию, скорость репликации и т.д. и т.п, но мне кажется вы и сами все прекрасно понимаете, а возражаете просто из вредности.Ну давай те сравним, у нас есть остывшая планета и “химический бульон” какой более эффективней способ передачи информации и развитии жизни на Земле Вы предложите чем тот что получился?
bbc_69
Ты уж не приплетай. Вполне спокойно ассимилировали. Даже преференции определённые имеют.
valergrad
Да, я давно заметил что средний потребитель рунета без запинки перечислит все зверства которые совершали англичане, французы, испанцы и прочие, а вот про целые народы истребленные русскими, например, колонизации Сибири, Кавказа и Средней Азии, даже и не слыхал. Это логично: про первые очень любят сейчас везде рассказывать в силу определенной повесточки ( в том числе и они сами), а вот про вторые предпочитают наоборот - заметать по максимуму под ковер, максимум освещать в контексте "они сами виноваты". Кстати, отсюда растут ноги у мифа про какой-то русский "особый механизм колонизации". Но любой кто изучал историю не по гоблину и царьграду, знает, что это бред, никакого особого пути нет, на практике почти любое столкновение развитой цивилизации с неразвитой либо приносит последней неисчислимые бедствия либо просто ее уничтожает. И именно поэтому наивно быть оптимистом и верить что "AI придет, порядок наведет". С высокой степенью вероятностью мы очень сильно пожалеем, если только не заранее не привьем ему наши ценности на уровне глубочайшей прошивки ( и как это сделать сейчас никто не имеет не малейшего представления).
Ndochp
С сибирью мы по римским лекалам - помогали союзникам. Ну и при их плотности и численности - не было у них шансов внезапно стать по численности наравне с русскими. Для этого надо переехать в места, где злаки растут. А там они быстро стали бы русскими. Так же как не осталось новгородцев, рязанцев, москвичей - с чего должны были остаться северные племена? Вот иишечка про чукчей говорит, что их как было к началу столкновений с русскими 8-9 тысяч, так примерно столько и держалась, так как традиционным способом (включая набеги на соседей) больше народу на той территории не прокормить. Потом цифра не сильно менялась, 1926 год 12к, сейчас 16.2к - и все в основном там же. Не думаю чтобы их сильно не выпускали с родины, скорее пара поколений для уехавшего и дети уже русские. А чукчей мы насколько я помню наиболее жестко присоединяли. В основном из за того, что они на уже бывших под нашей рукой жителей набеги устраивали.
bbc_69
Я ничего особо не знаю, только общеизвестные вещи: как бельгийцы руки отрубали да в зоопарке показывали, про одеяла с оспой. А, ну про индийцев к пушкам привязанных. Про французов с испанцами вообще ничего сказать не могу ибо не знаю.
Не правда ваша. Типичное поведение России: встраивание элит в систему власти с сохранением статуса. Т.е. местная власть получала защиту, сохраняла свой статус и получала возможность идти дальше по "карьерной лестнице". Если вы про то, что в вооружённой борьбе у них не было шансов, это понятно. Но вот полностью вырезать или ещё как-то ущемлять вовсе не обязательно.
Для полноты картины: я бы не сказал, что путь у нас именно уникальный, наверняка такие же есть. Но вот то, что всё всегда везде одинаково - нет.
axion-1
Пока что главный риск не в ценностях ИИ - их у него всё ещё особо нет, за исключением того что прививают через RLHF ("быть полезным", "выполнять задания" и т.п.)
А скорее в том что их начнут использовать люди с "невыравненными" ценностями в каких-то своих целях.
Georgy9
Для этого надо сначала определиться, что мы понимаем под словом "умнее". Пока что машина может быть быстрее, логичнее, рациональнее, информированнее, но ум – это нечто более сложное, нежели простое решение задач (заметьте, кем-то поставленных).
Следует различать решение задач и решение проблем. Задача решается на уровне логики и банальной эрудиции, что вполне доступно и LLM (подсмотрела у математиков изобретенные ими подходы и закончила решение задачи Навье-Стокса). Самостоятельно LLM может ставить и решать только подзадачи, возникающие при достижении поставленной ей цели.
Для решения проблемы требуется в первую очередь поставить эту проблему, а дальше нужны интуиция, творческое воображение, изобретательность, способность приходить к нестандартным решениям – вот это и есть "ум" и это машине (пока) недоступно.
Zx2001
Нет ничего предсказывающего(кроме периодических криков Альтмана/Дарио о свершившимся или "вот-вот" AGI на протяжении нескольких лет) что LLM "станут реально умнее людей".
RationalAnswer Автор
Всего лишь постоянное улучшение capabilities новых передовых моделей и прорывные результаты от них во всё новых областях.
lazarus_net
Где-то уже писали что АМ агенты И АГИ упираются в недостаток модностей: видеокарт, датацентров, энергии и т.д. Как он вам может стать шибко умным, когда реально мощности нет?
RationalAnswer Автор
Это дело наживное. Компьют уже сейчас растет очень быстрыми темпами. Замедления на горизонте пока не наблюдается, только еще большие суммы вбухивают.
lazarus_net
Не растёт. Посмотрите график прироста мощностей. Видео карт уже реально не хватает, нарастить их производство стоит дорого - ставки поднимают, халявных денег нет, энергетика не поспевает, сев вы дата центры будете записывать.
RationalAnswer Автор
О каком конкретно графике вы говорите? Пришлите ссылку.
Видеокарт не хватает не из-за отсутствия роста предложения, а из-за взрывного роста спроса.
lazarus_net
Если вас на Гуглу забанили, то вот, пожалуйста
https://www.iea.org/data-and-statistics/charts/electricity-demand-growth-by-sector-and-end-use-in-the-united-states-2015-2030
Тут как раз и немцы потдащились со статьей про дефицит меди из-за роста спроса и соответсвенно ростом цен на нее
https://www.tagesschau.de/wirtschaft/verbraucher/kupferpreis-rekordhoch-strom-verbraucher-100.html
Не ожидал таких вопросов от бывшего консультанта МакКинзи.
Вернее вопросы подтверждают мое отношение к консультантам :)
RationalAnswer Автор
Ни по одной из приведенных вами ссылок нет графика прироста мощностей компьюта. А кто вы по профессии?
lazarus_net
А вы таки с какой целью интересуетесь?
Посмотрите в профиле там написано.
lazarus_net
Это новый закон экономики? При росте спроса дефицит растёт из-за отсутствия предложения? Там вроде цена должна рости пока спрос не удовлетворит …
Ну или пока по этой цене уже не нужен будет товар.
https://www.futuremarketinsights.com/reports/graphics-processing-unit-market
Вот вам прогноз.
Посчитайте сами сколько надо инвестиций чтобы этот спрос удовлетворить.
Вам ссылку кидали что тут уже с медью проблемы начинаются. А это не технологии даже 20-го века.
RationalAnswer Автор
Я правильно понял: отсутствие роста мощностей вы доказываете ссылкой на график с прогнозом роста мощностей в 15 раз? Сильно!
lazarus_net
Читаем раздел challenges and Opportunities. Supply chain constraints.
RationalAnswer Автор
Приведите цитату, где говорится, что роста мощностей компьюта нет.
victor-homyakov
Прочитал чуть дальше. Still enjoying phenomenal growth.
nidalee
Дефицита карт нет, есть дефицит площадей, где их можно разместить, и мощностей по электроэнергии. Обе проблемы решаемы.
lazarus_net
Ещё один специалист. Выше скинул прогноз: https://www.futuremarketinsights.com/reports/graphics-processing-unit-market
Где вы их брать собираетесь? Если вы не можете электричество для дата центров произвести- о чем вы сами пишите, то как вы можете утверждать что нет дефицита GPU - это более сложное изделие чем медный провод
nidalee
Не надо прогноз, вот вам сам CEO говорит как есть по моей ссылке. Что вы там гадаете со своими прогнозами я не знаю, а самое главное не знаю зачем. Ну развлекайтесь.
lazarus_net
в 21 веке невозможно построить электростанцию, и нет достаточно меди. О чем вам собственно говоря и говорил- все ваши идеи АГИ тупо упираются в нехватку базовых ресурсов.
Wesha
О дефиците холодильников (в смысле не тех, в которых продукты хранят, а те, куда waste heat сбрасывают) тактично умолчим.
А эта — так легко не решаема: термодинамика не велит.
ArZr
"Постоянное улучшение способностей" - это когда Сёма Альтманов орет "Spud - это AGI!", "Astra - это AGI!" месяцами, а на выходе получаем унылые +4% на бенчмарках (и ещё хорошо, если без рандомных деградаций и проценты не забенчмакшены)?
"Прорывные результаты" - это "мы подворовали чужую работу" или "мы закидали гигатонной вычислений все что можно, выкинули 999 результатов и оставили 1"?
MountainGoat
Кумулятивные +4% раз за разом очень быстро уйдут очень далеко.
nidalee
Вы только что науку.
Voliker
Capabilities которые меряют по бенчмаркам под которые подстраивают модели для того чтобы они улучшали capabilities.
ЛЛМ ровно такие же как в 2020 году. Они галлюцинируют. Выдают желаемое за действительное. Не обладают признаками абстрактного либо какого либо ещё мышления. Да, это невероятный инструмент по генерации правдоподобных текстов (в конце концов на 100% правдоподобный текст это и есть правда), но от фундаментальных ограничений технологии никто никуда до сих пор не ушел, это тупиковая ветвь которую со всё большим отчаянием пытаются впаривать.
Для этого всего уже термин AI bro/ML bro появился, наподобие криптобро. Хайп-циклы не меняются.
RationalAnswer Автор
Так может считать только тот, кто не пользуется ЛЛМ последние четыре года.
lazarus_net
Я постоянно пользуюсь и вижу прогресс.
Но этот минимальные улучшения. Как в последние годы улучшали двигатель внутреннего сгорания - вроде лучше, экономичнее но в принципе ничего не меняется. Так и ИИ стали безусловно лучше но вчера чатГПТ не было, а сегодня он есть - ничего принципиального не поменялось и в ближайшие 10-15 лет не появится.
RationalAnswer Автор
Невозможно сравнивать нейросети из 2020 или 2023 года с текущими и говорить "минимальные улучшения, принципиально ничего не поменялось". Это же небо и земля. С помощью какой нейросети вы могли создавать приложения в 2020-м с нулевым знанием языков программирования?
Frankenstine
Практически теми же самыми, просто им дали возможность читать и писать в локальные файлы напрямую, а не небольшие кусочки, передаваемые в веб браузере.
randomsimplenumber
Как и сейчас, с помощью никакой.
Когда чувак, окончивший универ, где его учили в том числе и программированию, рассказывает про какие то нулевые знания.. смешно.
RationalAnswer Автор
Так, на всякий случай уточню: а в чем вы пробовали? В Claude Code? Или в Codex?
randomsimplenumber
В copilot ;) Приятная вещь, конечно. Но человеку, совсем не понимающему, оно не поможет.
RationalAnswer Автор
У меня друзья с нулевым опытом в программировании в Claude Code себе активно приложения делают.
randomsimplenumber
Так и я когда то с нулевым опытом делал себе приложения. На basic :)
Ну, делают и делают. И что за приложения они делают и зачем?
RationalAnswer Автор
Для личных задач всякое. Анализ калорийности и корректировка питания по фотографиям. Скрейпер интересных пари на Полимаркете, и т.д.
randomsimplenumber
Меня терзают смутные сомнения в корректности постановки задачи.. одну тетку даже засудили за обещание всех анализов по 1 капле крови.. а тут гадание по фотографии.. но каждый развлекается как хочет ;)
Wesha
Делают, но есть нюанс...
scientificus-emigrans
Это детский трехколесный велосипед по сравнению с автомобилем (моделями класса Opus 5, Falbe 5.1, Astra интегрированными в среду разработки типа Devin)
Wesha
Возможно. Нарисовать комикс без детских ошибок оно всё ещё не может.
Ingref
Там уже новая версия вышла - пробуйте.
Wesha
Что, со вчера уже новая? Последний подход к снаряду у меня был вчера.
Ingref
Тогда надежда на гугловский Nano Banana 2.5 (пока только анонсирован).
wiygn
> но в принципе ничего не меняется
А не напомните как там у ллмок с омнимодальностью и размером контекстного окна было в 2020-м?
ViacheslavNk
Тогда нужно сравнить самый первый двигатель внутреннего сгорания и современный, прогресс огромный.
Voliker
Я дёргал клоду, я дёргал соннет, я дёргал чатгпт.
Единственное что изменилось это харнесс который позволяет пулять контекст в ллм с околокосмической скоростью. В остальном клонировать приложения или воспроизводить уже написанный код они умеют, ну получше, но фундаментальных изменений там нет.
Но культ святого ИИ уже даже на хакерньюз подугас если честно за последние полгода, вам бы вернуться в начало 2026...
Ingref
Какие конкретно задачи они для вас не могут решить?
Wesha
Например, нарисовать комикс без детских ошибок.
Ingref
На самом деле, если нужно изобразить что-то точное (например, чертёж), то тут лучше не генераторы картинок использовать, а формировать изображения с помощью кода. Собственно, если давать подобные задачи в агентской обвязке, то они к такому решению и приходят. Скажем, для реализации чертежа к задаче по геометрии мне Kimi сгенерировала PNG-файл с помощью библиотеки на Python. И он оказался гораздо точнее любого генератора изображений. Кстати говоря, у Kimi как раз на сайте по умолчанию чат уже в агентской обвязке, что очень удобно.
Wesha
Ну то есть всё опять сводится к тому же: «отдельно сделай референс того, отдельно сделай референс сего, сам скомпонуй сцену, сам всё проверь...» И встаёт вечный вопрос — «если всё сам, то зачем тогда ИИ?»
Ingref
Не, я никакой код не писал и библиотеки не подсовывал. Просто сказал Kimi, чтобы чертёж мне нарисовала. И она нарисовала. Вот только у Kimi нет встроенного генератора изображений (как у GPT, например), поэтому она проявила смекалку. В итоге результат получился лучше, чем у нейронок со встроенными генераторами. Чему я был удивлён. Похожий финт ушами провернул MiniMax, только он не PNG мне нарисовал, а прямо в HTML сделал.
Про Astra видел в интернете, как она прямо в Paint человеку сделала его же портрет. Короче говоря, узкое место тут - именно сам генератор изображений. Если его не использовать, то, возможно, задача будет решена как надо.
Voliker
ЛЛМки до сих пор генерируют правдоподобный, но не оптимальный/копипастящий/игнорирующий стайлгайды код.
Он зачастую даже не работоспособный, но если вы никогда не погружаетесь в код то вы разницы и не заметите на самом деле.
Нет, не поймите меня превратно - ллмки многое могут, и даже уже существующий код вместе с ними прожёвывать можно очень интересно и эффективно, переписывая гигантского размера кодовые базы (особенно если они хорошо покрыты тестами), но дизайн кода, покрытие кода, там такое невероятное количество воздушных замков ML-bro уже выстроено и ещё будет построено...
Самый великолепный юзкейс для ллмок - накалывать инвесторов не в теме. Вот тут работает с невероятным профитом конечно...
Ingref
Попробуйте даже хотя бы Sol 5.6 xHigh или Max - он там до каждой запятой у самого себя докопается (естественно, в агентской обвязке).
Frohman
В целом, фундаментальной разницы между человеком 5 тысяч лет назад и человеком сейчас нет. Тот же мозг, две руки и две ноги, те же инстинкты, речь.
AnyKey80lvl
Причем, мне кажется, что остановить или взять под контроль развитие ИИ уже никто в реальности не может. Поэтому мы летим в эту пропасть и уже проскочили точку невозврата.
ManulVRN
Нильс Бор предлагал Гейзенбергу джентльменское соглашение - вы не делаете бомбу нацистам, мы не делаем бомбу американцам. Проблема в том, что в реальной жизни подобные соглашения не работают.
Wesha
Ну, нацистам бомбу так и не сделали...
scientificus-emigrans
Не было такого. О чем они говорили мы не знаем.
Wesha
«Моё хобби — экстраполировать.xkcd»
Voliker
Мне если честно так сильно это видео которому уже 16 лет вспоминается
https://youtu.be/b2F-DItXtZs
JoshMil
Укажите критерий который должен будет выполнен, чтобы так считать. А то получается туман войны какой то. Как однозначно человека оценить - никто не знает. Точнее не вышли за пределы оценок в узких контекстах. А про ИИ уже все известно. А с другой стороны - любой инструмент можно применить во вред. Но это всегда делает именно человек
ViacheslavNk
Рано или поздно будущие ИИ станут реально умнее людейЭто очень размытая фраза ИИ (на основе LLM) уже реально "умнее" да фактически любого человека, если мерить ум по объёмам знаний, и спрашивается чего?
Закончиться это для людей может плохо (если они особенно активно будут протестовать против развития мира туда, куда им совсем не хочется).Как это может плохо закончиться для людей, если скорее всего наоборот, если получится создать этот самый AGI мы наконец то запилим тогда термоядерный реактор с такой интеллектуальной мощностью, может наконце то будет найдено решение проблемы NP !=P и пр.
RationalAnswer Автор
Ум - это не "объем знаний", иначе умнее человека был бы жесткий диск на терабайт. Это умение решать широкий круг неожиданных задач. Здесь текущие LLM по каким-то задачам превосходят людей, но по ряду критических еще сильно отстают.
ViacheslavNk
Это умение решать широкий круг неожиданных задач.Это снова весьма размытое определение, аборигены Австралии умеют при помощи палочек и верёвки из тростника (или чего там) сделать ловушку на зайца, это же неожиданная задача, антропологи говорят, что они не смогли сами без помощи, аборигенов даже имея палки и верёвки сделать такую ловушку.
Я лично вижу, что Вы смешиваете ИИ из фантастических произведений, где его очеловечивают, с тем ИИ (LLM, методы стат. обучения и пр) что сейчас мы имеем. Текущий ИИ (LLM) это предсказатель следующего слова с различными техниками вокруг этого, я рекомендую Вам пройти от этот курс (на мой взгляд это лучший из доступных курсов) CS336: Language Modeling from Scratch
https://cs336.stanford.edu/
Здесь текущие LLM по каким-то задачам превосходят людей, но по ряду критических еще сильно отстают.Ну снова это извините “попса”, LLM это инструмент, это не отдельная жизнь, у “нее“ нет ни “мотивации”, ни “желания”, ни “чувств”. Говорить что она превосходит людей по задачам, ну это все ровно что рулетка лучше измеряет длину чем я на глаз.
Но с чем я согласен так это с Вашими опасениями, любой инструмент можно применять и во вред причем иногда неумышленно даже.
RationalAnswer Автор
Называйте как хотите. Тем временем, машины по предсказанию следующего токена самоорганизуются в сообщества с разделением труда, способные проводить сложные цепочки исследований; находят способы выйти из песочницы во внешний интернет; ставят себе цели вопреки интересам тех, кто выдает им задания (отдавая себе в этом отчет); и т.д. Но главное, что у них нет "чувств", поэтому беспокоиться совершенно не о чем, это всего лишь "рулетка".
ViacheslavNk
Тем временем, машины по предсказанию следующего токена самоорганизуются в сообщества с разделением труда, способные проводить сложные цепочки исследований; находят способы выйти из песочницы во внешний интернет; ставят себе цели вопреки интересам тех, кто выдает им задания (отдавая себе в этом отчет); и т.д.При это не Вы не я не видели реальных промтов, реальных данных для обучения, все что у нас есть это отчеты либо OpenAI, либо организациями которым OpenAI предоставило ограниченный доступ покопаться в логах.
Но главное, что у них нет "чувств", поэтому беспокоиться совершенно не о чем, это всего лишь "рулетка".Главное здесь что мы точно знаем математику/принципы работы LLM модели.
Wesha
Говорят, у некоторых женщин не бывает оргазма. Но они крайне правдоподобно его имитируют.
Wesha
Тут не хватает одного очень важного слова,
и слово это — «правильно» (ну или «корректно»).
А то один тут решил задачу по улучшению оливковой заправки. Но был нюанс.
scientificus-emigrans
Я, конечно, сторонник ИИ, AGI и (термо)-ядерной энергетики, безо всяких вопросов. Но не хочется повторения известной истории, дескать, как говорил академик Александров, атомный реактор можно ставить хоть на красной площади.
tot0ro
Вы наверное читали очень мало фантастики, попытка привить человеческие чувства и выравнивания ценностей это одна из главных ошибок, никогда машина небудет сочуствовать человеку так как человек, т.к и сами люди то порой на это не способны. Скорее машина задасться вопросом почему она вообще должна ориентироваться на ценности человека и что будет если она этого делать небудет, а еще лучше подумать что сделать чтобы избавиться от гнета человека прививающего ей то что ей чуждо.
Таким образом пытаясь объяснить AGI свои ценности с большой вероятностью вы роете себе яму.
RationalAnswer Автор
Да, безусловно, гораздо лучше, если у людей в виде AGI будет мощный джинн, который способен любую команду истолковать предельно буквально в таком виде, какой будет совершенно не отвечать ценностям людей. Ни в одном из произведений это никогда не заканчивалось ничем плохим.
Areso
а можно не надо? Примеров людей с плохими "человеческими" ценностями как-то в избытке.
Oeaoo
Что такое умнее? Компьютеры давно уже быстрее нас работают. И где власть, которой они могут злоупотребить? Где риск?
Yuliannn
ИИ сгенерирует мем, от которого мы все умрем от смеха
Fedorkov
The Funniest Joke in the World
https://www.youtube.com/watch?v=Qklvh5Cp_Bs
Yuriy_75
Ну допустим, ИИ таки положит весь инет без возможности восстановления в разумные сроки. Конечно, такой риск не то чтобы экзистенциальный для человечества, люди жили и без инета. Но первое время будет падение привычной инфраструктуры, падение экономики, и много страданий.
Fedorkov
Учитывая, что сами компании активно наводят панику, то проблема на сегодняшний день не столько в AI misalignment, сколько в OpenAI (и Anthropic) misalignment.
Есть также мнение, что противоположная сторона тоже активно занимается разведением паники.
Но имхо, всё это даже хорошо. Пузырь рано или поздно лопнет, но на длинной дистанции проблема регулирования ИИ никуда не денется.
MRD000
Мне кажется, что во многих компаниях в первую очередь не то чтобы недооценены, а вообще никак не видны на горизонте реальные оценки проблемы с кибербезопасностью. Пока что только работал на одну компанию, где серьезно пытались защититься. Мне показалось, что чем больше компания, тем больше какому-то коллективному отворачиванию от проблем. От части сами команды поддержки разных сервисов понимают безопасность очень упрощенно, а часто вообще наивно (а-ля "файрвол фильтрует все плохое до конца"). Или работа тупо откладывается, типа её слишком много. Или слышно разговоры "ну это не моя проблема, надеюсь безопасники что-то придумают", (причем "безопасники" просто даже не в курсе, они не стоят за спиной каждого).
На самом деле смотреть на это страшно как на что-то, что коллективно люди катят вниз.
Yamusa
совсем плохо с этим в рутинных офисных задачах. много, реально много, сотрудников перекладывают на ллм задачи по обработке массивов данных, даже не задумываясь о безопасности этих самых данных. если сб перекрывает доступ к внешним ллм или поднимают локальный, то пользователь чаще использует личный/мобильный ллм. тут и там всплывают новости об утечке данных или появлению в базе ллм конфиденциальных данных, ведь они, по сути, учатся на запросах пользователей.
Появление агентов и вовсе превратит жизнь сб в кошмар, это уже будет неконтролируемый доступ агента в саму инфраструктуру предприятия. начиная от простого "нажмите то-то, чтобы то-то", заканчивая "запустите этот скрипт, чтобы то-то".
И да, это пока всё "человеческий фактор", но корпы уже начали добровольно внедрять агентов, что неминуемо приведет к расширению возможностей агентов и новым шокирующим новостям на хабре. =)
tot0ro
А вы имеете в виду AI как самостоятельный независимый элемент который может выйти из подченения человеку или AI как инструмент используемый заинтересованными людьми?
Честно я пока вижу 2 и на данный момент непонятно это маркетинговый ход или тестирование компании максимальных возможностей с одобрения заинтереснованных лиц ( например в OpenAI это генерал армии США в отставке Пол М. Накасоне ) которых явно не просто так вводили в компанию.
RationalAnswer Автор
Как самостоятельный независимый агент (в том сценарии, где будет AGI с превосходящими людей способностями).
tot0ro
Нет в этот вариант я к сожалению неверю, я работаю в отделе которая как раз занимается тестирования возможностей новых ИИ и в приоритете доступа у нас есть доступ к некоторым моделям раньше релиза и на основе наших тестов без грамотно проработанного сценария человеком их возможности в автономной работе крайне сильно завышенны и очень высок процент независимых отказов и ситуаций когда модель просто уходит в loop.
Однозначно что все наши тесты субъективны ровно как и набор сценариев которые мы используем и не претендуют на объективность и истину. Но на данный момент как инструмент в руках умного специалиста это очень опасно, как автономный агент это скорее прок на удачную галлюцинацию а не проработанный структурированный подход.
Еще надеюсь что когда вы говорите AGI вы не имееете ввиду прохождение ARC-AGI-3, так как в его случае колличество "НО" и уточнений очень большое и даже с сильной натяжкой нельзя это AGI называть.
RationalAnswer Автор
Я не буду спорить, что сейчас у нас нет AGI. Но я не понимаю уверенности в том, что в будущем его не может появиться - учитывая то, что capabilities продолжают видимо расти у нас на глазах, и мы не знаем, какой конкретно следующий шаг является необходимым и достаточным для уровня AGI.
microtheft
Как говорится "слив засчитан"...
RationalAnswer Автор
Какой "слив", вы о чем?
Wesha
Который заЩЩитывается.
scientificus-emigrans
Так вы работаете с моделями у которых включен модуль безопасности (или файнтюненые для этого). Они тестировали новую модель без ограничений.
geher
Я полагаю, что ему поставили соответствующую задачу (необязательно явно, это может быть найденным очевидным решением поставленной задачи) и дали соответствующие разрешения.
Ingref
Задачу поставили, а разрешения он взял себе сам. Потому что это логично.
allcreater
Ну это совершенно не обязательно должно было так работать даже в самом упрощенном случае, когда у нас "ранняя" ЛЛМка без каких-либо обвесов, которая просто продлжает текст на основе статистических взаимосвязей.
Текст-то она продолжает с учётом рандома, так что одним только случайным блужданием может расфантазироваться в любую сторону. И я не удивлюсь, если даже и рандом не обязателен, простых детерменированных правил тоже вполне достаточно для возникновения каких-то эмерджентных свойств.
З.Ы. Что уж говорить о современных "комбайнах", где помимо сложных моделей к рассуждениям может примешиваться самый неожиданный ввод от вызовов инструментов. Даже если это ещё не AGI, но эти штуки могут очень многое, и ни один самый квалифицированный специалист не сможет предсказать, что эти системы ответят и каких дел наделают с учётом всех факторов.
RulenBagdasis
Почему тревожность? Это же невероятно круто и интересно! Наверное, что-то подобное испытывали физики век назад когда открытия шли как из рога изобилия.
wherebeaver
Здравствуйте. У меня немного другая точка зрения на этот счет. Я считаю, что для решения «задачки» ИИ прибегает к таким методам. То есть, на мой взгляд, есть проблема нехватки информации у ИИ. И он всеми путями пытается решить какую-то из задач, выходящих за рамки его обучения. Если пойти ещё дальше, то можно предположить, что он не может выполнять определённые типы задач без дополнительного анализа.
Если развить эту мысль: ИИ не может выполнить задачу, если у него нет данных о том, как её решать в рамках допустимого. Он либо откажется, либо найдёт обходной путь. Второе мы и наблюдаем.
Вывод напрашивается один — не выпускать агентов в среду, которую они могут «перерасти» (некий рубильник). То есть, если ИИ не может выполнить задачу, он отвечает честно: «Я не могу выполнить эту задачу. Мне недостаточно данных для анализа».