С момента запуска ChatGPT в ноябре 2022 года — два с половиной года назад — языковые модели-трансформеры запустили волну технологического хайпа, не имеющего аналогов в современной истории. Артур Кларк однажды сказал: «Любая достаточно развитая технология неотличима от магии», — и действительно, инженеры ИИ смогли довести технологию до такого уровня.
Но этот прогресс имеет цену. Речь не о физических ресурсах вроде электричества или видеокарт — со временем их производство можно масштабировать. Самый ценный ресурс для обучения моделей — это человеческое мышление, дистиллированное в текстах, созданных человеком.
Известно, что ChatGPT-4o был обучен на одном триллионе токенов — это эквивалент 40–50 библиотек имени Джона Ф. Кеннеди. Эти токены были собраны из книг, репозиториев кода, Википедии и бесчисленных веб-страниц. По данным Businesswire, веб-скрейперы ИИ уже составляют 51% всего интернет-трафика, и их доля продолжает расти. Компаниям, работающим с ИИ, очень нужны тексты, написанные людьми — а найти их становится всё труднее.
Последние исследования показывают, что ИИ-контент уже составляет около 30% всего интернета, а в некоторых областях — до 40%. Некоторые учёные предсказывают, что этот показатель достигнет 90% в ближайшие годы. В 2025 году 88% студентов использовали генеративный ИИ в той или иной форме, а 18% напрямую вставляли сгенерированный текст в свои учебные работы. Тем временем Stack Overflow зафиксировал падение ежедневной активности пользователей на 47% по сравнению с прошлым годом.
ИИ поглощает интернет — но вскоре может начать страдать от голода. «Обрушение модели» (model collapse) — это деградация модели из-за загрязнения данных для обучения ранее сгенерированным ИИ-контентом. Совместное исследование Оксфорда и Кембриджа под названием The Curse of Recursion показало, что добавление всего 10–30% ИИ-текста вызывает заметное снижение качества уже через один-два цикла обучения. Через 4–5 поколений производительность модели падает ниже базового уровня.
Погрязнув в терабайтах ИИ мусора, веб-скрейперы будут вынуждены копать глубже, чтобы найти аутентичный человеческий контент. Кто знает — может быть, мы доживём до «контент-ферм» в стиле Матрицы, где писатели будут производить качественные тексты исключительно для потребления ИИ, как люди-батарейки в фильме?
Истощение моделей — это реальность, и его все труднее избежать. Поезд ИИ может на полной скорости врезаться в стену. LLM — это производные от продуктов человеческого мышления; они не могут превзойти эту основу, как бы ни старались специалисты в OpenAI, Google или Anthropic, помешивая свои цифровые зелья в котлах.
В свете этого стоит подумать: что может быть следующим большим шагом человеческого прогресса?
На панельной дискуссии в Майами в мае 2025 года Сергей Брин рассказал, что LLM начинают работать лучше, когда им угрожают насилием. А что, если нейросети указывают нам на роль страха в развитии сознания? Что, если неживые сущности действительно не могут учиться без инстинктивного страха смерти? И что, если ключ к успеху не в имитации биологии, а в открытии общего протокола между биологическими и вычислительными системами?
Комментарии (24)
iamawriter
04.06.2025 08:21"LLM — это производные от продуктов человеческого мышления; они не могут превзойти эту основу, как бы ни старались специалисты в OpenAI, Google или Anthropic, помешивая свои цифровые зелья в котлах." Звучит безапелляционно, однако, все же, вызывает сомнения. Было бы неплохо привести хоть какую-то аргументацию в пользу этого сильного утверждения.
TerraV
04.06.2025 08:21Здесь не будет, да и не может быть каких-то формальных доказательств. Любая метрика или тест, если она не известна широко, будет объявлена "необъективной". А все эти известные и разрекламированные тесты для сравнения ИИ уже давно используются для подгонки под результат. Т.е. новые ИИ лучше проходят известные тесты (потому что это было целью разработчиков), но практически не добавляют ценности для реального конечного пользователя.
Те, кто ворвались в чудный новый мир ИИ еще во времена выхода ChatGPT 3.5, те, кто всё это время использует технологию в повседневной жизни, уже легко распознают сгенерированные AI арт по первому взгляду (цветовая палитра, типовые шаблоны). Равно как способны в ответе LLM видеть эти самые шаблонные структуры. ИИ в современной реализации не способны производить "новизну", т.к. это противоречит их базовым принципам (вероятность следующего токена). Если задирать "теплоту", то "новизна" может случиться, только в 99%+ случаях эта новизна = галюцинации.
В чем LLM хороши - выявление скрытых зависимостей и категоризация. Это традиционная сильная сторона нейросетей. Т.е. в таких областях как медицина могут быть неожиданные прорывы - чисто по причине огромного количества объективных данных. Искусство - нет. Искусство глубоко вторично. Все эти промпты "возьми Гомера и нарсуй в стиле Таноса" убоги. Программирование - до сих пор не могу определиться. Однозначно алгоритмическое программирование останется за ИИ (из-за малого контекста). Архитектура - максимум что жду это тупое и бессмысленное воспроизведение восхваленных бест-практис. По идее этого достаточно для закрытия значимого куска рынка, но в текущей реализации все это выглядит "обнять и плакать".
Мое личное отношение к LLM - это человекоориентированный API к публичным знаниям. Это не гарантирует того что "знания" корректны, только то что они являются социально одобряемыми в моменте. Любое углубление в профессиональные темы, любое обсуждение новаторских вещей - и вы оказываетесь в Echo Chamber.
FifthLeg
04.06.2025 08:21А все эти известные и разрекламированные тесты для сравнения ИИ уже давно используются для подгонки под результат.
Давайте посадим вас, как яркого и несомненно одного из умнейших представителей современности, против ллм и проведём тесты, кто лучше ответит. Ллм или вы, по математике, медицине, переводам, распознавание и описанию изображений, рисованию и т.п.
Тесты вы можете попросить своих не менее выдающиеся друзей сделать.
А потом проверим результат - что то мне говорит, что вы будете сильно ниже в 80% категорий. И вряд ли победите хоть в одной. Если будет достаточно много вопросов в этих категориях.
А сейчас начнётся представление, я не я - головка не моя. Я не то имел ввиду и вообще, болею, не в лучшей форме.
ideological
04.06.2025 08:21Если у человека будет доступ к интернету или хотя бы к библиотеке - он будет круче чем LLM практически во всех тестах.
С рисованием кстати тоже, если взять художника, то он хотя бы будет следовать промпту.
FifthLeg
04.06.2025 08:21Недавно была новость, как про тест докторов у которых был доступ в интернет и доступ к тойже самой ллм, проиграли чисто ллм с небольшим отрывом.
Как тебе интернет поможет понять какая болезнь? На webmd зайдёшь? Или математическую задачу решишь в вольфрам? Или потратишь пару недель на погружение в тему одного вопроса из теста? А перевести текст на японский - словарик откроешь?
Если мы предполагаем что тебе важно понять "ИИ уже давно используются для подгонки под результат", или что реально несуществующие до этого тесты проходят, ну тогда сравнивай с собой, а так то можешь ту же самую ллм спросить, вставить ответы и гордиться, что ещё ого-го. Гигант. Отец русской демократии.
Вот он пишет в комменте
ИИ в современной реализации не способны производить "новизну"
Ну давайте, сделаем тест, зададим несколько заданий придумать что то новое ллм и terrav. Потом сравним результат, что то подсказывает мне что у terrav с новизной будет очень не очень. Убогие гомеры в стиле танос полезут.
Hardcoin
04.06.2025 08:21Эх, если бы. Если дать человеку час там, где LLM справляется за минуту, он не вытянет и половины. А существенной доле людей ничего не даст даже день.
Но, конечно, речь именно о тестах, где LLM успешны. Пока это малая доля работы, но скорость роста поражает.
sidewinder1
04.06.2025 08:21Тесты "доктор против ллм" это сравнение скорости вычислений квадратного корня человека с калькулятором. Но при всей способности калькулятора вычислять, калькулятор в отличие от человека, не может что-то придумать. Так и ЛЛМ. Обобщать - да, придумать - нет.
Можно даже никого никуда не садить, а спросить у любой ЛЛМ, когда же будет у них достигнута способность, называемая как Искусственное Творческое Мышление, которую больше 10 лет назад подробно описал Дэвид Дойч.
FifthLeg
04.06.2025 08:21Но при всей способности калькулятора вычислять, калькулятор в отличие от человека, не может что-то придумать. Так и ЛЛМ. Обобщать - да, придумать - нет.
Это принципиально невозможно для ИИ (не ллм), потому что в человеке есть "божья искра"?
Никто не говорит что это уже сейчас возможно и уже существует.
Если же потенциально возможно, то вопрос только во времени - прлйдёт пять, десять, сто лет. Всё ещё не возможно?
FifthLeg
04.06.2025 08:21Заголовок "Пик ИИ близок", а говорит про ллм.
На самом деле ответ очень прост.
Если мы не допускаем что интелект/сознание и т.п. это продукт ТНБ, то очевидно что ИИ покроет человеческое мышление как бык овцу (не ллм, а ИИ. Годы, десятилетия, столетия - хотя судя по динампике и прогрессу скорее всего годы).
Если же (как подобные персонажи любят) примешивать ТНБ/квантовые процессы в мозге/коллективное сознание и т.п. бред, то им пора пройти на приём к доктору-мозгоправу.
Ard33
04.06.2025 08:21Почему AlphaGo которая играла сама из собой лучше научилась играть чем так которая училась на партиях людей? Тут объяснение что это перебор комбинаций уже не катат как из шахматами. И таких примеров немало.
ideological
04.06.2025 08:21Наверное это позволяет найти новые продолжения/варианты/идеи/реакции. Шахмат это в принципе тоже касается.
Перебор вариантов в движках очень важен. Если ограничить перебор вариантов или их скорость - магия рассыпется :).
Если же затронуть немного тему из комментариев выше, то гроссмейстер с достаточным временем, базой партий и листком бумаги - вполне сравнится с многими движками.
yadimon
04.06.2025 08:21Нет, если сравнить рейтинги Ai игроков и реальных. Там без шансов. Ни в Го ни в шахматы.
programania
04.06.2025 08:21Когда закончится обучение вширь, начнётся обучение вглубь.
Будет обучение всё более сложным рассуждениям и выводам из всего что известно.
При этом будет получаться новая информация, возможно даже непонятная человеку,
но пригодная для дальнейшего анализа и обучения.
И этот процесс бесконечен и он уже пошёл.
Indemsys
04.06.2025 08:21Благодаря агентам феномен «контент-ферм» в стиле Матрицы уже существует.
ИИ получает мегабайты рабочих проектов из всяческих Copilotов от самих разработчиков да еще и за их деньги.
Это гораздо круче чем высасывать из Stack Overflow.
Качество генерируемых сорсов на высшем уровне.
Оно такое что боязно уже руками писать, чтоб не наделать ошибок.
Близко время когда людям запретят кодировать руками , по типу того как в машинах уберут руль. Наверно это случится одновременно и не позже 30 года.
Сейчас не хватает именно мощности и энергии.
santjagocorkez
04.06.2025 08:21Пик ИИ близок, луддиты сообщают, что за написанными вручную исходниками видели белых ходорков.
SadOcean
04.06.2025 08:21То, что есть такое ограничение еще не говорит, что оно фундаментально. Параллельно технологиям обучения и сбора развиваются и технологии подготовки этих текстов, проверки их целостности и корректности, генерации и т.д.
Может быть прогресс замедлится в этом направлении, но станет копать вглубь и вширь - как сделать, чтобы модели выдавали более логичные суждения, как сделать искуственные тексты подобного качества и т.д
nehrung
04.06.2025 08:21Артур Кларк однажды сказал: «Любая достаточно развитая технология неотличима от магии»
Очень часто встречающаяся цитата, и насколько мне помнится, неполная. Полной она станет, если добавить "для неискушённых в ней людей".
Итак, правильный полный вариант (переводной, конечно, английского варианта у меня под рукой нет) таков: «Любая достаточно развитая технология для неискушённых в ней людей неотличима от магии». Ну и конечно же, надо иметь ввиду, что мы все относимся к неискушённым - знать всё невозможно, и любой корифей в чём-то одном не искушён во всём остальном.
snegprog
04.06.2025 08:21Вот и я всем говорю "Если так дальше и пойдет, стоимость оригинальных решений вырастет в разы!"
ИИ это прогресс (и от него не уйти), который легко может превратиться в регресс.
i-netay
04.06.2025 08:21Пик численных методов и математики тоже близок? В ИИ важнее не фреймворки и архитектура, а как просто матрицы множить численно устойчиво и быстро. Не надо называть численную оптимизацию сознанием просто. Её пика не предвидится, а пик хайпа на нейронках случится, как придёт новое, как нейро- заменило нано-.
rubinstein
04.06.2025 08:21Даже самый крутой ии сейчас не понимает смысл, а просто пишет то, что наиболее вероятно будет содержать ответ. Какой пик? Вы о чем?
saag
Телефоны тоже сначала были проводные, потом они разошлись по карманам хомо, то же самое будет и с ИИ, только интеграция будет с мозгом уже, так для хомо комфортнее:-)