Мнения о будущем искусственного интеллекта расходятся кардинально: одни уверены, что уже в ближайшие месяцы ИИ достигнет уровня AGI (общего искусственного интеллекта), другие — что генеративный ИИ обречён на провал. Пол Паллаги утверждает, что «o3 превосходит человека», в то время как Уилл Локетт заявляет, что «ИИ окончательно зашёл в тупик». Кто из них прав? Чтобы разобраться, необходимо внимательно рассмотреть аргументы обеих сторон.

В этом тексте я сосредоточусь на анализе доводов в пользу того, что «ИИ упёрся в стену». О том, почему идеи о сверхчеловеческих возможностях ИИ далеки от реальности, я уже писал в других статьях, например, в «„Человеческий уровень“ GPT-4».

Итак, разберём ключевые аргументы, утверждающие, что развитие ИИ достигло предела. В качестве примера рассмотрим публикацию «Почему развитие ИИ натолкнётся на непреодолимые барьеры» за авторством Жано ле Ру. Мне импонирует его подход: он не просто высказывает негативное мнение, а чётко формулирует тезисы и подкрепляет их фактами. Аргументы ле Ру сводятся к трём основным проблемам: нехватке данных, высокому энергопотреблению и ограничению масштабируемости. Я разберу каждую из них: сначала представлю позицию автора, а затем объясню, в чём её слабые стороны.

Проблема данных

Поскольку обучение больших языковых моделей зависит от текстов, размещённых в интернете, спрос на новые, оригинальные данные неуклонно растёт. Однако этот ресурс постепенно истощается: объём «чистого» контента — того, который не был сгенерирован ИИ, — стремительно сокращается.

Сегодня практически весь доступный онлайн‑контент уже использовался для обучения моделей. К тому же многие издательства и медиакомпании выступают против бесконтрольного использования их материалов. Заключены некоторые соглашения, но они лишь удорожают доступ к данным. Качественные данные больше не являются ни массовыми, ни бесплатными.

Один из предложенных способов решения этой проблемы — использование искусственно созданных данных. Однако контент, сопоставимый с человеческим по качеству, пока так и не удалось воспроизвести. Лично я сомневаюсь, что синтетические тексты когда‑либо смогут в полной мере заменить живую человеческую речь.

Теперь у вас сложилось чёткое представление о том, как нехватка данных влияет на развитие ИИ.

Но чего не хватает в этом мрачном сценарии «информационной засухи»? Ответ тот же, что и в случае двух других аргументов: ле Ру исходит из предположения, что процесс обучения ИИ неизменен и не поддаётся значительным усовершенствованиям. Популярное мнение о том, что единственный способ улучшить ИИ — это скармливать ему всё больше данных, на самом деле не выдерживает критики.

Как верно заметил Сундар Пичаи, «самые лёгкие плоды уже сорваны». Это означает, что дальнейший прогресс зависит не столько от увеличения объёмов данных, сколько от технологических прорывов, новых подходов к обучению и оптимизации ресурсов.

Незаметный прогресс ИИ

Прошу вас не терять нить рассуждений — сейчас я подойду к сути своего аргумента.

Большинство людей просто не замечает небольших постепенных улучшений, которые со временем накапливаются и приводят к значительному прогрессу. Этот феномен настолько распространён, что его можно было бы назвать, скажем, «принципом Лавли» (чуть позже объясню почему).

Мы живём в эпоху броских заголовков: людей захватывают заявления вроде «ИИ вот‑вот достигнет AGI!», но не «Разработан 1,58-битный FLUX» — ведь второе просто непонятно. Вот, например, заголовок: «DeepSeek потряс индустрию ИИ». Звучит громко, но что именно изменилось? Какие конкретные технологии сделали китайскую модель такой «революционной»?

Гаррисон Лавли в Time отмечает, что «прогресс ИИ становится всё менее заметным», потому что общественности всё сложнее разбираться в технических нюансах. Улучшения становятся более сложными, требуют глубокого понимания, а описываются, как правило, в научных публикациях, которые почти никто не читает (благодарю Альберто Ромеро за своевременный сигнал о статье).

И это вполне объяснимо: у нас всех не хватает времени, а у большинства — и мотивации углубляться в технические работы. Но дело не в их недоступности: в сфере ИИ исследования традиционно публикуются в репозитории arXiv Корнельского университета (а затем, возможно, и в научных журналах, хотя крупные компании редко выходят за рамки arXiv).

Так что восприятие застоя в развитии ИИ — это лишь иллюзия. В действительности же научный прогресс идёт полным ходом, просто большая часть прорывных идей остаётся в тени специализированных платформ вроде arXiv, не привлекая широкого внимания.

Прорывы в обработке данных

Недавние достижения в области оптимизации использования входных данных показывают, что можно повышать эффективность обучения ИИ без бесконечного наращивания объёмов информации. Приведу пару примеров:

  • SwiftLearn (разработана исследователями Huawei) — методика, позволяющая ускорять обучение моделей глубокого обучения, используя лишь отобранную часть данных. Эти данные выбираются по критериям значимости, рассчитанным в ходе предварительного анализа всего набора. (Подробнее в статье на arXiv.)

  • CLIP (разработка Катарского университета) — метод, позволяющий обучаться быстрее при меньшем количестве данных. Вместо того чтобы полностью перестраивать архитектуру моделей, исследователи сосредоточились на улучшении качества самих данных, что повышает эффективность обучения. (Исследование доступно здесь.)

Задумайтесь, слышали ли вы об этих работах? Думаю, нет. И в этом основная проблема, о которой я говорил выше: общественное восприятие ИИ необъективно. Люди просто не замечают постепенных усовершенствований, а потому игнорируют их вклад в развитие технологии.

Вывод прост: да, нехватка данных — это реальная проблема, но она решаема. Более эффективные алгоритмы уже разрабатываются и внедряются, просто широкая публика, как и ряд экспертов, остаётся в неведении.

Проблема энергопотребления

Ещё один распространённый аргумент в пользу того, что «ИИ упёрся в стену», — это колоссальное энергопотребление. Обучение и работа ИИ требуют огромных вычислительных мощностей, а значит, и невероятных затрат энергии, что делает этот процесс не только дорогим, но и экологически спорным.

Здесь можно выделить две ключевые проблемы: во‑первых, доступность и стоимость энергии, а во‑вторых, влияние ИИ на окружающую среду.

Обе проблемы серьёзны. Когда ChatGPT только появился, выяснилось, что один его запрос потребляет в десять раз больше энергии, чем обычный поиск в Google. В ответ на растущий спрос центры обработки данных начали переносить ближе к атомным электростанциям, чтобы решить вопрос энергоснабжения. Проблема действительно масштабная.

Очевидно одно: продолжать просто увеличивать энергопотребление бесконечно невозможно. Это тупиковый путь.

Технологии снижения энергопотребления

Но что нам говорят постепенные технологические улучшения? Если говорить об энергопотреблении, то существует множество исследований, направленных на снижение вычислительных затрат ИИ. А сокращение вычислительных затрат напрямую ведёт к снижению потребления энергии. Вот лишь несколько примеров передовых разработок, уменьшающих ресурсоёмкость ИИ:

  • Исследователи Bytedance добились значительного сокращения размера и вычислительных требований для тексто‑графических LLM. Их система, показанная на графике, демонстрирует эффективность по сравнению с передовой технологией FLUX.

  • Команда из Швейцарского федерального технологического института предложила новую вычислительную топологию HammingMesh, которая повышает эффективность работы ИИ. Они утверждают, что существующие сетевые архитектуры не адаптированы для ИИ‑задач, и предлагают более оптимальное решение. Подробнее — в исследовании.

  • Стартап Liquid (от выходцев из MIT) разработал Liquid Engine — платформу для создания эффективных фундаментальных моделей. Они заявляют, что их модели обладают высокой энерго‑ и памятоэффективностью.

  • Исследовательская группа из Microsoft Research Asia разработала методы, позволяющие небольшим моделям эффективно решать математические задачи на уровне более крупных систем. Их прототип rStar‑Math использует стиль рассуждений, схожий с OpenAI o1, но при этом значительно выигрывает в производительности.

Всё это доказывает, что мнение о том, будто развитие ИИ возможно только за счёт наращивания вычислительных мощностей и увеличения энергопотребления, попросту не соответствует реальности.

Проблема масштабируемости

Жано ле Ру называет «проблемой масштабируемости» рост количества параметров в языковых моделях, их общий размер и связанные с этим вычислительные затраты. Если бы единственным способом улучшения ИИ было механическое увеличение размеров моделей, это действительно стало бы тупиком; но такое предположение попросту ошибочно.

Маркетинг-стратег и консультант Жано ле Ру
Маркетинг-стратег и консультант Жано ле Ру

Приведённые выше примеры — исследования ByteDance, ETH, Microsoft Research Asia и Liquid — ясно показывают, что развитие идёт не только за счёт масштабирования, но и благодаря более эффективному использованию вычислительных мощностей и памяти. Более того, в публичных рейтингах уже представлены высокопроизводительные модели LLM, которые демонстрируют отличные результаты при меньшем количестве параметров и сниженных вычислительных затратах. Однако некоторые критики предпочитают игнорировать этот факт — и это даже не учитывая ультраэффективный китайский DeepSeek.

А что насчёт DeepSeek?

Появление DeepSeek на рынке прошло далеко не незаметно — оно буквально обрушило акции крупнейших ИИ‑компаний, вызвав панику, последствия которой ощущаются до сих пор. В отличие от других инноваций, о которых я упоминал ранее, DeepSeek не остался в тени — он мгновенно взлетел на первое место в App Store, набрав 2,6 миллиона загрузок, а также занял лидирующие позиции в Google Play. Но причина ажиотажа — не технологический прорыв или революционное открытие, а его влияние на фондовый рынок.

Главное, что поразило рынок, — не сама архитектура модели (детали которой нам, кстати, неизвестны), а невероятная экономичность её разработки. DeepSeek обошёлся в сотни раз дешевле по сравнению с созданием современных передовых LLM: его обучение стоило менее 6 миллионов долларов, потребовало в 8 раз меньше графических процессоров, чем принято в западных стандартах, и заняло меньше двух месяцев — против шести и более у других крупных моделей.

Появление DeepSeek вызвало не только финансовый шок, но и геополитические опасения: неужели Китай действительно опередил Запад? Отстаёт ли американский ИИ — разве именно он не должен быть самым передовым? Некоторые даже называют это событие «моментом Спутника» — отсылка к тому, как запуск советского спутника в 1957 году встряхнул США.

Но если говорить начистоту, нам почти ничего не известно о «секретном ингредиенте» DeepSeek. Архитектурно он схож с Llama*, использует обучение с подкреплением — в общем, ничего радикально нового. Это скорее качественно собранная инженерная работа, чем технологическая революция. Китай располагает огромным пулом талантов: число их отличников сравнимо с общим числом студентов в США, и в подобных ситуациях это даёт о себе знать.

* Llama — проект Meta Platforms Inc., деятельность которой в России запрещена.

Комментарии (55)


  1. ShadowMaster
    14.02.2025 19:44

    Так-то заметно, что сейчас нейронки дают более точные ответы, чем раньше и меньше галлюцинируют.


    1. gfiopl8
      14.02.2025 19:44

      Но реальные задачи по прежнему не решают. Попроси у дипсика или о3-мини написать конвертер маркдауна из обычного в телеграмовский хтмл(это маркдаун не путать с хтмл реальным) и получишь нерабочий код, он даже не запустится. Даже если дать ему полный расклад и подсказать какие библиотеки лучше использовать и как всё равно они не могут сделать это.


      1. eineless
        14.02.2025 19:44

        Ии Вас хотя бы поймет, в отличие от меня. А могло быть так, что задачу следовало бы формулировать в несколько итераций, чтобы не было как в анекдоте про чукчу и телефон)


      1. Light2046
        14.02.2025 19:44

        Но реальные задачи по прежнему не решают

        Я себе на даче с помощью Gemini небольшую систему безопасности на arduino сделал - на заборе висит инфракрасный датчик и если мимо проходит человек, в доме загорается светодиод на видном месте. Сигнал передаётся по радио. Просто попросил ИИ, он мне написал код и объяснил что куда и как подключать.


      1. tsp1000
        14.02.2025 19:44

        Возможно, я неверно понял задачу, но клода справляется, разве нет?

        Скрытый текст
        import re
        
        def markdown_to_telegram_html(text):
            """
            Конвертирует Markdown в HTML-разметку для Telegram
            Поддерживает:
            - **жирный текст**
            - *курсив*
            - __подчеркнутый__
            - ~~зачеркнутый~~
            - `код`
            - [ссылка](url)
            """
            
            # Экранируем специальные HTML-символы
            text = text.replace('&', '&')
            text = text.replace('<', '&lt;')
            text = text.replace('>', '&gt;')
        
            # Конвертация жирного текста
            text = re.sub(r'\*\*(.*?)\*\*', r'<b>\1</b>', text)
            
            # Конвертация курсива
            text = re.sub(r'\*(.*?)\*', r'<i>\1</i>', text)
            
            # Конвертация подчеркнутого текста
            text = re.sub(r'__(.*?)__', r'<u>\1</u>', text)
            
            # Конвертация зачеркнутого текста
            text = re.sub(r'~~(.*?)~~', r'<s>\1</s>', text)
            
            # Конвертация кода
            text = re.sub(r'`(.*?)`', r'<code>\1</code>', text)
            
            # Конвертация ссылок
            text = re.sub(r'\[(.*?)\]\((.*?)\)', r'<a href="\2">\1</a>', text)
            
            return text
        
        # Пример использования
        if __name__ == "__main__":
            markdown_text = """
            **Жирный текст**
            *Курсив*
            __Подчеркнутый текст__
            ~~Зачеркнутый текст~~
            `print("Hello, World!")`
            [Ссылка на Google](https://google.com)
            """
            
            html_text = markdown_to_telegram_html(markdown_text)
            print("Исходный текст:")
            print(markdown_text)
            print("\nПреобразованный текст:")
            print(html_text)


  1. VMarkelov
    14.02.2025 19:44

    Насчёт того, что люди не замечают небольшой прогресс соглашусь. Те же генераторы картинок и видео понемногу продвинулись довольно далеко. Но вот с некоторыми позициями в статье вам меня убедить не удалось. Например раздел "Прорывы в обработке данных" заканчивается так:

    Вывод прост: да, нехватка данных — это реальная проблема, но она решаема.

    В самом разделе вы только упоминаете новые методы, которые всего лишь, цитата: " метод, позволяющий обучаться быстрее при меньшем количестве данных". То есть, проблема нехватки данных пока не решается вообще никак. Нет новых данных и хоть как ускоряй или урезай существующую выборку, новых достижений от ИИ не будет. Может, кто-то что-то когда-то и придумает, но сейчас, судя по всему, воз и ныне там.


    1. gfiopl8
      14.02.2025 19:44

      Недавно видел тут статью про то что антропик(клод) научили работать с секретными данными (что то для корпораций), данные сначала шифруются, потом клод с ними как то работает.

      Закрытых данных очень много, тот же код с закрытыми исходниками, огромные базы с персональными данными, личные фотографии итп, если на них можно будет учится то это еще +очень много данных.


    1. kryvichh
      14.02.2025 19:44

      А про LIMO вы читали? Да и следуя банальной логике, человеку не нужно прочитать все книги в мире и пропустить через себя весь Интернет, чтобы стать специалистом в выбранной области. Так будет и с ИИ. Он будет учиться рассуждениям, "когнитивным шаблонам", как выразились авторы статьи по ссылке. А факты будет черпать из Интернета, словарей, баз данных, считать с помощью компьютера, Wolfram Mathematica.


      1. rampler
        14.02.2025 19:44

        факты будет черпать из Интернета

        А если в интернете нет фактов ?

        Или факты искажены?


        1. NobelHN
          14.02.2025 19:44

          А что делают умные люди, когда истинность утверждений на определённом ресурсе неоднозначна и проверить её с помощью рассуждения (т.е. без экспериментов и простого наблюдения) нельзя, но есть огромное альтернативных ресурсов? Deep Research от разных компаний немного похож на тот процесс, совершаемый человеком при поиске фактов в Интернете и проверке их на дезинформацию.


          1. rampler
            14.02.2025 19:44

            истинность утверждений на определённом ресурсе неоднозначна и проверить её с помощью рассуждения (т.е. без экспериментов и простого наблюдения) нельзя, но есть огромное альтернативных ресурсов?

            Вы точно уверены, что есть альтернативные ресурсы по всем темам кроме самых общих (и то совсем не факт , как подготовлена информация на общих ресурсах, а подготовлена она специально обученными специалистами для формирования нужных общественных мнений)?

            Я знаю одну тему, ну просто потому, что долго ей занимаюсь.

            Нет альтернативных ресурсов , я не нашел, по крайней мере. Вполне допускаю , что кто-то работает над темой и никому не говорит, в отличии например от меня.

            Ну и как ИИ проверит что информация которую он нашел - корректна ?

            Вот такая ситуация , кто-то решил заниматься темой "анализ производительности СУБД PostgreSQL", интересно же , задал вопрос доступным чат-ботам , получил массу информации и ответов и начал собственные исследования по данной теме, опираясь на полученную информацию.

            Учитывая , что ответы ИИ носят самый общий характер и не содержат конкретных решений , пройдет очень много времени пока новый исследователь поймет, что информация которая опубликована в интернете устарела и все это время он шел по тупиковому пути.

            Т.е. в данном случай ИИ не помог, а навредил.

            Проблема грязных данных и отсутствие данных в интернете это очень серьезная проблема для языковых моделей. Это же базовая логика - из ложной посылки, любой вывод ложен. Как установить истинность начального тезиса ? Да еще и в интернете .

            Я не специалист по LLM , поэтому не берусь судить - как будет решаться.

            Вполне возможно , лет через 10-15 никто и не вспомнит об этом ажиотаже.

            Поживем, увидим.


            1. Antra
              14.02.2025 19:44

              Вот такая ситуация , кто-то решил заниматься темой "анализ производительности СУБД PostgreSQL", интересно же , задал вопрос доступным чат-ботам , получил массу информации и ответов и начал собственные исследования по данной теме, опираясь на полученную информацию.

              Учитывая , что ответы ИИ носят самый общий характер и не содержат конкретных решений , пройдет очень много времени пока новый исследователь поймет, что информация которая опубликована в интернете устарела и все это время он шел по тупиковому пути.

              Т.е. в данном случай ИИ не помог, а навредил.

              Можете пояснить?

              В чем приницпиальное отличие нагуглить фигню в Интернете или получить ее через чатбота (ибо он на ней же обучался)?

              Что значит "самый общий характер"? Он вполне может помочь со списком, что стоит потестировать. И даже написать заготовки тестов, которые вы под себя затюните.

              Может быть станет понятнее, если приведете пример "тупикового пути", которого бы не случилось пару лет назад.


              1. rampler
                14.02.2025 19:44

                В чем приницпиальное отличие нагуглить фигню в Интернете или получить ее через чатбота (ибо он на ней же обучался)?

                Принципиально ничем. Разница только во вложенных бюджетах в алгоритм поисковика и LLM. Если на входе фигня, то на выходе тоже получится фигня. И не важно сколько ресурсов вложено в обработку.

                А если результат не отличается - зачем платить больше ?

                А в интернете , по некоторым тема вообще в принципе ничего кроме фигни нет.

                Что значит "самый общий характер"?

                Это значить - между "что делать" и "и как делать" - иногда марафон триатлон.

                Он вполне может помочь со списком, что стоит потестировать. И даже написать заготовки тестов, которые вы под себя затюните.

                Что тестировать я и так знаю - производительность СУБД PostgreSQL. Вопрос - как тестировать. Какие сценарии и как обрабатывать результаты и вопрос вопросов - какие цифры и почему считать результатом. И никакая LLM на эти вопросы не ответит, просто потому, что в интернете нет статей на эту тему. Ну , вернее пока нет. А когда появится, лично мне уже эта информация не особо и интересна будет, я дальше пойду.

                Может быть станет понятнее, если приведете пример "тупикового пути",

                Пожалуйста - все три варианта имеют аномалии которые проявляются на разных сценариях нагрузочного тестирования. Но никакая языковая модель об этом знать не может.

                Другие боты дадут такой же результат. Другому взяться просто неоткуда
                Другие боты дадут такой же результат. Другому взяться просто неоткуда

                Обратите внимание на пункт 4. Я не спрашивал "как мониторить", зачем он мне это говорит ?

                Другие боты выдадут такие же ответы, кто-то больше кто то меньше.

                Потому, что они понятия не знают, что перечисленные варианты расчетов тупиковые и имеют аномалии.

                P.S. Просто тема статистического анализа производительности СУБД мне довольно близка , я держу руку на пульсе. Уверен, по другим темам требующим исследования а не статистического анализа мегатон текстов в интернете ситуация аналогичная. Так, что пусть кто хочет называет это интеллектом. Для меня языковые модели лишь очень сложные продвинутые поисковики. Может быть когда нибудь от них будет польза именно в исследованиях нового, но пока нет.


                1. Antra
                  14.02.2025 19:44

                  Видимо у меня основное непонимание именно в этом:

                  Что тестировать я и так знаю - производительность СУБД PostgreSQL

                  БД от меня далеки, я не понимаю, что не так с советами. Как по мне, так действительно нет какой-то "универсальной метрики производительности". Надо от задачи плясать.

                  Если бы мне нужно было выбрать железный сервер для какой-то задачи, я бы спрашивал рекомендации по RAM/CPU при таком-то объеме данных или какие тесты погонять на имеющемся сервере, чтобы оценить, какое-кол-во транзакций потянет при предполагаемом профиле использования.

                  Если бы выбирал "какую БД использовать" - тоже вопрос "для чего". Иначе Redis точно быстрее окажется :) А без указания деталей и ответы будут весьма общими.

                  Может в БД и есть какая-то "универсальная метрика", но в более близкой мне сети для разных типов трафика не то, что результаты разные, а даже измеряют в разных единицах. Скажем, максимальная пропускная способность на больших пакетах - гигабиты в секундe. А для маленьких пакетов - пакеты в секунды, ибо "гигабиты в секунду" могут на порядок ниже быть и ни о чем не скажут. А есть еще задержки (скажем, через спутник большой файл скачать может быть быстро, а вот в терминале работать некомфортно).

                  P.S. В смысле "зачем мониторить"? Я бы во время тестов обязательно смотрел на загрузку CPU, вдруг одно ядро загружено, а остальные балду пинают, а не только на объем закоммиченых данных (или что там метрика производительности показывает).

                  В общем, не понимаю. Ну да ладно, далекая от меня тема.


                  1. rampler
                    14.02.2025 19:44

                    Надо от задачи плясать.

                    Разумеется. Осталось дело за малым - объяснить это LLM и реализовать алгоритмически. Но эти алгоритмы , все , предполагаю как в известном меме про журналиста и ученого, называют интеллектом - ну вот пусть применит интеллект ;-)

                    Как по мне, так действительно нет какой-то "универсальной метрики производительности". 

                    но ВСЕ языковые модели, которые я пока тестировал начинают пытаться выкручиваться , объяснять и видывать тексты. Что лично мне особенно раздражает - цитаты из моих статей .

                    В общем, не понимаю. Ну да ладно, далекая от меня тема.

                    Вот когда LLM научатся так отвечать , тогда и сделают первый шаг к тому, что бы заслужить первый намек и оправдать второе слово в словосочетании "искусственный интеллект".

                    Пока они лишь воду льют очень замечательно , с языковыми моделями у человека никаких шансов. Это факт.


      1. VMarkelov
        14.02.2025 19:44

        Спасибо за уточнение. Но, претензия была к подаче материала в статье.

        Во-первых, в этой статье о LIMO вообще ни слова (Ctrl+F не находит ни одного включения, кроме вашего комментария). Во-вторых, если автор приводит сокращенные описания чего-то, то я ожидаю, что это будет самое важное, чтобы зацепить читателя пойти по ссылке и узнать больше. В данном случае, автор сделал упор на том, что только повысится скорость и меньше данных можно подсовывать для изучения. Это никак не подогревает интерес. Откуда простой читатель (я не слежу за всеми ИИ новостями) может почерпнуть о том, на что вы указали? Поэтому, если оценивать именно статью, то она со своей задачей не справляется и убедить меня в правильности своих предпосылок не может.


      1. Kergan88
        14.02.2025 19:44

        Limo позволяет получить тот же перформанс с меньшими затратами, но не увеличить его. Перформанс сетей практически не растет уже последние года 2-3 - т.к. достигнута практически максимальная точность аппроксимации. Выше 100% не поднимешься - и тут ни чего не поможет, ни большее количество данных, ни большее количество параметров, ни более совершенные методы. Это принципиальное ограничение подхода как такового.

        >Он будет учиться рассуждениям, "когнитивным шаблонам", как выразились авторы статьи по ссылке

        Ллм не может учиться рассуждениям (она в принципе не может рассуждать) или когнитивным шаблонам (т.к. у нее нет когнитивных способностей и в уелом когнитивных процессов или процессов которые хотя бы отдаленно похожи на когнитивные). Модель может учиться более точной аппроксимации функции распределения токенов в обучающей выборке.


        1. kryvichh
          14.02.2025 19:44

          Минутку, но 1-ая версия ChatGPT была запущена только 2 года назад. И каждый месяц выходят новые модели, которые ставят рекорды в тех или иных тестах.

          Что касается принципиальной невозможности LLM рассуждать - это философский вопрос. Меня больше интересует практическая сторона применения LLM на работе и в быту.


          1. arielf
            14.02.2025 19:44

            Ллм не может учиться рассуждениям (она в принципе не может рассуждать) или когнитивным шаблонам (т.к. у нее нет когнитивных способностей и в уелом когнитивных процессов или процессов которые хотя бы отдаленно похожи на когнитивные). Модель может учиться более точной аппроксимации функции распределения токенов в обучающей выборке.

            Вы это прочли? Вы понимаете, что LLM -- это тупой генератор текстов на базе иных текстов? Ежели в выборке чего-то не было, то она вам его изобрести не сможет.


            1. arse00n
              14.02.2025 19:44

              Много раз слышал байку что ллм не обучали чему то (в обучающем наборе материалов не было), китайскому языку например, но она сама по обрывкам из других языков научилась.


          1. Kergan88
            14.02.2025 19:44

            Минутку, но 1-ая версия ChatGPT была запущена только 2 года назад. 

            Вы путаете конкретный продукт (ChatGPT, релиз 30 ноября 2022) и модель, на которой этот продукт работал (GPT-3, релиз 28 мая 2020, почти 5 лет назад).

            И каждый месяц выходят новые модели, которые ставят рекорды в тех или иных тестах.

            Рекорды-то они ставят, но это все просто попугаи не имеющие отношения к реальности. По факту же, для наиболее распространенных задач (перевод, суммаризация, рерайтинг) даже о3-mini-high слабо отличается от базовой ванильной трешки пятилетней давности. Единственный реальный прогресс в контексте - но и там, речь о том что просто можно закинуть большего размера промпт, а так даже лучшие модели теряют контекст после 10-20 страниц текста (или 1-2 kloc кода) и надо создавать чат заново.

            Что касается принципиальной невозможности LLM рассуждать - это философский вопрос.

            Да нету ни какого философского вопроса, сеть выдает один единственный токен и прекращает работу. Один единственный токен - очевидно, не рассуждение. Сбор же токенов в осмысленную цепочку - отдельная операция, с которой работа сетки вообще не связана ни как.

            ЗЫ: между gpt-3 и gpt-2, к слову, прошел всего год, и это был реально жесткий прорыв от "нахер не нужно, т.к. невозможно использовать в реальных задачах" до "можно без проблем применять в обширном классе реальных задач". Т.е., объективно, после выхода GPT-3 - за ~впятеро большее время был сделан в разы меньший прогресс. собственно, о том и речь - в плане качества работы моделей почти весь возможный прогресс уже "выбрали", лучше делать просто некуда. Но можно дешевле и эффективнее в применении - вот в этом направлении последние 2-3 года развитие и идет.


      1. arielf
        14.02.2025 19:44

        Но это уже не LLM, тут нужна совершенно иная архитектура.


      1. Wesha
        14.02.2025 19:44

        Он будет учиться

        Всем злоупотребляющим словом «будет» я показываю

        старый детский мультфильм


  1. Konkistadorr
    14.02.2025 19:44

    Если капнуть в будущее через призму истории, то нынешние нейронки явно далеки от нормального ИИ. Больше похожи на улучшалки на все случаи жизни, соответственно ожидания от них должны быть не как от детищ.

    У Вачовски были анимационные зарисовки - механический мир без электричества. Сегодняшние ИИ смахивают на попытку вдохнуть самостоятельности механическим куклам и сложным печатным машинкам. Но завтра придёт "электричество" и все эти наработки окажутся тупиковыми, либо в лучшем случае закладкой под другой уровень технологий.

    Натаскивание нейронок крайне затратно для человеческих ресурсов, но не даёт самого главного - самостоятельности, осознанности и самообучаемости ИИ. Для большого рывка возможно понадобится переход к цифроаналоговому языку и куча наработок в области социальной инженерии, психологии биологии и медицины. Настоящий прорыв начнётся когда ИИ сможет осознать себя, свои недостатки, сможет улучшать и апгрейдить самостоятельно.

    Кто-то хотел вставить чип себе в мозг... возможно именно так будет выглядеть самое начало эпохи ИИ. Вначале чип подружат с нашими сигналами и моторикой, потом постепенно начнут переносить фокус мозговой активности на внешнее устройство а-ля Пентиум 1, Пентиум 3...

    Эволюция нас миллион лет лепила. Сделала слишком сложными и стабильными, а мы не до конца разобравшись, пытаемся перенести "дешёвым" способом в цифру и удивляемся почему так криво)


  1. andlom
    14.02.2025 19:44

    На мой взгляд, появление подобных статей и споры - явный признак того, что развитие выходит на плато и куда-то всё же "упирается". Ведь если есть явные улучшения (а не изыскания на arXiv), то никого в этом убеждать не надо.


  1. rampler
    14.02.2025 19:44

    По вашему , то, что называют "Большие языковые модели" можно назвать "интеллектом" ?

    У меня любимое развлечение было - задать вопрос , ответ на который точно не опубликован в интернете и наблюдать как бот льет воду и выкручивается как студент на экзамене , вместо того, что честно сказать , как человек - я не знаю, ответа в интернете нет.

    Есть и более изощренное издевательство - задать вопрос и точно знать , что ответ будет неверным, потому, что информация в статьях в интернете устарела , но ии об этом не знает, потому, что не может получит информацию о информации, он просто не погружен в тему вопроса . Например, то, что автор давно забросил ресурс и статья устарела и давно не актуальна , хотя и индексируется . Т.е. до способности рассуждать, то чем собственно и характеризуется интеллект , ии еще очень далеко.

    Поживём , увидим.


    1. rampler
      14.02.2025 19:44

      Дополню.

      Ответы языковых моделей нужно проверять вручную , на предмет корректности и актуальности .

      Вопрос - а зачем тогда они(LLM) нужны , если потом все равно потребуется участие эксперта/экспертов ? Может быть , проще дешевле и быстрее- сразу к техническому эксперту обратиться ? Если конечно , не как в известной короткометражке про 7 красных перпендикулярных линиях .

      Ну , за исключением , написания курсовиков, дипломов , инструкций и статей для закрытия KPI или генерации трафика на интернет ресурсах (например на хабре). Тут конечно, ии - вне конкуренции.


      1. korchoon
        14.02.2025 19:44

        Если конечно , не как в известной короткометражке

        А ведь точно: эксперт ещё вопросы сложные задавать, находить несоответствия, не соглашаться. LLM здесь вне конкуренции: со всем согласится и выдаст решение


        1. rampler
          14.02.2025 19:44

          эксперт ещё вопросы сложные задавать, находить несоответствия, не соглашаться.

          — Так вот, — говорит Морковьева. — Нам нужно нарисовать семь красных линий. Все они должны быть строго перпендикулярны, и кроме того, некоторые нужно нарисовать зеленым цветом, а еще некоторые — прозрачным. Как вы считаете, это реально?

          — Нет, — говорит Петров.

          — Давайте не будем торопиться с ответом, Петров, — говорит Сидоряхин. — Задача поставлена, и ее нужно решить. Вы же профессионал, Петров. Не давайте нам повода считать, что вы не профессионал.

          — Видите ли, — объясняет Петров, — термин «красная линия» подразумевает, что цвет линии — красный. Нарисовать красную линию зеленым цветом не то, чтобы невозможно, но очень близко к невозможному…

          — Петров, ну что значит «невозможно»? — спрашивает Сидоряхин.

          — Я просто обрисовываю ситуацию. Возможно, есть люди, страдающие дальтонизмом, для которых действительно не будет иметь значения цвет линии, но я не уверен, что целевая аудитория вашего проекта состоит исключительно из таких людей.

          — То есть, в принципе, это возможно, мы правильно вас понимаем, Петров? — спрашивает Морковьева.

          Петров осознает, что переборщил с образностью.

          — Скажем проще, — говорит он. — Линию, как таковую, можно нарисовать совершенно любым цветом. Но чтобы получилась красная линия, следует использовать только красный цвет.

          — Петров, вы нас не путайте, пожалуйста. Только что вы говорили, что это возможно.


          1. kryvichh
            14.02.2025 19:44

            Это задание немного запутанное и включает несколько невозможных условий. Давайте попробуем разобраться.

            1. Семь красных линий, все строго перпендикулярны друг другу: В двумерной плоскости это невозможно, потому что максимум можно нарисовать две линии, перпендикулярные друг другу, либо несколько линий, перпендикулярных к одной линии.

            2. Линии зеленым цветом: Если требуется нарисовать некоторые линии зеленым, то они уже не будут красными, что противоречит первому условию.

            3. Прозрачные линии: Прозрачная линия вообще не будет видна, что делает невозможным ее рисование.

            Предлагаю пересмотреть условия задачи, чтобы уточнить ваши требования. Возможно, есть иной способ выразить вашу идею или проект.

            Как вариант, можно представить себе многомерное пространство, где число перпендикулярных линий возможно больше, но даже там есть ограничения. Если хотите обсудить другой подход, я с удовольствием помогу!

            Copilot умеет говорить нет.


            1. rampler
              14.02.2025 19:44

              Copilot умеет говорить нет.

              и абсолютно не понимает, что такое шутка ирония сарказм и гротеск.

              Какой практический смысл в этом ответе ?

              На что были потрачены мегатонны бюджетов , время и работа специалистов?

              На то, что бы придумать абсолютно бессмысленный ответ на вопрос , с которым справится школьник ?


              1. NobelHN
                14.02.2025 19:44

                и абсолютно не понимает, что такое шутка ирония сарказм и гротеск.

                Судя по ответу от Copilot, ему была предоставлена только задача, а не весь диалог из довольно популярного видео (первоисточник мне неизвестен), так что о контексте и абсурдности задачи ему ничего, вероятно, не известно.

                На то, что бы придумать абсолютно бессмысленный ответ на вопрос , с которым справится школьник ?

                Почему ответ бессмысленный? Он ведь содержит все противоречия в условиях данной задачи…

                Правда, есть вероятность, что кто-то в Интернете обсуждал данную задачу, и обсуждение попало в обучающую выборку.


                1. rampler
                  14.02.2025 19:44

                  весь диалог из довольно популярного видео (первоисточник мне неизвестен)

                  Короткометражка

                  https://rutube.ru/video/1f1274ea1e072da04bd5c775f0b5321c/?r=a

                  Первоисточник

                  https://alex-aka-jj.livejournal.com/66984.html


              1. begin_end
                14.02.2025 19:44

                Deepseek довольно неплохо ответил, рассмотрев все варианты ситуации с вопросом. Хотя он наверное частично знаком с этой шуткой.


                1. Wesha
                  14.02.2025 19:44

                  7 взаимно перпендикулярных линий требуют 7D-пространства

                  Именно поэтому он — не эксперт


    1. Politura
      14.02.2025 19:44

      А можете привести примеры таких ваших вопросов? Заранее спасибо!


      1. rampler
        14.02.2025 19:44

        Пожалуйста .

        "Как рассчитать производительность СУБД PostgreSQL".

        Вопрос с подковырками .

        1)Не нужно лить воду и цитировать мои статьи , с хабра в том числе .

        2)Нужна формула , не текст ни о чем для наполнения курсовика , а конкретный ответ на - как рассчитать, какая формула , как получается цифра .

        Если будет , ответ который я не раз уже встречал , скорее всего , что то типа "отношение *** будем считать производительностью СУБД" , я скажу , что эта методика уже давно устарела потому, что возникают аномалии. Но нейросеть об этом не знает, потому, что статьи в интернете с описанием аномалии , я не публиковал пока.

        Т.е. вопрос вопросов - почему интеллектом называют алгоритм , который не способен рассуждать ?


        1. Politura
          14.02.2025 19:44

          Я, честно говоря, не знаю, как человек может не лить воду в ответ на этот вопрос. У меня, например, сразу возникла куча уточняющих вопросов, типа производительность чего именно, записи? чтения? сложных селектов? селектов с деревом? на больших данных которые не влезают в кэш? транзакций на несколько таблиц? относительная производительность в сравнении с другими СУБД на том-же самом железе? а может относительная, но Постгреса на разном железе? и это еще не все вопросы, которые возникли, но все писать лень. :)

          Однако языковые модели, к сожалению, никто не учит задавать уточняющие вопросы их учат всегда отвечать, даже если вопрос размытый и неясно что вообще надо, поэтому они и пытаются как-то отвечать на такие вопросы. Вы сами сказали, что аж статьи писали по этой теме, а требуете в ответ вместо воды конкретную формулу. Не видите противоречий?


          1. rampler
            14.02.2025 19:44

            У меня, например, сразу возникла куча уточняющих вопросов

            Потому, что вы человек и реальный интеллект , а не алгоритм который назвали " искусственный интеллект".

            Вы способны рассуждать , логически сопоставлять , искать аналогии и логические связи, а не статистически обрабатывать мегатонны , вообще говоря очень грязной , информации из интернета .

            Не видите противоречий?

            Нет, потому, что не считаю эти алгоритмы интеллектуальными и не жду в результате, хоть что то отдалено напоминающее реального интеллекта.

            P.S. Боты кстати , вполне себе пытаются изобразить интеллект и ответить на вопрос .


        1. Frohman
          14.02.2025 19:44

          Вы сами же в предыдущем комментарии к статье "Как протестировать производительность СУБД перед миграцией: опыт K2Тех" задаёте дополнительные вопросы авторам, чтобы ответить. Ваши желания и ограничения должны быть заданы в инструкции модели. Закинул в deepseek ваш вопрос, дописал, что он должен уточнять вопрос, если он ему не понятен. И получил ваши же вопросы в том посте и вопросы Politura выше. Модель не читает ваши мысли, часть информации из вопроса только в вашей голове.


          1. rampler
            14.02.2025 19:44

            Вы сами же в предыдущем комментарии к статье "Как протестировать производительность СУБД перед миграцией: опыт K2Тех" задаёте дополнительные вопросы авторам

            У меня очень большие подозрения , что статья сгенерирована LLM. И автор лишььэ разместил статью а целях рекламы или kpi.

            Сколько дней прошло и тишина . Люди, тем более авторы заинтересованные в обсуждении , обычно реагируют быстрее.

            Закинул в deepseek ваш вопрос, дописал, что он должен уточнять вопрос, если он ему не понятен

            А deep seek и не говорит, что вопрос(как рассчитать производительность ) непонятен . Все ему/ей понятно. Льет поток воды и цитат весьма уверенно и бодро.

            Повторюсь , как студент с шпорами и бомбами.

            Это вполне объяснимо , алгоритм ведь не может знать или не знать или не понимать - он просто засыпает потоком статистически обработанной информации. Алгоритм в принципе не может знать , что 80-90% из его ответа уже давно устарело. И тот кто если будет заниматься темой анализа производительности потеряет кучу времени и пойдёт по ложному пути.

            И это одна из серьёзных проблем языковых моделей - грязные данные в интернете .

            С живыми авторами можно пообщаться , с цитатами из из статей - нет.