Нередко можно услышать, что перспективные ИИ/LLM не заменят настоящих разработчиков и специалистов потому, что LLM нередко генерирует «решения» с грубыми ошибками, а чтобы понять, где эта ошибка, в чём она состоит и как её исправить — нужен тот, кто реально понимает, что же происходит. То есть, востребованными останутся специалисты с большим опытом и глубоким пониманием темы. Эти специалисты ещё и будут крайне редки, так как везде уже ИИ с LLM оказал влияние. Казалось бы, если результаты генерирования ИИ зашли в тупик, то такой специалист только и может выручить. Логично. Но тут неявно предполагается, что цель — получение работающего продукта, а не тупика. Это существенное допущение. Оно работает лишь до тех пор, пока достигнутый «тупик» просто не объявляется тем же ИИ единственным возможным результатом. И вот — «скрипач» оказывается не нужен.
Как только господствующим станет представление об ИИ как о последней инстанции, тут же места для редких специалистов не остаётся. К сожалению. Да, пока что специалист без труда может привести конкретные примеры ошибочного, — имитационного, а потому бесполезного, — выполнения задачи силами LLM, подкинув очередному «стохастическому попугаю» минимально содержательную и оригинальную инженерную задачу. Что важнее — эти примеры есть кому показать. Надолго ли? В условиях Нового средневековья всё может быстро измениться.
Представьте, что именно LLM используется для определения того, можно ли реализовать решение некоторой задачи, можно ли исправить ошибки в каком‑то коде. Зачем? Чтобы повысить качество процесса, уменьшить количество итераций. Скармливание вывода одной LLM в другую LLM — типовой подход уже сейчас. Так что использование LLM на втором слое обработки задач не выглядит удивительным достижением. Например, несколько сомнительная, но очень популярная идея, что обнаруживать тексты, сгенерированные LLM, нужно при помощи другой LLM, обученной на текстах первой, регулярно получает практические воплощения. Да и ИИ‑исследователи («автоматические учёные», как researcher) уже то и дело предлагаются через СМИ.
При написании студенческой, научной работы — использование LLM не только больше не является чем‑то «из ряда вон», но уже иногда и прямо поощряется. Несомненно, тут есть куча оговорок: необходимо понимать, что хорошая LLM — это полезный инструмент обработки текста. Проблема в том, что появились новые трактовки понятия о полезности. Например, объявляется полезным для процесса обучения «исправление текста за ИИ/LLM». Действительно, в самом по себе использовании калькулятора на уроках математики ничего плохого нет, однако проблемы начнутся тогда, когда на смену изучению арифметики придёт «знакомство с назначением кнопок калькулятора», чтобы «научиться правильно формулировать ему задания». В такой парадигме нет места кому‑то, кто будет изменять результаты LLM не в учебных целях, да не получив одобрения другой LLM. Когда доступ к подобному ИИ имеется в изобилии, то ИИ/LLM и может объявить, что задача не решается в принципе, так что нет смысла звать «древнего инженера».
Предположим, LLM «спроектировала» подъёмный кран, который всегда переламывается. Промпт переписывали по инструкции разными способами, но нет, не выходит прочный подъёмный кран. А более мощная LLM пишет, что сконструировать подъёмный кран, который не переламывается, невозможно в принципе. С развернутым обоснованием. Можно ли в принципе подобрать такие требования для крана, что построить соответствующий механизм невозможно? Можно, конечно. Хорошо. Достаточно теперь обобщить это наблюдение при помощи LLM.
Да, проблема с генерированием надёжного результата скорее решится тем, что и подготовка выводов о невозможности достижения результата тоже переходит к ИИ/LLM. Что ж, если посмотреть на современный хайп, то для этого всё и затевается, верно? Сверхразумный ИИ решает любые задачи, исследует все возможные исследования одновременно, и не может ошибаться, а поэтому всегда поможет. Предполагается, что такой ИИ ищет только лучшие решения, видимо, из неких «общих соображений». В какой‑то момент все предлагаемые решения начинают считаться лучшими. По определению. Пока что в интерфейсах LLM и в пользовательских соглашениях пишут, что «эти системы могут ошибаться». Наличие такого дополнения как раз вызвано тем, что без него — далеко не всем очевидно, могут ошибиться или нет. Трудно ли поверить в то, что в какой‑то момент новая версия LLM заявит, что текст про возможность ошибки лучше убрать? Нет, не трудно. Для этого уже есть неплохой фундамент: регулярно пишут, что человек не сможет понять выводы сверхразумного ИИ. Так что никто и не гарантирует, что реальный, настоящий результат не будет работать в другую сторону — LLM всё равно, а человек‑то «понять не может», будь он хоть какой специалист.
Сверхразумный ИИ обещают уже чуть ли не в этом году. Ну или в 2030, что тоже не так далеко, как хотелось бы. Выглядит сомнительно. Если только не считать, что степень сверхразумности будет определяться по сообщению газет: может же так быть, что какую‑то новую систему просто объявят сверхразумной? Вполне. Посмотрите на эту социальную область повнимательнее: тема активно развивается десятки лет, но требований для расстановки статусов ИИ так и не появилось. Есть, впрочем, регулярно обновляемый список «сомнений», которые подстраиваются под каждый новый уровень. Например: появились системы, распознающие буквы на картинках, — нет, это далеко не ИИ; появились чат‑боты, генерирующие связный текст на естественном языке, — ну, это уже ближе, но всё равно нет, ещё не ИИ; и так далее. Только подтверждает существование самой возможности «сверхразумности» через объявление: всегда можно возразить, что некоторые много лет подстраивают уровень своих сомнений, поэтому и тут, традиционно, сомневаются.
Вернёмся к подъёмному крану: пусть разработка крана зашла в тупик, но ведь у ИИ нетрудно узнать непосредственно, как ещё можно поднимать грузы на высоту, верно? «Делайте грузы круглыми и закатывайте их по рельсам при помощи велосипеда, снабжённого системой блоков» — сообщает, предположим, ИИ. Так что тут точно нет места для дополнительного обращения к какому‑то «уникальному специалисту»: ИИ отверг одно направление, «научно» объяснил, что оно «невозможно», и предложил другое, с круглыми грузами. Точка.
В такой конфигурации Нового средневековья некоторые технологические направления начнут быстро «засыхать», а другие — требовать для поддержки всё больше механических ресурсов, но не специалистов. Сверхидея исходной концепции про редких незаменимых специалистов — в сохранении понимания технологий. Сохранение понимания — не равно сохранению только технологии. Человеку, чтобы хорошо понимать ту или иную технологию, нужно постоянно и непосредственно взаимодействовать с объектами, определяющими свойства данной технологии, а не просто выполнять ритуалы. Ритуалы при этом важны, сомнений нет. Но кто сказал, что концепция сохранения технологий не будет заменена на сохранение даже не самих ритуалов, а представлений о ритуалах? Такой вариант вполне вероятен. ИИ, как говорится, в помощь. (Да, тут сразу вспоминаются Adeptus Mechanicus из одной весьма известной игровой вселенной.)
Если технологии начнут «засыхать», то кто же будет обслуживать дата‑центры с миллионами микропроцессоров, подливая волшебное масло в систему охлаждения? Кто угодно, с нужным уровнем допуска. По инструкциям, выдаваемым LLM, которые на тех микропроцессорах работают. Да, в какой‑то момент система охлаждения сломается. Но далеко не сразу, это же путь медленного угасания.
И всё же, переход к подобной схеме требует некоторого скачка. Остаётся надеяться, что для него пока не накоплено достаточной базы.
Комментарии (8)
S_gray
19.05.2025 18:29Хорошо и внятно написано... Одна из главных проблем AI - то, что это некоторая математическая формула, в которой проходит большое количество итераций с использованием ранее вычисленных значений.
По идее, AI должен прийти к выводу, что бессмысленно заниматься изучением Природы, поскольку всё, что "нужно" уже есть или может быть вычислено из имеющейся базы данных. Напоминает Выбегалловского "исполина духа", который вместо невероятного духовного и физического роста тупо прибирает к рукам всё до чего успевает дотянуться, а потом "сворачивает пространство" и "зацикливает время"... Нечто похожее есть и у Азимова в "Основании", где в Империи задачей ученого считается только изучение ранее накопленных знаний, в результате чего знания начинают искажаться, исчезать, игнорироваться и превращаться в инструмент для манипуляций Человечеством.
Учиться надо у Кристобаля Хунты, который считает бессмысленным поиск решения, если известно, что оно есть. "Цель - ничто, поиск - всё".
WhoIsJohnGolt
19.05.2025 18:29Ситуация будет напоминать "Академию" Азимова, где существовала каста технологов, которые знали, какие кнопки когда нажимать, но не имели представления о том, как это работает
Dr_Faksov
19.05.2025 18:29Почему будет? Оно уже давно есть. Просто уровень абстракции разный. Все из тех, кто компилируют exe\app имеют представление как они работают?
JoshMil
19.05.2025 18:29Если учесть что человек это тоже совокупность языковых моделей, то мы и в эпоху до ИИ уже имели все подобные проблемы. Если задуматься то в любом рабочем коллективе найдется точно такая ситуация, когда не все варианты решений доступны, когда пространство свобод ограничено.
Это кстати, прекрасно иллюстрируется, в том числе, возможностью представить ситуацию не в виде ИИ достигшего высокого уровня людей, в в виде невысокого уровня людей доступно повторяемого техническими средствами.
У человека пожалуй, есть одно отличие, он мотивирован на создание ЯМ разной специализации, а сама ЯМ - нет.
В этом, возможно, кроется рабочая концепция сильного ИИ: это будет совокупность разной сложности специфичных ЯМ, и какая нибудь примитивная ЯМ определяющая мотивы их использования и пополнения.
P..S. Кстати, примеры с проблемами, навроде блока с велосипедом, и прочие нарочито непривычные решения - поразительно напоминают то что каждый день становится темой вирусных видео о "гениальных" решениях людей - в мире где ИИ пока нет.
Я имею в виду что люди уже всей этой ерундой страдают, и без дополнительных искусственных языковых моделей. Вероятно именно потому, что сами представляют из себя языковые модели невысокой точности. А не какие то суперуникальные модели, по сравнению с которыми исскуственные значительно умтупают.
S_gray
19.05.2025 18:29люди уже всей этой ерундой страдают, и без дополнительных искусственных языковых моделей. Вероятно именно потому, что сами представляют из себя языковые модели невысокой точности.
Нельзя сравнивать человеческий разум и какие-то модели, пусть и языковые и большие. У человека есть такая вещь, как свобода воли. Мы сами ставим себе цели, ищем пути и строим инструменты для их достижения (в том числе и ЯМ, какими совершенными они бы не были). У человека нет и не может быть назначения. В противном случае мы из субъектов превратимся в объекты и история цивилизации на этом закончится.
"— Антропоцентрист, — сказал Витька с отвращением.
— Да, — гордо сказал Эдик."
(© Стругацкие "Понедельник начинается в субботу")
JoshMil
19.05.2025 18:29Не выглядит как принципиальное отличие - для нашего контекста, естественно.
С одной стороны... А с другой - ну есть она, как она помешает какой нибудь из имеющихся у конкретного человека модели - быть ограниченной? Никак. Именно поэтому мы и видим что люди в реальной жизни порой ограничиваються весьма странными представлениями и действиями. При, казалось бы, известных за их пределами возможностей.
Потому что ЯМ конкретного человека может быть сколь угодно простой. И бывает.S_gray
19.05.2025 18:29ну есть она, как она помешает какой нибудь из имеющихся у конкретного человека модели - быть ограниченной?
"Она" - свобода воли? Она никому никак не помешает. Она отделяет субъекта от объекта. Делает различие между человеком и инструментом принципиальным. Ограниченность какого-то конкретного человека не означает, что человека можно взять и заменить пассатижами на основании того, что пальцами гвозди из досок невозможно выдирать. У человека, в отличие от пассатижей нет предназначения, каким бы дауном или тупым с чьей-то точки зрения он ни был.
Ard33
Даже сейчас даже люди не могут понять микросхемы розроботаные ИИ. А они должны работать в дата центрах когда будет ASI? Ну смешно, проще научить собаку ремонтировать машины. Есть вариант а уже не из телом примата. Которое двигается очень медленно, слишком нежное, да и вообще не может запомнить даже ничтожную долю информации. Человек может запутаться в десятках деталей что уже говорит про млн. и млрд.