Прошло около полугода после последней моей статьи о перспективах развития больших языковых моделей. Чтобы не утомлять долгим чтением, её краткое резюме:
Критика современных больших языковых моделей (БЯМ): они статичны, неэффективны в вычислениях и обучении, что ведет индустрию к технологическому тупику. Главные проблемы связаны с экспоненциальным ростом вычислительных мощностей, дефицитом качественных данных и ограничениями архитектуры.
Итак, можно подвести некоторые итоги, что же мы увидели за прошедшее время.
Прежде всего появление "думающих" моделей. Именно в кавычках, поскольку подобное "думание" по факту лишь имитация саморефлексии, а по сути - генерация разновидности расширенного промпта самой моделью, который, что вполне ожидаемо, увеличивает качество ответов. Можно ли это назвать прорывом? Если посмотреть на стоимость токена такой "генерации", то я бы скорее назвал это провалом. Ни о каком практическом применении такой технологии при таких ценах нет и быть не может, а потому OpenAI продолжает считать убытки. Зачем вообще было выпускать подобный продукт? Все просто: маркетинг. Инвесторы вложились и ждут новых продуктов, новых технологий и нужно кинуть им какую-то кость. Наследник GPT-4o где-то застрял по дороге, а конкуренты дышат в затылок и норовят обойти на повороте. В итоге на коленке ваяется поделка, которую любой уважающий себя девелопер за пару дней может сделать самостоятельно, и выдается за новое достижение.
Проблемы отрасли никуда не делись - новых качественных данных нет, принципиальных архитектурных прорывов тоже. Можно сказать, что отрасль от этапа бурного развития переходит к перевариванию достигнутого, модели оптимизируются, повышается качество данных, попутно производя много информационного шума и подковерного меряния результатами тестов.
Из положительных моментов можно отметить то, что технология достигла той стадии зрелости, когда на ее основе можно решать прикладные задачи: агентные системы различного назначения, RAG-системы и это действительно очень позитивно. Прежде всего тем, что мы, как цивилизация, начали новый этап автоматизации, теперь уже интеллектуального труда.
Из перспектив - грандиозный проект Stargate. Альтман видимо нашел нужные подходы и для удовлетворения своих амбиций готов переходить к освоению уже не десятков, а сотен миллиардов долларов. Есть ли технологическая база под такой проект? Мне видится, что нет, а вот желание распилить полутриллионный бюджет есть. Что и будет осуществляться в ближайшие 4 года. А там глядишь что-то еще придумают, что можно будет выдать за грандиозный прорыв. А пока прорыв будет у NVIDIA и энергетических компаний, главных бенефициаров. И если AMD решит свои программные проблемы, то может и ей что-то перепадет.
Обещанная технологическая сингулярность никак не наступает. Перефразируя старый анекдот: то энергии не хватает, то данные не подвезли.
Но это все лирика. Если же посмотреть в корень проблемы всех больших языковых моделей, даже не затрагивая архитектурных особенностей, то он прежде всего в том, что модели именно языковые. А что есть язык? Язык - это форма последовательного выражения состояния сознания. По сути - протокол передачи информации. Можно ли понять как работает сложное устройство и воссоздать его, изучая лишь его информационные протоколы сопряжения? Думаю вопрос риторический. Языковая модель обучается лишь на продукте сознания, она не думает, а имитирует мышление, обобщая и копируя паттерны рассуждений из доступных ей данных. Ведь не будем забывать, что искусственная нейронная сеть - это прежде всего великий аппроксиматор и это то, что она делает действительно хорошо.
Мы по прежнему не знаем и не понимаем, как работает наше сознание. Когнитивная психология, несмотря на все ее достижения, только в начале этого длинного и сложного пути. А без понимания работы сознания невозможно создать ни систему подобную ему, ни, тем более, превосходящую его. Сложность биологического нейрона на многие порядки сложнее его искусственного прототипа. И это даже не беря во внимание вопрос о возможных квантовых эффектах в нем, о чем до сих пор нет единого мнения у исследователей.
Все, что делает большая языковая модель - это строит модель всех возможных цепочек рассуждений, доступных ей в выраженной человеком форме. И если мы дадим ей задачу, прототипа которой не существовало и она не обучалась ее решать, то ее ожидает провал. Хотя человек, имея достаточно знаний и информации, ее решит. Потому что человек в своем мозгу строит модель мира, со всеми его проявлениями и свойствами и умеет этой моделью пользоваться.
Резюмируя все вышесказанное: AGI в ближайшее время не будет - расходимся. Будем улучшать и осваивать то, что есть, повышать производительность интеллектуального труда и избавляться от интеллектуальной рутины.
Господа прикладники - ваш выход!
Комментарии (62)
kryvichh
24.01.2025 19:45Нейрон в "мозгу" искусственного разумного существа не обязан копировать нейрон человека. Он может быть проще, но работать на порядки быстрее.
aka352 Автор
24.01.2025 19:45Тогда зачем его было изобретать? У нас уже был транзистор - еще проще и на многие порядки быстрее) я думаю все не так просто, свойство эмерджентности никто не отменял. И биологический нейрон с точки зрения баланса сложности, функционального назначения и условий применения является минимальной достаточной единицей. Иначе бы эволюция давно бы создала что-то проще, но нет.
GardenerX
24.01.2025 19:45Иначе бы эволюция давно бы создала что-то проще, но нет.
Эволюция не смогла создать всего лишь колесо без того чтобы предварительно создать сапиенса, который уже это колесо и изобрел. Так и в этой тематике, массово скупаем китайские сверхъяркие фонарики на WB и идем при солнечном свете искать того сапиенса, который может типа такого "колеса" изобрести в обсуждаемой области.
aka352 Автор
24.01.2025 19:45А может потому, что колесо отнюдь не совершенство творения? Ведь в пару к нему нужно изобретать дорогу. Без дорог колесо далеко не уедет. А дороги еще нужно чистить и ремонтировать. Тут неожиданно подрядчик нарисуется и чиновник, распределяющий контракты на это. И все это будет происходить под дружный хохот братьев наших меньших, которые при помощи примитивных конечностей лезут на деревья, скачут по скалам, роют норы и делают ещё много чего, недоступного "совершенному" колесу)
Nick0las
24.01.2025 19:45Ну например шины низкого давления у вездеходов едут буквально везде. И по дороге, и по лесу, и по болоту, и даже по воде гребут, хоть и не быстро. Природе тяжело создать колесо потому что к любому колесу в комплекте идут подшипники, система смазки и сальники которые скользят но защищают подшипники. А эту систему трудно создать эволюционным путем в отличии от постепенно растущих и меняющихся конечностей.
В любом случае вся биологическая эволюция это нагромождение костылей и оптимизаций. Поэтому биологические системы локально очень оптимальны. Но глобально есть другие оптимумы.
avshkol
24.01.2025 19:45Колесо позволяет передвигаться на максимальные расстояния при минимальных затратах энергии. Животные, вынужденные передвигаться на большие расстояния для поиска пищи на 4 конечностях, тратят энергии чуть меньше, чем получают с этой пищей, поэтому всегда на грани выживания.
vvzvlad
24.01.2025 19:45Животные, вынужденные передвигаться на большие расстояния для поиска пищи на 4 конечностях, тратят энергии чуть меньше, чем получают с этой пищей, поэтому всегда на грани выживания.
А вы думаете, животные на колесах были бы оптимальнее? Нет, их просто было бы больше. “На грани выживания” это просто означает эффективное использование кормовой базы.
aka352 Автор
24.01.2025 19:45Но, заметьте, в развитии робототехники более прогрессивными и совершенными являются системы, передвигающиеся на конечностях, а не на колесах. ) И именно ими мы восхищаемся куда больше, чем их колесными или гусеничными "собратьями"
Moog_Prodigy
24.01.2025 19:45Прогрессивными и совершенными мы их видим потому, что для управления конечностями нужны выч. ресурсы и хитрое ПО. Это появилось относительно недавно, поэтому мы и видим этих роботов как нечто новое и совершенное, человеку свойственно восхищаться новинками. И у этого подхода конечно есть свои плюсы, собственно ради них и разрабатываются все эти бегающие роботы.
Однако смею заметить - самолеты не машут крыльями как птицы. И при всех недостатках колеса колесный транспорт - самый распространенный в мире, и будет таковым оставаться и далее. Даже в том случае, если у каждого человека будет возможность создать\приобрести нечто ходящее или бегающее на конечностях (тут аналогия с коптерами). Шагающий велосипед - штука забавная, но не более того, шагающие экскаваторы и без вот этих всех наворотов многие десятилетия назад сделали, а вот шагающих поездов не появится в принципе.
wr0
24.01.2025 19:45Самолёты - да, крыльями не машут.
Хотя-бы потому, что реализовать технически машущее крыло гораздо сложнее получается, чем то-же неподвижное крыло.
Но пропеллер вертолёта - это и есть вращающееся крыло, что создаёт подъёмную силу.
Да, эта сила (итоговая) очень сильно зависит от плотности газовой среды (почему с созданием роботов-вертолётов для Марса - есть сложности).
aleex
24.01.2025 19:45Посмотрите китайских робопсов, у которых колеса на конечностях. Очень интересный и перспективный гибрид
Kojimeister
24.01.2025 19:45Может быть потому, что эволюция постоянно прогрессирует? Можно ли считать, что полет человека в космос это прогресс эволюции? Полагать, что все самое лучшее - это то, что давно было придумано природой, это ошибка, ведь эволюция определяется средой, а в нынешнее время человек адаптирует среду под себя, ставя новые проблемы, предлагая решения, которые для естественной среды не эффективны. Как минимум потому, что нейросеть может знать такой объем информации, который ни один человек не осилит за всю жизнь.
wr0
24.01.2025 19:45Только, пока-что, LLM не генерит научных статей. Они изначально заточены под создание предложений, что весьма походят на предложения, имевшиеся в обучающей выборке. А чтобы создать нечто новое, надо научиться моделировать. Да, строго говоря, той-же комбинаторикой - можно получить грамотно построенные предложения. Другой вопрос - каков будет выход годных (предложений).
SEN7759
24.01.2025 19:45Дело сложнее. Тексты в больших объёмах содержат данные отраженного мира и могут считаться частичными моделями для некоторых явлений. Анализ таких данных теоретически должен позволять получить важную информацию о некоторых явлениях. Например, рассуждение из смежной темы: личность Шекспира, похоже, установлена несколько лет назад.Тексты (в том числе и письма) гипотетических Шекспиров оцифрованы и их можно сравнить (используя различные метрики, вычислив некоторые инварианты, особенности и т.д.) и установить принадлежность конкретному автору. Так вот, мы можем обнаружить с помощью нейросетки необходимые нам инварианты для конкретных явлений и, следовательно, глубже познать их.
aka352 Автор
24.01.2025 19:45Поставим вопрос по другому. Можно ли превзойти Шекспира, изучая только тексты Шекспира?
Hardcoin
24.01.2025 19:45Интересно, то что вы не верите в скорый AGI, это оптимизм или пессимизм?
Шекспир один, а авторов текстов миллионы. Что вы будете есть, если нужны будут только "Шекспиры" в любой области, так как все по-проще делают нейросетевые агенты? Уверены, что гениальность в значимой области у вас есть? А что насчёт конкурентов? У всех соседей или прохожих есть гениальность? Или стоит обсудить задачи не только уровня Шекспира?
aka352 Автор
24.01.2025 19:45Уверен, что во времена промышленной революции многие тоже задавались этим вопросом, когда станки заменяли ручной труд ремесленника. Да, сам процесс перехода был болезненным для многих, поскольку ломал привычный уклад их жизни, делал ненужной их профессию. Но люди привыкли, адаптировались и стали заниматься более "высокоуровневыми" задачами. Здесь тоже самое. В более сжатом виде вы можете посмотреть это на примере эволюции программирования, когда от уровня машинных кодов перешли к ассемблеру, потом появились высокоуровневые языки, объекты, библиотеки и сейчас мы становимся свидетелями перехода к lowcode и nocode системам программирования. И на каждом таком переходе ломались копья с обеих сторон, звучала критика, но прогресс шел, в том числе и благодаря этому противостоянию. Я думаю через несколько лет мы увидим совершенно новый уровень программирования. То, что раньше делалось отделом разработчиков, будет делать один за тоже время. Станет ли меньше задач? Думаю что нет, их станет даже больше и они будут другими. Кто-то адаптируется быстро к новым принципам, кто-то консервативно будет критиковать новые подходы, но это неизбежность.
arielf
24.01.2025 19:45Я думаю через несколько лет мы увидим совершенно новый уровень программирования.
Конечно! Такого низкого уровня макак ещё не было!
Вот возьмём мобильную разработку. Программы из трёх кнопок с браузером внутри по 200 - 400 MB!
SEN7759
24.01.2025 19:45Закономерности найти можно и что-то свое написать... Кроме того, сейчас начали анализировать видео (т.е. изучать то, что "видел Шекспир"). А если учесть поступающие данные от роботов, автомобилей, беспилотников? А если прикрутить https://www.wolframalpha.com/ или аналоги (попытки есть)?
aka352 Автор
24.01.2025 19:45Можно прикручивать бесконечно источники данных, но это не решает системных проблем - ограниченная способность к выстраиванию системы знаний, абстрагирования и манипулирования ими. Любая нестандартная задача, не имеющая прототипов в опыте нашей цивилизации ставит LLM в тупик. Но это их архитектурная проблема, которую частично пытаются решить "костылями" в виде "думающих" моделей, но фактически это не сильно помогает. Пока не будет радикально новой архитектуры (и скорее всего не на базе существующих искусственных НС), значительного прогресса мы не увидим.
SEN7759
24.01.2025 19:45Прогресс трудно не заметить: сейчас на подходе O3 (решение олимпиадных задач); задача о сворачивании белков в глобулы; придумали способы ускорения обучения роботов (а это куча обратных связей); обработка видео и создание видеороликов; создание музыкальных произведений; подключение интегрированных сред типа Wolfram Mathematica; доказательство сотен теорем и нахождение десятков новых...
aka352 Автор
24.01.2025 19:45Вы знаете, когда я слушаю шедевр вроде Nothing Else Matters (можете поставить тут свой пример), где каждая нота проникает в душу, выворачивает ее наизнанку, и заставляет гордиться тем, что это создано человеком, я понимаю, что мы пока не превзошли себя. Да, есть прогресс, я этого не отрицаю и никто не отрицает. Исследователи делают очень большую работу, каждый день, это непростой труд и я верю, что однажды... но пока, нет. Не стоит наделять то, что достигнуто, тем, чем оно не является. Переоценка очень опасна завышенными ожиданиями и разочарованием, а разочарование сменится отрицанием и неприятием. Этого не должно произойти. Нужно смотреть трезво и рационально, видеть недостатки и пути к дальнейшему развитию. Это общее дело всего человечества. И мне не нравится, когда кто-то вроде OpenAI (вот ведь насмешка: Open), делает это закрытым и инструментом для избранных. История свидетельствует, что "избранность" плохо заканчивается.
SEN7759
24.01.2025 19:45В закрытость играют на некотором уровне все...это легко предусматривалось, поскольку все связано с военными разработками.. и передовыми технологиями. Кластеризацию стран по отношению к Agi также легко вывести. А если философски, то тайны будут и при коммунизме, поскольку мир сложный, а цена ошибок растёт с глубиной знания (детям не дают знание о ядах и не дают порулить самолётом, ядерным реактором...). Наверное, принцип такой: Поиск, накопление, хранение истин осуществляются людьми, достигшими определенного уровня развития, а передача истин данного уровня осуществляется тем, чей уровень уже достаточен для их использования во благо. С первым принципом согласуются: наличие и охрана тайн (тайны будут всегда, поскольку мир сложный, а цена ошибок растет с глубиной знаний), порядок доступа к ним в зависимости от уровня развития и специализации; наказания за преднамеренное искажение истин, ограничения, связанные с возможностью распространения искаженной информации.
wr0
24.01.2025 19:45Насчёт решения олимпиадных задач:
это элементарно решается более глубокими знаниями (у решающего).
Сворачивание белков в глобулы:
опять-же, это - нахождение локальных минимумов на n-мерной поверхности потенциальной энергии.
Методы расчёта есть разные (полуэмпирические и неэмпирические, ab initio). Самое значимое их различие (разных методов) - это разные требуемые вычислительные ресурсы, необходимые для достаточно точного просчёта энергии конкретного конформера (вращательного изомера).
Ускорение обучения: это, своего рода, оптимизация. Только оптимизация - тоже бывает разной.
vvzvlad
24.01.2025 19:45Можно ли превзойти Шекспира, изучая только тексты Шекспира?
“Шекспир" это понятие, которое можно рассматривать только в контексте культуры. Шекспир — это не критерий мастерства, это критерий признания, как черный квадрат малевича.
Ну, т.е. причина известности энштейна — придуманные им теории, которые описывают мир гораздо лучше других. Тут все просто. Сможет ии сделать подобное — значит как минимум она равна энштейну.
Приична известности спортсменов — это то, что находясь в ограничениях человеческого тела, они смогли показать результат лучше всех. Рассматривать ии тут смысла нет, потому что несложно сделать машину, которая будет лучше человека в каком-нибудь аспекте, типа дальности движения, скорости, высоте прыжка или точности стрельбы.
Можно ли создать второго ии-шекспира и второго ии-малевича? Нет, их место занято ими самими. Может ли ИИ написать текст, который займет через сто лет в умах людей место, подобное ромео и джульетте? Не вижу принципиальных проблем.
arheops
24.01.2025 19:45Безотносительно к тупику моделей.
Главные пробелемы обозначенные в статье является проблемами буквально любого подхода к ИИ, включая наш мозг. Он тоже дороговат. И дефицит качественных обучающих курсов прослеживается.
vknvknvkn
24.01.2025 19:45Самосознание, то бишь осознание своего собственного Я невозможно без понимания понятия Он искусственным интеллектом. А это значит нам нужна группа ИИ. Когнитивные функции, или как ещё говорят духовные качества, это завуалированные модели поведения особи в группе.
grumbler70
24.01.2025 19:45Звучит пугающе. На каком-то этапе есть вероятность появления религии у сообщества ИИ .. Со всеми вытекающими.
Nick0las
24.01.2025 19:45Спасибо было интересно. Но на мой взгляд вы зря путаете сознание и интеллект. С моей точки зрения сознание это умение осознавать себя. Понимать что вот он я а вот он мир вокруг, ну и так далее: вот существа моего вида, вот убежище, вот еда, вот враги... Сознание - важная функция мозга как системы управления животным. А интеллект это свойство решать нестандартные задачи нестандартными методами. Как на уровне расуждений, так и на уровне манипуляции конечностями. Возникает у некотрых животных, в том числе у человека. На мой взгляд интеллект, в частности AGI возможен без сознания вовсе. Просто в природе он возникает сильно после сознания.
А что касается LLM - это видимо важный шаг для работы с малоструктурированными данными понятными человеку, а именно текстами. Но для создания AGI в архитектуре чего-то не хватает. Это видно по самому дефициту данных. Человек может научиться писать хорошие тексты изучив лишь малую часть того что написало человечество. В том числе и потому что умеет извлекать обобщенные практики из текстов. А LLM на данном этапе это не особо умеют. Чего-то не так в архитектуре. Например законы арифметики легко умещаются в небольшой книге и человек ее осваивает решив несколько тысяч задач. А LLM не хватает всех учебников мира чтобы научиться считать нативно не привлекая внешний интерфейс к "калькулятору". Грубо говоря она читает, воспроизводит, но не понимает прочитанного, как бездельник-троечник.
GardenerX
24.01.2025 19:45Не знаю кто стоит за этим изданием, но как по мне, им стоит подумать, чтобы комментарии такого уровня появлялись не совсем публично, кто его знает какие боты лазают по комментариям и какие выводы делают своими нейросетевыми мозгами.
aka352 Автор
24.01.2025 19:45Спасибо за содержательный комментарий! Я ни в коем случае не путаю эти понятия. Интеллект - это инструмент, а сознание субъективное восприятие мира, позволяющее взаимодействовать, оценивать результат и принимать решения. Без сознания интеллект бесполезен, как молоток, лежащий на полке, поскольку лишен мотивации и системы оценки.
Для создания AGI в архитектуре ИИ как раз не хватает сознания.
Человеческое обучение более эффективно прежде всего тем, что всю поступающую информацию он пропускает через призму своего восприятия, сознания, формируя оценки и мировоззрение. Языковые модели этого не могут делать - они принимают всю информацию как есть и просто ее усредняют по весам модели. Поэтому у них нет своего мнения ни по какому вопросу и отсутствует мировоззрение как таковое. Точнее у них есть любое мнение, которое вы захотите слышать, она с радостью (хотя это странный эпитет по отношению к LLM )) ) вам его озвучит и убедительно обоснует. Если заметили, они вообще склонны принимать точку зрения вопрошающего и говорить то, что человек хочет слышать, а не то, что нужно. Но так уж устроена архитектура внимания.Без сознания, без внутренней системы оценок, невозможна никакая интуиция, а значит невозможно исследование нового. В целом это отдельная тема, больше на стыке философии и когнитивной психологии, об этом много споров и мнений у исследователей. Но в чем я не сомневаюсь, так это в том, что они в итоге доберутся до истины, а вот существующие LLM - никогда.
Nick0las
24.01.2025 19:45Возможно мы по разному воспринимаем эти понятия возможно это мое конгитивное искажение, но я бы сказал что интеллект это инструмент который решает задачи а сознание это некий бесконечный цикл который постоянно использует интеллект и грузит его задачами, и не только его. Сознание нужно живым организмам чтобы поддерживать жизнедеятельность. В этом плане интеллект (искуственный) может обрабатывать информацию и дообучаться по запросу. И некая модель мира у него внутри будет. Еще и с историей какие логические связи откуда взялись чем подтверждены и чему противоречат. И он сможет решать задачи, проектировать механизмы, возможно даже что-то производить подконтрольных производственных линиях. Несли вопросов не задавать и задач не ставить он будет бездействовать а не думать о смысле жизни или играть в игры. И вопросы типа кто он, и зачем он существует и какая у него цель в жизни он ставить никогда не будет просто потому что это не предусмотрено конструкцией.
vvzvlad
24.01.2025 19:45Поэтому у них нет своего мнения ни по какому вопросу и отсутствует мировоззрение как таковое.
Это и довольно большой минус человеков. Когда у человека есть непрошибаемое мнение, то он не может мыслить вне его рамок
Hardcoin
24.01.2025 19:45Хотя человек, имея достаточно знаний и информации, ее решит.
Решите задачу термояда, голода и AGI, пожалуйста.
aka352 Автор
24.01.2025 19:45А разве не этими задачами сейчас мы и занимаемся? ) Запаситесь терпением, все будет в свое время.
wr0
24.01.2025 19:45Термояд с положительным выходом уже создан, как читал, в декабре 2024г. об этом сообщала группа исследователей из одного из американских университетов.
Теперь у них есть следующая задача: повышение этого выхода до больших значений (а пока - это единицы процентов).
omikad
24.01.2025 19:45Господа прикладники - ваш выход!
В прикладном смысле оказалось что не нужно понимать что такое сознание, и соответственно оказалось не нужным искать его определение. Алгоритмы работают: картинки классифицируются, задачки спортивного программирования решаются, сгенерированный текст предпочитается оценщиками чаще. "Без понимания работы сознания невозможно..." - сомнительное утверждение, потому что по факту оказывается возможно и задачи решаются одна за другой.
Язык, вы пишете, это протокол передачи информации. В ллм важно другое, в ллм язык это способ моделирования мира. Ллм предполагает возможные продолжения текста и выбирает то что улучшает метрику. Это срабатывает как запрос к модели мира и поиск таких последовательностей которые улучшают метрику.
Даже если согласиться с тем что ллм ограничены человеческим стилем мышления потому что на нем они натренированы, то они смогут превзойти человека за счет масштабирования. Вы не можете иметь голову в 2 раза больше, а ллм может и в 2 и 2e20 раз больше. Такой план: научиться на текстах людей -> машстабировать -> спросить ИИ как сделать ИИ лучше -> повторить.
aka352 Автор
24.01.2025 19:45Для того, чтобы превзойти человека по определенным метрикам не обязательно даже изобретать ЛЛМ. Обычный компьютер, может многое, что недоступно человеку - быстрее считает, быстрее реагирует, быстрее и точнее выполняет многие функции. Собственно в этом его задача и состоит - упрощать, ускорять, улучшать. ЛЛМ в данном ряду просто продолжение задач автоматизации, просто более высокого уровня. Это и есть прикладной уровень. Проблема в том, что ЛЛМ даже со всеми знаниями человечества не может открыть новых законов физики, математики или химии. На той самой грани, где пузырь нашей реальности соприкасается с неизведанным - они бессильны. Внутри этого пузыря они могут многое, но проникнуть за грань пока неспособны. В этом и задача их на данном этапе - освободить человеческие ресурсы внутри, взяв на себя интеллектуальную рутину, чтобы больше людей могли заниматься фундаментальными вопросами.
omikad
24.01.2025 19:45Погуглите например "llm rediscover laws of physics" и да, находятся работы типа https://arxiv.org/abs/2202.02306 - МЛ переоткрыл законы гравитации. Там есть и другие интересные работы где всякие старые законы успешно переоткрываются.
Да, сейчас люди в этих работах предподготавливают данные или создают символические языки, и мл в пассивном режиме находят решения. Активный ИИ в виде агентов еще только начинает создаваться, но понятно что он будет строить гипотезы, ставить эксперименты, и выполнять всю работу ученого. Какие у вас концептуальные возражения кроме "не может", "невозможно", "неспособны"?
Попробуйте дайте определение "неизведанного". Например в шахматах бот учится играть с нуля и для него любая шахматная идея это неизведанное. Бот учится водить машину - начинает со случайного блуждания и для него все неизведанное, вероятно внутри себя нейроны переоткрывают концепции скорости, инерции, вращения итп - потому что эти высокоуровневые концепции сильно уменьшают требования к запоминанию данных.
aka352 Автор
24.01.2025 19:45Да, я давно читал это исследование, но во-первых, "открытие" сделала не ЛЛМ (а сейчас речь больше о них), а просто нейросетевая модель. Во-вторых, в нее загрузили данные о движении тел в Солнечной системе за 30 лет. И если бы она не аппроксимировала эти данные в закон тяготения, то я бы очень сильно удивился. Причем больше криворукости программистов, которые не смогли достичь нужного результата, имея такой инструмент и такой набор данных. Подобных "открытий" достаточно много, но все они хорошо ложатся в канву аппроксимации большого набора исходных данных, в которых человеку пришлось бы разбираться достаточно долго, вследствие ограниченности пропускной способности интерфейса взаимодействия с внешним миром, но в итоге разобрался бы. Это как раз тот самый случай автоматизации интеллектуальной рутины - нужное и полезное направление. Другой вопрос в том, что было бы, если модели дали данные на уровне их доступности во времена Ньютона. Думаю результат был бы не столь впечатляющим.
Да, если говорить о генетических алгоритмах, то у них есть определенные перспективы и прежде всего встроенная система оценки, которая случайные блуждания превращает в направленное движение. Это та самая функция, которой так не хватает LLM. Но проблема в том, что генетический алгоритм по сути достаточно прост и работает в пространстве достаточно ограниченной мерности. Масштабировать его до масштабов LLM та еще задача. Да и нужно ли? Вычислительные мощности для такой системы нужны просто чудовищные. Хотя может именно поэтому Альтман собрался осваивать полтриллиона долларов? ) Подождем 4 года.
Mox
24.01.2025 19:45А почему не может? Есть какие-то фундаментальные ограничения? Пока просто все ограничивают reasoning по длительности, но вполне возможно что и ИИ в ближайшие пару лет сможет создавать новые теории и придумывать эксперименты для их подтверждения/опровержения.
Пока ведь смоделировали только рассуждения, еще не сделали внутренний диалог и внутреннего критика )aka352 Автор
24.01.2025 19:45Для этого необходимо выдвинуть гипотезу о том, что человечеству неизвестно. Для LLM это потенциальный барьер, если хотите. Ни одного примера подобного я не встречал. А если бы такой был, это было бы главной новостью. А то, что подобные попытки были, я более чем уверен, потому как сам пытался добиться чего-то подобного, но увы... на выходе только перекомпиляция того, что уже известно. И это при том, что по факту, в большие LLM загружена вся доступная научная информация.
Mox
24.01.2025 19:45Ну смотрите - все таки задачи - необходимость каких-то теорий - ставит человек. Например - гипотеза о том, что такое темная материя и как ее определить.
Как это обычно происходит - человек, размышляя об этом, предложит некоторое объяснение темной материи и скажет "если это так - то на ускорителе в таком то районе энергий должна быть частица" (Пример от балды)
Я вполне допускаю что в ближайшие годы LLM можно будет запустить на такие рассуждения круглосуточно, да еще и вручить ей Wolfram Alpha и она предложит гипотезу и методы ее проверки и следствия из гипотезы.
Просто ведь нет никаких абстрактных открытый, это все решения задач/проблем или попытки что-то объяснить, из которых получаются интересные следствия.
Я тут на днях беседовал с LLM про темную энергию, очень познавательно получилось - мне объяснили почему это не может быть формой излучения черных дыр, которое не взаимодействует с нашей материей чтобы ничего не нарушать из существующих законов.
avshkol
24.01.2025 19:45Более-менее нормальным LLM пока всего 3 года, а мы уже хотим решения всех и вся задач. Понемногу они возьмут на себя огромное количество задач, но и большинству профессиональных специалистов придётся перестроить свою работу, отведя значительную часть времени на управление такими моделями: раздачу заданий, и проверку их выполнения.
SemyonVyatskov
24.01.2025 19:45Какое большое количество тегов у вашей публикации: ии, ai, agi, llm, llm-модели. А в комментариях ещё больше аналогов: имитация неокортекса, мозга человека в целом, нейронов. Но в данном вопросе не стоит дилеммы по типу "курица и яйцо", потому что решаемые задачи первичны, инструменты вторичны. Для существующих задач иногда даже перцептрона хватает, а это вообще математика. Лишь бы усидчивости хватило, чтобы решить текущую задачу, а потом переходить к следующей.
Если ваш невысказанный вопрос заключается в том, куда вкладываться глобально, а не эпизодически, то я лично считаю наиболее перспективной упрощенную модель человеческого мозга в целом, то есть не ограничиваясь языком. Подчеркну, что без мозгов в банке, именно модель и именно упрощенная.
proxy3d
24.01.2025 19:45Вы правильно написали, llm это ПОСЛЕДОВАТЕЛЬНАЯ модель. Так как информация формирует последовательный граф со связями (речь разделенная паузами). Но например зрение это пространственная модель, которая позволяет связывать последовательные цепочки между собой. LLM частично реализовала последовательную модель, но не способна связывать две последовательные модели, чтобы находить закономерности. Поэтому llm не может связать закономерности в химии с закономерностями в физике. Или даже в рамках программирования. Поэтому ограничения LLM, это архитектурные ограничения. Объем данных, какие то дополнения - принципиально проблемы не исправят.
Здесь надо сочетание как последовательной модели llm, так и связь с пространственной моделью. И нет, это не решит проблему AGI, но без этого шага llm на новый уровень возможности не перейдет.
Но кое что в llm сейчас мелькает в плане прогресса, это разделение механизма внимания на длинные и короткие маршруты. Как это делает лобная доля (тот же механизм внимания, только больше), переключаясь между локальными и глобальными маршрутами. Локальные в пределах одной зоны мозга (например для речи это в основном эмоциональные фразы), и глобальные которые длинные и могут проходить через несколько зон мозга. Но это пока в зародыше у llm, и лишь позволит снизить ресурсы и ускорить, но принципиально проблему не решит.
WASD1
24.01.2025 19:45Грубо есть 3 варианта:
1. на текущей "базе" (*) выжать из моделей ещё что-то дополнительно не удастся.
2. на текущей "базе" удастся добиться качественного скачка (**)
3. будет какой-то дополнительный фундаментальный (сравнимый скажем с аттеншном) прорыв в построении нейросетей.
Какой из вариантов 1-3 выбирать - собственно вопрос веры и каких-либо содержательных аргументов в любую сторону я не видел.
*) С момента открытия механизма Attention ( https://arxiv.org/abs/1706.03762 ) прошло 7 лет и х30 капитализации nVidia. И уже на этой базе модели "почти думают".**) Очевидно, что сейчас поле нейросетей находится на стадии "застолбить поляну", т.е. показать результаты любой ценой. А за efficiency (скажем за напрашивающийся прунинг аттеншна) - ещё толком и не принимались.
GardenerX
Вас слушают, не нравится концепция LLM - предлагайте свою.
aka352 Автор
В статье полугодовой давности я предлагал один из альтернативных подходов, над которым работаю. Но пока это больше концепция, чем модель. Я уверен, что многие, как и я, ищут альтернативные подходы и верю, что однажды найдут и кто-то опубликует статью, которая ляжет в основу настоящего AGI. По другому просто не может быть, ведь для нас нет ничего невозможного, особенно когда мы работаем вместе и ради великой цели.
GardenerX
А если товарищи из поднебесной найдут первыми, думаете опубликуют, или попытаются без лишнего шума ускакать вперед за горизонт?
aka352 Автор
Знаете, можно было бы предположить такой вариант, но меня не оставляет ощущение некоего глобального баланса в мире. Многие значимые изобретения делались разными людьми независимо друг от друга примерно в одно и тоже время.
acsent1
Скорее кто-то может пересказать суть идеи, и тогда уже ее проработка - это лишь вопрос времени. Собственно поэтому и в одно время и рождались изобратения. Тк суть его уже была известна, оставалась только реализация
wr0
Так наука развивается во многом благодаря тому, что ею заняты разные люди.
И благодаря тому, что имеет место обмен знаниями и данными,
методиками обработки этих данных.
Почему мне кажется тупиковым вариант "ускакать вперед за горизонт".
malyazin_2010
Альтернативу LLM предложили Ян Лекун и Фей-Фей Ли: Концепция пространственного ИИ https://habr.com/ru/articles/862770/
Ян Лекун призвал разработчиков не тратить время на LLM: https://hightech.plus/2024/05/24/yan-lekun-prizval-razrabotchikov-ne-tratit-vremya-na-byam