Демо выразительной мощи математики. Эта наука предлагает экстремально компактный способ для представления мыслей. И картинка это подтверждает: всего в двух абзацах определена вся суть аристотелевской логики (силлогистики, Ὄργανον), которая в оригинале занимает несколько книг. Формальная логика развилась к эпохе ЭВМ настолько, что стала основой одних из первых систем ИИ, в первую очередь экспертных систем и баз знаний.
Случился даже бум интереса, хайп, похожий на то, что мы наблюдаем в области ИИ сегодня. А Япония даже разработала в 80-х целую государственную программу развития компьютеров 5-го поколения на основе ИИ. Всем казалось, что вот‑вот ещё чуть‑чуть и компьютеры чуть ли не научатся думать.
Но реальность разочаровала.
Тем не менее эти системы ведь действительно обладают интеллектом, тем интеллектом, который в них заложен базой знаний (БЗ). И всё ограничивается размером и сложностью этой БЗ и вычислительной мощностью. Продвинутые экспертные системы активно и стабильно используются в современной промышленности. И их индустрия медленно, но неустанно развивается вот уже десятилетия. Без особых, правда, прорывов.
По‑моему, IBM‑ский Watson, победивший в своё время в Jeopardy! (аналоге «Своей игры») в США, во многом построен на использовании БЗ и экспертных систем. То есть эти системы могут как‑то рассуждать.
Совсем другое дело современный тренд развития ИИ, ориентирующийся на обучаемые нейросетки, в первую очередь, LLM. Нейросетки удивительным образом могут схватывать кучу паттернов в текстах, речи, живописи, даже видео, химических формулах и других медиа. Они могут по этим паттернам генерировать нечто настолько похожее на реальность, что часто не отличишь. Но эти системы не учитывают смысл, потому что не видят его, поэтому часто генерируют бред, похожий на правду.
Вся их работа основана на повторении прочитанного/увиденного/воспринятого с некоторыми переработками. Сами переработки также основаны на воспринятом материале — существующих паттернах. Они не способны сгенерировать нечто интеллектуально новое, некую инновацию.
Если нейросети в обучающей выборке попалось несколько десятков однотипных школьных сочинений на заданную тему, то она вполне сносно сгенерирует похожее школьное сочинение. Но она совершенно точно не напишет кандидатскую диссертацию и вообще что‑либо принципиально новое.
Более того, опасность нейросетей в том, что они при этом не говорят, что не могут что‑то создать, потому что такого стоп‑механизма в них в принципе не заложено. Вместо этого они генерируют то, что получается, зачастую просто бред, и никак это не контролируют.
На мой взгляд, совмещение традиционного подхода формальной логики с нейросетями может действительно сделать вторые полезными и безопасными. То есть пусть нейросеть генерит свой вывод — назовём его произвольный шаблонный бред — но при этом следующим этапом делает семантический анализ этого бреда, с проверкой его хотя бы логичности. В случае успеха пусть продолжает генерацию следующей порции, насколько у неё хватает окна контекста. Основная сложность здесь как раз в том, что по‑моему, анализ и даже представление семантики так и не развили до полноценного уровня, т. е. не умеют в семантику. Хотя ведь системы машинного перевода как‑то работали до внедрения нейросетей, и вполне сносно. Представление семантики, заложенное в обученной нейросетке, не поможет, ведь не может же нейросеть проверять свои смыслы самой же собой, да и не понятно, есть ли вообще в ней такое представление.
Ну и напоследок система уровней интерпретации текста/смысла, как я их запомнил из книжки, прочитанной когда‑то в далёком детстве:
Фонетика
Морфология
Лексика
Синтаксис
Семантика
Надсемантический уровень, не помню как его называли, может быть, что‑то типа «Метаязыка», или, ближе, литературный смысл (то, что обычно называют «основная идея произведения»). Возможно Прагматика или Семиотика.
Надсемантический уровень не то что машинам недоступен, он даже многим людям часто недоступен. К тому же это макроуровень, его наверняка можно разделить на большее число слоёв.
И добавим мнение не последнего человека в ИТ‑индустрии на актуальную тему.
Комментарии (21)
krote
21.09.2024 21:40Вы только упустили что ведь и человек часто "генерирует бред похожий на реальность".
Анука посадите программиста не за IDE а лист бумаги и пусть пишет ручкой строку за строкой без возможности исправления. Много "реальности" он сгенерирует за один проход? Точно больше современных ИИ? Справочники и интернет тоже ему не давайте, пусть руководствуется памятью своей ненадежной нейронки. Тут вы увидите что все довольно похоже - и методы несуществующие или не так называющиеся будет придумывать и ошибки глупые и тому подобное.
Так это человек который годами тренировлся, а что говорить о "бреде" генерируемом рядовыми людьми? Вы спросите географию, там и столицы перепутаются и остова переедут в другие полушария и много всякого чудного и дивного.
DustCn
21.09.2024 21:40Есть разница между угадать, как делают LLM и моделированием перед написанием, как делает человек.
krote
21.09.2024 21:40а разве у нейросети нет "моделирования", если она и есть суть модель внешнего мира, который представлен для нее обучаемыми данными?
По мне так различия количественные и архитектурные, но не принципиальные. Это когда "экспертные системы" представляли собой наборы правил и эвристик - различия с тем что происходит у человека в нейронах были принципиальные. А теперь на настолько уже.
mahairod Автор
21.09.2024 21:40Так различия как раз в том, о чём я писал: у нейронки нет логики, она работает на статистике. Не логика, а вероятность. У человека логика есть, он умеет размышлять (reasoning)
krote
21.09.2024 21:40а что такое это размышление как не поток генерации который гонит также и нейронка (уже научились это делать в "о1") и дальше этот процесс будет улучшаться. Уже сейчас заставив нейронку прокрутить диалоги (считай заставив "подумать") можно получить более точные результаты. Чем это принципиально отличается от того как это делаете вы?
mahairod Автор
21.09.2024 21:40Очевидно, нет. Логика - это не поток (сознания или чего-то ещё). Логика - это чётко структурированные выводы. Я для этого даже картинку привёл. Посмотрите, там всего 2 абзаца.
На самом деле, я пока так не делаю. У меня приложение на другом движке сделано, более древнем - диалинговском.
mahairod Автор
21.09.2024 21:40Не знаю, не знаю. Обычный человек если чего-то не может написать или сказать - он этого и не говорит. Он просто честно скажет - "да не знаю я! чё энциклопедию нашёл? погугли"
А если ситуация тикая, что прям надо что-то выдавить из себя - например школьное сочинение - то всё равно более-менее правдивое что-то будет сочинять. В большинстве крайних случаев просто спишет. Но не будет генерить бред.Дело ещё и в том, что ЛЛМ на современном этапе, даже имея доступ к интернету, не сможет в нем найти верную информацию и правильно её интерпретировать, если её не было в изначальной обучающей выборке.
krote
21.09.2024 21:40То есть вы признаете что если у человека отнять волю "не делать", то он и выдаст бред. Так с чем же вы не согласны?
"спишет, скажет" - это же так себе вариант возражения) а большинство людей кстати я уверен что будут пробовать, если им кажется что они примерно помнят. Несколько раз попробуют скажем угадать имя метода, а потом уже гуглить начинают, так как это часто дольше.
А бывает многие люди со знающим видом дают "экспертные мнения" в области в которых они не эксперты но им так кажется. Вы таких людей не встречали?
А про эффект Манделлы вы слышали?
mahairod Автор
21.09.2024 21:40Если нельзя не делать - то сделает отписку, но не бред. Она может быть ошибочной, даже фантазией на тему, но в ней будет осмысленное содержимое. Вранье должно быть убедительно, и это прекрасно знают все, кто врёт.
Нейросети будут убедительны только по форме, не по содержанию. Это как раз потому, что человек может оперировать на уровне семантики и выше, нейросеть - надёжно только на уровне синтаксиса и статистических закономерностей.
Опять же вы говорите "имя метода" - это слово, уровень морфологии-лексики, это детали. Человек мыслит не только слово, но и его конкретное значение И значение в данном контексте и глобальное значение понятия/явления. Может быть у других не так, но я представляю себе не набор букв, а что делает и для чего метод, имя которого я пытаюсь вспомнить. В конце концов, иногда можно будет даже написать метод заново исходя из его смысла, с другим именем.
У людей есть какое-то общее представление об устройстве мира и разных вещей, если не считать младенцев. Чем старше - тем больше опыт и желания судить обо всём на свете. Да, мнения часто даются не специалистами, но плохо это только тогда, когда оно преподносится как экспертное. А личное мнение может (и считаю, должен) иметь каждый.
Про эффект Манделы может и слышал, но не помню, расскажите, если не сложно и имеет отношение к теме.
krote
21.09.2024 21:40Так это ж все впереди, вы судите о технологии по ее зачаточному состоянию. Нет ничего там волшебного.
Эффект Манделлы это рпо то что память человека мутирует, под воздействием новых фактов и может нечто что человек раньше помнил как истину изменить и он не поймет этого - будет думать что так он всегда и помнил. Для него это удивительный эффект, как будто изменилось прошлое. Этот же эффект есть и у нейросетей) И там и там емкость нейронки ограничена и новые обучающие данные постоянно интерферируют со всем что уже есть. Эффект "замылился глаз" тоже близкий к этому, но по сути в кратковременной памяти.
mahairod Автор
21.09.2024 21:40Про неточности в деталях - это вполне может быть. Потому что всё-таки человек, а не машина. Как раз в этом машины не уличить - конкретные факты, если они есть в БЗ, она выдаёт точно. И в шахматы играет лучше.
Зато человек именно в плане логики не будет городить бессмысленную хрень, даже если ошибётся фактически. Он сделает более-менее корректный вывод из неверных фактов.
qw1
21.09.2024 21:40Анука посадите программиста не за IDE а лист бумаги и пусть пишет ручкой строку за строкой без возможности исправления
То есть, вы критикуете принцип последовательной генерации, который используется в LLM. И в качестве аргумента приводите пример, что если человека заставить выполнять этот принцип, то будет только хуже.
А общий тон сообщения, как будто наоборот, защищаете LLM. Ничего не понятно.
krote
21.09.2024 21:40Я критикую саму идею ругать нейросети за то что они еще не дотянулись до человеческого интеллекта.
rinace
21.09.2024 21:40Теме "искусственный интеллект", почти столько же лет , сколько компьютерам .
На моей памяти с 80-х годов , лично уже читал статьи доступные.
Был даже(а может быть и сейчас есть) язык программирования LISP. Который позиционировался как язык разработки искусственного интеллекта.
И также было ожидание - ну вот еще чуть , чуть , еще немного и фундаментальная философская проблема человеческой цивилизации будет решена и человек окончательно сможеть считать себя Богом .
Но , пока , как видно - не сложилось.... Ну, по крайней мере умной колонке "Алисе", до прохождения теста Тьюринга , как до Китая .
Asterris
21.09.2024 21:40+1О какой именно формальной логике идёт речь?
Аристотелевская логика давным-давно несостоятельна, что доказано теоремой Гёделя.
В какой логике вы предлагаете рассматривать ИИ? В логике Цермело-Френкеля? Неймана-Бернайса? С аксиомой выбора или без?
mahairod Автор
21.09.2024 21:40Я не углубляюсь столь глубоко в дебри математики. Думаю, что прикладной математики в виде чего-то наподобие Пролога вполне хватит. Сильно сомневаюсь, что система аксиом как-то сильно повлияет на приложение логики в данном случае.
Я же здесь привёл аристотелевскую логику как предшественника матлогики (любой версии), чтобы показать мощь и выразительность языка.
Grikhan
21.09.2024 21:40+1Если, по-вашему рассуждению, теоремЫ Гёделя о неполноте (об ограничениях) арифметики делают несостоятельной логику Аристотеля, то по тем же теоремам Гёделя "несостоятельны" вообще любые ограниченные системы, включая вас.
Asterris
21.09.2024 21:40Разумеется. Любая система является ограниченной. Поэтому заявление автора о том, что для оценки качества работы ИИ надо использовать "мощь аристотелевской логики" попросту не имеет обоснования - и вся статья становится бессмысленной.
Всегда можно придумать систему правил, в которой поведение ИИ будет несостоятельным. Просто потому, что это доказано Геделем. Поэтому говорить надо не о полной несостоятельности, а о границах соответствия конкретной задаче. А вот этих границ как раз автор и не обозначил.
mahairod Автор
21.09.2024 21:40Я хочу заметить, что предложение было не оценивать "качество", а по сути участвовать в процессе вывода.
Система правил, я думаю, примерно понятна: факты окружающего мира. Как оно будет реализовано - это уже второй вопрос.
Я не просто так вспомнил Ватсона. Эта машина вроде как научилась верно отвечать на поставленные вопросы общего характера.
Можно конечно придумать и другую систему правил: можно например вспомнить одно фантастическое произведение (на помню автора, Хаксли, м.б), где создали машину времени, перемещающую не в эту реальность, а в реальность мира, составленного из всех произведений фантастов. В общем, здесь фантазия не ограничена. Но мне кажется, наиболее практичной будет именно база знаний о реальном мире.
qw1
21.09.2024 21:40она совершенно точно не напишет кандидатскую диссертацию и вообще что‑либо принципиально новое
Там в генерации есть доля рандома. И если очень-очень сильно не повезёт, может выдать что-то новое-гениальное и дальше уже продолжить генерацию на основе этой аномалии.
Было бы этих генераторов, как людей, 8 миллиардов, может раз в 10 лет они бы в сумме и выдавали что-то прорывное. Просто от LLM завышенные ожидания. Что нажмёшь кнопку и пойдут откровения один за другим.
NeoCode
Да, но изложено очень сумбурно.