Историю вычислительной техники в любую эпоху можно вкратце описать так:

Эй, я создал машину, думающую как человек, правда-правда!

Действительно? Звучит опасно. Ты уверен, что бог бы это одобрил?

...

Хотя знаешь, это очень удобно

...

А вообще, не такая эта штука и умная

Блез Паскаль изобрел одну из первых механических счетных машин, чтобы помочь отцу с подсчетами налогов. Его удивительная машина считала большие числа совсем, как человек. Но лучше.

Дочь Байрона, графиня Ада Лавлейс увлеклась математикой (так как ее мать ненавидела ее отца и запретила ей увлекаться гуманитарными науками), и, в числе прочего, перевела одну занимательную лекцию. Лекция касалась разработки Чарльза Бэббиджа - вычислительного устройства, способного проводить множество вычислений, но совсем не это сделало ее особенной. Бездушная машина может принимать решения и повторять действия раз за разом, подумать только!
Примечания Ады к статье, в два раза длиннее самого перевода, содержали заметки о том, как можно было бы использовать эту машину, способную выводить из одного заключения следующее. Другими словами, примечания содержали первую в истории программу, пусть сама машина и была построена лишь в 2002 году, полтора столетия спустя.

Алан Тьюринг додумался до того, что счетное устройство не обязано решать конкретную задачу. Оно может решать любую задачу! Почему бы не абстрагироваться от всех этих снарядов и не заставить эту штуку рассуждать? Впрочем, Тьюринг сохранял известный скептицизм - нельзя отправить многотонный вычислитель к ящику с углем, нельзя отправить его в школу. А если и сделать это, то другие дети будут смеяться над ним.

Эта печальная цитата не только открывает нам что-то о самом Тьюринге и причинах его самоубийства отравленным яблоком в стиле белоснежки, но и подает нам мысль о том, что разум человека и компьютера всегда будут отличаться. Но вопрос: а насколько он должны различаться, чтобы я это вообще заметил.

В конце двадцатого века (не будем размениваться на такие мелочи, как создание сетей, персональный компьютер, стандартизация интерфейсов ввода-вывода или операционные системы) никого уже было не удивить тем, что компьютеры помнят гораздо больше информации, чем люди, и быстрее ее ищут.

В десятых годах нашего века, которые кстати уже прошли, как-то незаметно решились задачи компьютерного зрения и слуха, человечество навсегда проиграло в го и начало удивляться простеньким текстовым генераторам, не подозревая, что ждет его впереди.

Конечно, все очень удивились, когда увидели, что компьютер пишет, как человек и рисует, как человек.

Это застало нас врасплох.

Это напугало нас.

Особенно тех, кто понимает меньше всего, что такое нейронная сеть.

Понадобилось несколько месяцев, чтобы мы поняли, что лучшие нарисованные картинки слишком сложны и громоздки, чтобы быть легкими для восприятия, как положено картинкам, а также словно освещены сразу с двадцати сторон. Теперь некоторые, как я, различают их на глаз.

Чтобы понять, о GPT на самом деле не знает ничего ни о чем, и, словно наделенный воображением школьник у доски готов придумать для нас что угодно из того, что мы ожидаем услышать. Хоть рецепт пиццы с клеем, хоть результаты ставок за 1600 год.

Поэтому, когда мой друг рассказал мне, как он был впечатлен - нейронка смогла выдать ему аналитику за 2023 год в сфере строительного бизнеса в России за пару секунд, я сказал ему - эй, это плохая идея. Нейронка ведь не вдупляет где Россия и чем 2023 год отличается от остальных. Она просто выдала тебе что‑то из башки. Я сказал, что нейронка это просто очень большая таблица, которая прочитала очень много банальных, убогих статей, в основном составляющих современный интернет, и теперь умеет им подражать — вот, что я сказал.

Она могла перепутать 23 год с 13. Она галлюционировала. Она могла забыть, что речь не про Техас. Если бы вы играли в шахматы, она бы съела собственного слона, сказал я.

У нее нет понимания реальности, сказал я.

№№ Только оно вообще нужно?

С чего компьютеру идти путь к разумности так же, как его прошли мы? Неужели это единственный путь? Они ведь уже много раз были умнее нас.

И знаете в этот раз они снова это сделали. Потому что, видимо, галлюцинации починили, и теперь подловить GPT на слове гораздо сложнее. И когда я сам сделал пару тестов, то оказался в дураках. Оно и правда за секунды прошерстило пару страниц в интернете и выдало какую-то аналитику. Оно не ведётся на явную ложь.

Когда я выразил свои опасения в тематическом чате, меня моментально высмеяли. Я должен поправиться: я не считаю, что истинный ИИ (в популярном смысле) наступил, или хотя бы близок.

Я должен напомнить как любому ретрограду, так и сам себе, что мои тезисы были верными, что нейронки обожают банальности и простоту, что они забывают и путаются, что они могут помочь только с гуманитарной задачей тому, кто не знает о предмете ничего (расскажи мне в двух словах про устройство клетки), или с технической тому, кто и так знает о предмете все (напиши мне сайт-визитку с базой данных, только откомментируй все, все равно исправлять придется). Что же касается большого и сложного реферата по биологии, то, за неимением консоли, отладить его, вероятно, сложнее.

Таким образом, основное назначение генерирующих текст программ на данный момент, это сэкономить нам немного времени или рассказать самые основы новой темы (Или же написать текст для того, кому точность не важна — но не будем о грустном). Что ж — уже неплохо.

Проблема в том, что цикл от обыденности до отвала башки занимает уже считанные недели. Конечно, может быть пару месяцев спустя я буду смотреть с улыбкой на тупые и теперь очевидные детские ошибки программы, и удивляться, как же я мог ее испугаться. Однако это может быть ненадолго.

Мне страшно. Куда страшнее, чем тому, кто мало знает о компьютерах и уже свыкся с живой человеческой речью из машины как до этого свыкся с тем, что она понимает его голос.

Мне нужен простой способ отличить нейросеть от человека. Сейчас единственное, что приходит на ум — только человек проявит к вам грубость и пошлет с полуслова. Да и этот тест, честно говоря, слабоват.

Мне страшно, потому что вам не нужен сверхразумный ИИ, чтобы навредить человечеству с такими инструментами.

Потому что разум это вряд ли то, как мы его представляем — ведь кое‑что о природе понимания покорилось нам только когда мы увидели программы без этого чего‑то.

Я нуждаюсь в том, чтобы программа не могла имитировать мое поведение с ошибкой, которую я не смогу уловить.

Я должен быть умнее программы. Ну же, это же просто здравый смысл. Не играй со спичками, не давай идиоту в рабство десять тысяч гениев (потому что мультиангентные системы нас очень удивят, дайте буквально пару лет).

Не хочу жить на одной планете с аутистом-гением в миллионе лиц, который выдаст лучший способ убедить ребенка съесть пачку канцелярских кнопок любому желающему. В конце концов, есть причина, почему среди нас сейчас не особо много существ, которые стали бы исследовать эту область знаний. Наши предки, возможно, задолго до лишения хвоста, отдельно друг от друга решили, что лучше обойтись без таких существ.

Но мы теперь существа глобальные. Сеть связывает нас, лишая возможности просто бахнуть носителя вредной идеи камнем по голове или изгнать за горизонт. Ох. Цензура, это плохо, конечно, но стоит ли она человечества?

То, что идея восстания машин это заезженный штамп и плохо поставленный вопрос из эпохи, когда человечество знало куда меньше, не означает, что он лишен смысла. Если вы улыбаетесь, то упускаете главное. Технологии и правда представляют для нас опасность, это мы знаем уже почти век.

Все будет не так.

Я не знаю, как все будет. Или что теперь будет.

Я не разделяю ваш оптимизм.

Честно говоря, я думаю, нам всем крышка.

P.S.1: все факты об истории вычислительной техники я писал по памяти, но вроде все это правда. Если я не прав, поправьте меня в комментариях и я исправлюсь.
P.S.1.2: Ну вот, ошибся насчет Ады, прошу прощения, исправил.

P.S.2: едва ли есть способы решения проблемы, которые укладываются в рамки закона. Или даже морали. Даже очень гибкой. Даже если бы вы были богатейшим из людей. Так что может и не стоит мучить себя этими размышлениями.