Привет, Хабр!

Искусственный интеллект сегодня у всех на слуху. Технологии развиваются стремительно: они меняют бизнес, творчество и повседневную жизнь. Но вместе с возможностями приходят и тревоги — многие боятся, что ИИ выйдет из-под контроля.

А что, если это уже происходило?

60 лет назад мир тоже стоял на пороге революции искусственного интеллекта. Ученые предсказывали скорое появление машин, способных мыслить как человек. Правительства инвестировали миллионы в исследования, университеты, открывали новые программы. Казалось, прорыв не за горами. Но революция так и не случилась.

В этой статье мы попробуем разобраться, почему это произошло. Если вам интересен мир ИИ и разработки, то подписывайтесь на мой телеграмм канал. Там я выкладываю свои статьи и дополнительные материалы:

Ссылка: Мой канал

Глава 1. Начало технологической гонки

Одной из самых перспективных сфер считался машинный перевод - технология, которая могла дать значительное преимущество США в холодной войне.

Для лучшего понимания стоит немного лучше изучить контекст того времени. Представьте США 1950-х: экономический бум, послевоенный оптимизм и нарастающее противостояние с СССР. Правительство щедро финансирует науку, включая зарождающуюся сферу ИИ (термин появится лишь в 1954 году).

Но 4 октября 1957 года Советский Союз запускает первый искусственный спутник земли. Это событие меняет правила игры.

Реакция США не заставила себя долго ждать. Президент Эйзенхауэр со словами "лучше бы это больше не повторилось" создает организацию ARPA (Advanced Research Projects Agency - агентство перспективных исследовательских проектов) с многомиллионным финансированием.

Следующие 10 лет ARPA проводит исследования в областях:

• Теория текстов и лингвистика;

• Алгоритмы обработки языка;

• Решение проблемы лексической многозначности

Проблема лексической многозначности

Проблема в области обработки естественного языка, которая заключается в неоднозначном переводе слов в зависимости от контекста.

Типичные примеры абсурдного перевода:

• «The spirit is willing, but the flesh is weak» (Дух бодр, но плоть немощна)
  Обратный перевод: «The vodka is good, but the meat is rotten» (Водка хорошая, но мясо протухло)

•  «Out of sight, out of mind» (С глаз долой — из сердца вон). Обратный перевод: «Blind idiot» (Слепой идиот)

В 1959 г. философ Йегошуа Бар-Хиллел выступил с утверждением, что высококачественный полностью автоматический машинный перевод не может быть достигнут в принципе. В качестве аргумента он еще раз привел проблему лексической многозначности перевода для слова pen в следующем контексте:

John was looking for his toy box. Finally he found it. The box was in the pen. John was very happy. (Джон искал свою игрушечную коробку. Наконец он её нашёл. Коробка была в манеже. Джон был очень счастлив)

Pen в данном случае должно переводиться не как инструмент для письма, а как "детский манеж" (play-pen). Без понимания контекста и особенностей окружающего мира машина неспособна правильно перевести некоторые слова. Примерно на таком уровне находились разработки агентства DARPA к концу 70-х. За это время появилась  дополнительная буква, которая означала Defence, чтобы подчеркнуть связь с министерством обороны. Стоит сказать, что эта проблема до сих не решена полностью.

Глава 2. Политика, экономика и закат первой эры ИИ

За последние 10 лет политика и экономика изменились:

• К концу 70-х экономический бум оказался на спаде

• В 65-м началась война во Вьетнаме, которая затянется на много лет

• Увеличение роста расходов и инфляции

На фоне этих проблем, правительство решает финансировать только те сферы науки, которые непосредственно связаны с Министерством Обороны.

В 1964 году Национальный исследовательский совет США забил тревогу из-за отсутствия прогресса и создал Консультативный комитет по автоматической обработке языков (ALPAC) для изучения проблемы. В своём отчете 1966 года комитет пришёл к выводам, что машинный перевод оказался:

• менее точным

• более дорогим

• медленным

Потратив около 20 миллионов долларов, Национальный исследовательский совет свернул все разработки, а исследования были прекращены. Так закончились исследования, которые продолжались последние 10 лет.

Но не ужели все было настолько плохо, чтобы в один момент закопать 10 лет исследований и миллионные инвестиции?

Отчет агентства ALPAC

В своем отчете они изучали проблемы:

• Потребность переводчиков и их количество

• Скорость перевода

Но сперва ALPAC узнали, какие языки доминировали в научной литературе. Согласно отчету, 76% занимал Английский, а доля Русского была незначительна.

Затем ALPAC решила изучить количество штатных переводчиков в государственных учреждениях. Например, в Вашингтоне было:

• 500 мест штатных переводчиков

• 4000 переводчиков на контракте

При этом в среднем из них привлекались только 300. То есть государство имело большой запас и могло без проблем удвоить количество переводимых документов или сократить время перевода.

Стоимость перевода:

• 9-66$ - человеческий перевод за 1000 слов

• 20-30$ - машинный перевод за 1000 слов

Скорость перевода.

Сейчас машины в разы превосходят людей по скорости перевода, но в то время был нюанс - 1969 год и IBM 701 с 4кб ОЗУ.

Скорость перевода:

• Человеческий перевод - 15 дней на 50 страниц

• Машинный перевод - 109 дней на 50 страниц

При этом машинный перевод требовал последующей обработки, так как он не учитывал контекст.

Мнение переводчиков

ALPAC решили провести опрос среди переводчиков на счет переведенных текстов. Мнения разделились:

• 6 переводчиков сочли, что это примерно то же самое,  как если бы переводил человек

• Большинство переводчиков "сочли их утомительными и даже разочаровывающими"

• Многие согласились подчеркнули, что "Выходные данные послужили подспорьем. Особенно в том, что касается технических терминов".

В своем отчете агентство привело негативный отзыв одного из переводчиков:

Я обнаружил, что потратил на редактирование по меньшей мере столько же времени, как если бы я выполнил весь перевод с самого начала. Даже при этом я сомневаюсь, что отредактированный перевод читается так же гладко, как тот, который я бы начал с нуля. Я пришел к выводу, что сегодня машина переводит с иностранного языка на ломаный английский, в чем-то сравнимый с пиджин-инглиш. Но тогда читателю остается выучить этот диалект, чтобы понять, что на самом деле написал русский . Изучение русского языка было бы ненамного сложнее

Стоимость Инвестиций

В своем отчете ALPAC говорят о 20 миллионах долларов, но на самом деле все было не совсем так. Согласно сторонним источникам, инвестиции выглядели так:

• 35.000 - спонсирование конференций

• 59.000 - создание ALPAC

• 101.000 - исследования за пределами США

• 1.362.000 - исследования в Пенсильванском университете, который не имел прямого отношения к машинному переводу и теории текста

• 11.906.000 - глобальные суммы на армию, флот без подробностей о получателях

Таким образом сумма инвестиций была ближе к 8-12 миллионам.

Заключение агентства ALPAC

В своем отчете они пришли к нескольким выводам:

• Экономическая нецелесообразность: машинный перевод был дороже человеческого. Помимо этого нужно было учитывать затраты на разработку вычислительных систем, которые так же не окупались

• Низкая эффективность: точность машинного перевода 50-70% и  требует значительной постобработки  

Заключение: “Следует прекратить масштабное финансирование машинного перевода и сосредоточиться на:

• Разработке компьютерных словарей и инструментов для переводчиков.

• Фундаментальных исследованиях в области лингвистики и синтаксического анализа"

Так скептицизм на счет скорого развития вычислительных систем,  поправки демократов и мышление в рамках своего времени  отдалили прорыв в  области машинного перевода примерно на 20 лет.

Перцептрон и Фрэнк Розенблатт

Машинный перевод был не единственной областью в которой велись разработки. В это же время Фрэнк Розенблатт придумал перцептрон. Перцептрон  - одна из первых математических моделей искусственного нейрона.

Первая его версия была смоделирована при помощи компьютера IBM 704. Обучившись, программа Розенблатта была способна успешно распознавать различные геометрические фигуры. Спустя пару лет перцептрон успешно выделял общие черты у объектов, например, букв разного подчерка и демонстрировал способность к генерализации,  распознавая буквы, не встречающиеся в обучающей выборке.

 Перцептрон называли моделью мозга, а не просто инструментом для классификации.

Противники идей Розенблатта

1969 год. Марвин Минский и Сеймур Пейперт – работники Массачусетского технологического института  опубликовывают свою работу под названием “Перцептроны”, которую можно назвать одной составных частей в поворотном моменте истории ИИ. В ней авторы математически доказали фундаментальные ограничения перцептронов. Минский и Пейперт показали, что однослойные перцептроны не способны решать нелинейно разрешимые задачи.

Ко всему этому добился отчет ALPAC и поправка Мэнсфилда  цель которой  - ограничить финансирование исследований Министерства обороны, если они не имеют прямого и очевидного военного применения.

Реакция авторов и группы ученых

• “Минский и Пейперт выбрали для анализа искусственно ограниченную модель перцептрона. Они игнорируют биологическую правдоподобность и адаптивные возможности реальных нейронных систем"  - Из письма Розенблатта коллегам после публикации книги

• "Книга 'Перцептроны' стала политическим, а не научным документом. Она дала DARPA повод прекратить финансирование нейросетевых исследований” – заявления группы исследователей

Розенблат продолжал эксперименты с многослойными перцептронами, но не успел довести исследования до конца. Он погиб 11 июля 1971 в возрасте 43 лет во время плавания на парусной лодке

Таким образом, Розенблат не успел доказать величие своего изобретения. Это случится только через 15 лет. Сегодня глубокое обучение (потомок идей Розенблатта) лежит в основе ChatGPT.

Заключение

Я лишь хочу сказать, что не стоит недооценивать технологии, а также нужно почаще оглядываться назад. Многое из того, что происходит сегодня, уже происходило в прошлом.

А первая зима ИИ закончилась, и началась оттепель, которая продлилась до 90-х годов.

Спасибо за прочтение! Не забывайте про мой канал, в котором можно найти много всего интересного на тему ИИ:

Ссылка: Мой канал