В прошлом году по дорогам округа Монмут, Нью-Джерси, стал колесить странный робомобиль. Это экспериментальное транспортное средство, разработанное специалистами компании Nvidia, по внешнему виду не слишком отличается от других автономных машин других производителей, таких как Google, Tesla или General Motors. Но специально для этого автомобиля разработана новая система управления. Она самообучается, и не зависит от настроек, заданных на производстве. Вместо этого робомобиль следит за действиями человека-водителя и учится у него.

Это немного необычный способ обучения робомобиля. С другой стороны, мало кто до конца представляет себе, как машина принимает решения. Информация с сенсоров, радаров и лидаров поступает в нейросеть, где эти данные обрабатываются с выделением четких правил управления рулевым колесом, тормозами и другими системами. В итоге получается, что действия робомобиля зачастую схожи с действиями водителя-человека, попавшего в ту же ситуацию на дороге. Возникает вопрос — может ли машина принять странное решение в одном из случаев — например, врезаться в дерево на полном ходу или постоять на светофоре, когда горит зеленый?

Нейросеть, обрабатывающая информацию можно сравнить с черным ящиком. Нет, конечно, специалисты представляют себе принцип обработки данных нейросетью в общих чертах. Но проблема в том, что самообучение — это не до конца предопределенный процесс, так что на выходе можно ожидать иногда абсолютно неожиданные результаты. В основе всего лежит глубокое обучение, которое уже позволило решить ряд важных проблем, включая обработку изображений, распознавание речи, перевод. Возможно, нейросети смогут диагностировать заболевания на ранней стадии, принимать правильные решения при торговле на бирже и выполнять сотни других важных для человека действий.

Но сначала нужно найти пути, которые позволят лучше понимать то, что происходит в самой нейросети при обработке данных. В противном случае сложно, если вообще возможно, предсказать возможные ошибки систем со слабой формой ИИ. А такие ошибки обязательно будут. Это одна из причин, почему автомобиль от Nvidia до сих пор находится в стадии тестирования.

Человек сейчас применяет математические модели для того, чтобы облегчить для себя задачу выбора — например, определить надежного заемщика денежных средств или найти сотрудника с необходимым опытом для какой-то работы. В целом, математические модели и процессы, которые их используют, относительно просты и понятны. Но военные, коммерческие компании, ученые сейчас используют гораздо более сложные системы, чьи «решения» основываются не на результатах работы одной-двух моделей. Глубокое обучение отличается от обычных принципов работы компьютеров. По мнению Томми Джаакола, профессора из MIT, эта проблема становится все более актуальной. «Что бы вы ни делали — принимали решение об инвестициях, пытались поставить диагноз, выбрали точку атаки на поле боя, все это не должно зависеть от метода „черного ящика“», — говорит он.

Это понимают уже не только ученые, но и чиновники. Начиная с лета следующего года Европейский Союз вводит новые правила для разработчиков и поставщиков решений автоматизированных компьютерных систем. Представители таких компаний будут обязаны объяснять пользователям, как работает система, и по какому принципу принимаются решения. Проблема в том, что это может оказаться невозможным. Да, объяснять базовые принципы работы нейросетей можно без проблем, но вот то, что там происходит во время обработки сложной информации, мало кто может точно рассказать. Даже создатели таких систем не могут объяснить все «от и до», поскольку процессы, протекающие в нейросети во время обработки информации, очень сложные.

Никогда прежде человек не строил машины, принцип работы которых не до конца понятен сами создателям и резко отличается от способа обработки информации, используемого самим человеком. Так можно ли ожидать нормального взаимодействия с машинами, работа которых непредсказуема?


Картина, подготовленная художником Адамом Ферриссом при помощи Google Deep Dream

В 2015 году исследовательская группа Mount Sinai Hospital из Нью-Йорка использовала глубокое обучение для обработки базы данных записей пациентов. База данных включала информацию о тысячах пациентов с сотнями строк информации по каждому человеку вроде результатов тестов, дате посещения врача и т.п. В результате появилась программа Deep Patient, которая обучилась на примере записей 700 тысяч человек. Результаты, которые показывала эта программа, оказались необычайно хорошими. Например, она смогла предсказывать появление некоторых болезней на ранней стадии у ряда пациентов.

Однако, результаты оказались и немного странными. Например, система начала отлично диагностировать шизофрению. Но даже для опытных психиатров диагностика шизофрении — сложная проблема. А вот компьютер справился с ней на «ура». Почему? Никто не может объяснить, даже создатели системы.

Изначально разработчики ИИ разделялись на два лагеря. Сторонники первого говорили, что машину нужно программировать так, чтобы все процессы, которые происходят в системе, можно было видеть и понимать. Второй лагерь придерживался идеи, согласно которой машина должна обучаться сама, получая данные из максимального количества источников с последующей самостоятельной обработкой таких данных. То есть, сторонники этой точки зрения, фактически, предложили, чтобы каждая нейросеть была «сама себе хозяин».

Все это оставалось чистой воды теорией до настоящего момента, когда компьютеры стали достаточно мощными для того, чтобы специалисты по искусственному интеллекту и нейросетям могли начать реализовывать свои идеи на практике. За последние десять лет было реализовано огромное количество идей, появились отличные сервисы, помогающие переводить тексты с языка на язык, распознавать речь, обрабатывать видеопоток в режиме реального времени, работать с финансовыми данными, оптимизировать процессы производства.



Но проблема в том, что практически любая технология машинного обучения не слишком прозрачна для специалистов. В случае с «ручным» программированием дело обстоит гораздо проще. Конечно, нельзя говорить о том, что будущие системы будут непонятными ни для кого. Но по своей природе глубокое обучение — это своего рода «черный ящик».

Нельзя просто посмотреть на принципы работы нейронной сети и предсказать результат, который мы получим в результате обработки какого-то массива данных. Внутри «черного ящика» — десятки и сотни «слоев нейронов», связанных между собой в достаточно сложном порядке. Причем значение для конечного результата имеет не только работа слоев, но и отдельных нейронов. Человек в большинстве случаев не может предсказать, что появится на выходе нейронной сети.

Один из примеров того, насколько работа нейросети отличается от работы мозга человека — система Deep Dream. Это проект Google, нейросеть, в которую вводили обычную фотографию и давали цель преобразовать это фото в соответствии с определенной темой. Ну, например, сделать все объекты на снимке похожими на собак. Результаты впечатлили всех. Как-то в систему ввели задачу генерировать изображение гантели. Система справилась, но во всех случаях к гантели были пририсованы руки людей — нейросеть решила, что гантель-рука — едина система, которую нельзя рассматривать, как два отдельных элемента.



Специалисты считают, что требуется лучше понимать, как работают такие системы. Это нужно по той простой причине, что нейросети начинают использовать во все более важных сферах, где ошибка может привести к печальному финалу (торговля ценными бумагами — один из примеров). «Если у вас — небольшая нейросеть, вы можете прекрасно понимать, как она работает. Но когда нейросеть вырастает, количество элементов в ней увеличивается до сотен тысяч нейронов на слой с сотнями слоев — в этом случае она становится непредсказуемой», — говорит Джааккола.

Тем не менее, нейросети нужно использовать в работе, в той же медицине. Медики недооценивают важность многих данных, человек просто не в состоянии охватить взглядом и найти связи между сотнями записей в истории болезни пациентов. А машина — может, и в этом огромная ценность нейросетей и глубинного обучения вообще.

Военные США вложили миллиарды долларов в разработку систем автоматического управления дронами, определения и идентификации различных объектов, анализа данных. Но и военные считают, что работа таких систем должна быть понятной и объяснимой. Те же солдаты, закрытые в танке с автоматическим управлением будут чувствовать себя очень некомфортно в том случае, если не будут понимать, как и что работает, почему система приняла такое решение, а не другое.

Возможно, в будущем эти системы будут пояснять свои действия. Например, Карлос Гуестрин, профессор из Вашингтонского университета, разработал компьютерную систему, которая поясняет промежуточные результаты своих вычислений. Эта система может использоваться для анализа электронных сообщений. Если какое-то из них оценено компьютером, как отправленное условным террористом, то обязательно будет дано пояснение, почему сделан именно такой вывод.

По мнению ученого, объяснения должны быть достаточно простыми и понятными. «Мы еще не достигли мечты, где ИИ просто ведет с вами беседу и может объяснять», — говорит Гуестрин. «Мы лишь в начале долгого пути по созданию прозрачного ИИ».

Понимание причин, которые привели ИИ к определенному результату важно, если мы хотим сделать ИИ частью нашей жизни, причем полезной частью. Это актуально не только в случае военных, а относится и к Siri или любым другим цифровым помощникам. Например, если запросить Siri дать выборку ближайших ресторанов, то многим хочется понять, почему показаны именно эти рестораны, а не другие. Важный критерий внедрения ИИ — доверие человека к компьютерным системам.

Наверное, все же нельзя заставить компьютер объяснять все свои действия и решения — ведь, например, поступки и решения любого человека зачастую невозможно понять. Они зависят от большого количества факторов. А чем сложнее нейросеть, тем больше таких факторов она принимает во внимание и анализирует.

Здесь возникает ряд сложных вопросов этического и социального характера. Например, в случае с теми же военными, когда речь идет о создании автоматизированных танков и других машин для убийства, важно, чтобы их решения соответствовали этическим нормам человека. Собственно, убийство само по себе может не соответствовать этическим нормам многих из нас. Но эти решения должны быть хотя бы приемлемыми для большинства. Хотя, что представляет собой это большинство? Тоже вопрос.

Дэниэлл Денетт, философ из Университета Тафтса, говорит следующее: «Я считаю, что если мы собираемся использовать эти вещи и зависеть от них, тогда нужно понимать, как и почему они действуют так, а не иначе. Если они не могут лучше нас объяснить, что они делают, то не стоит им доверять». ?