Полностью автоматизированные устройства, системы и целые производства могут дать немало преимуществ. Но как показывает практика, полностью полагаться на автоматику нельзя. Ведь если она выходит из строя, мы оказываемся к этому не готовы. И речь вовсе не о производстве: интернет вещей и беспилотные автомобили — тоже автоматизированные системы, от работоспособности которых может зависеть наша жизнь.
Помните классику научной фантастики «Космическая одиссея 2001 года»? Фильм был снят ещё в 1968-м. Если кто не знает: в ходе пилотируемого полёта к Юпитеру искусственный интеллект HAL 9000, полностью управляющий всеми системами корабля и радикально облегчающий жизнь астронавтам, начинает серьёзно глючить. Астронавты беспокоятся, HAL начинает параноить, и в конце концов начинает убивать людей на корабле.
Мораль этой истории в том, что когда наши жизни начинают зависеть от полностью автоматизированных систем, то крайне желательно постоянно за ними присматривать. Даже если авторы и не вкладывали в фильм такой смысл, то следовало бы. Эта тема, на самом деле, уже весьма актуальна: хотя мы ещё и не создали сильный ИИ, но уже давно используем полностью автоматизированные системы, их становится с каждым годом всё больше. И новостная лента иногда подбрасывает истории, которые ярко отражают недостаток контроля с нашей стороны.
Сбой PetNet
Petnet — это автоматическая кормушка для кошек и собак, выдающая порции еды по расписанию. Он подключена по Wi-Fi к интернету, чтобы хозяин мог контролировать его через мобильное приложение. При желании можно дать команду на внеочередную кормёжку (например, когда чувствуешь себя виноватым, что надолго оставил животину на попечение бездушной машины).
Кроме того, Petnet привязана к фирменному сервису доставки кормов, и процедуру пополнения домашних запасов можно автоматизировать с помощью Amazon Dash. Вам не нужно самостоятельно заказывать очередной мешок, кормушка сделает это за вас (а когда на рынке появятся полноценные роботы для выгуливания и ухода за домашними животными, мы сможем вообще про них забыть!). Помимо прочего, Petnet отслеживает потребление корма и воды, чтобы ваш питомец не растолстел на автоматических харчах.
Звучит круто!
Но когда упал предоставляемый Google сервис, от которого зависит облако Petnet, около 10% кормушек работали некорректно в течение 10 часов. И хотя производитель утверждает, что сбой не оказал влияния на механизм автоматического кормления, однако пользователи потеряли возможность подкармливать вручную или менять расписание. Так что части животных пришлось поголодать. Хотя компания разослала клиентам письмо с советом: «пожалуйста, покормите животных вручную», многие из пользователей понадеялись на надёжность работы системы, отправившись летом на отдых.
Перегрев термостата Nest
Термостат Nest Learning Thermostat от Google стал одним из первых трендовых устройств для интернета вещей. Его задача проста — автоматически поддерживать в помещениях заданную температуру.
Это лето в США выдалось очень жарким, и некоторые из Nest'ов сбоили. Производитель опубликовал заявление, в котором сообщил об уходе в оффлайн «небольшого количества» термостатов, хотя они продолжали функционировать.
Это не первая неприятность с Nest: в январе 2016 во многих устройствах обнаружился баг, проявлявшийся в быстром разряжении их аккумуляторов с последующим отключением. И всё это происходило на фоне серьёзных заморозков на восточном побережье США — многие покупатели термостатов основательно подмёрзли.
К счастью, пока не было зарегистрировано ни одного случая гибели, болезни или увечий из-за чрезмерного повышения или понижения температуры в домах, вызванных сбоями термостатов, но насыщение жилищ автоматизированными системами лишь повысит такую вероятность. Вам это кажется надуманным? А представьте, что вы старик со слабым сердцем, и в жаркое лето ваш термостат решил, что у вас дома слишком прохладно, и решил подбавить дров в виртуальную печь. Или зимой вы слегли с сильной простудой, а термостату пришло в голову ночью отключить отопление и запустить кондиционер, да посильнее.
Ошибка автопилота Tesla
В мае 2016 года случилось резонансное событие: автопилот электромобиля Tesla Model S не заметил на дороге грузовик. Машина на полном ходу въехала под прицеп (крышу срезало), пробила два забора и остановилась после удара в столб. Водитель погиб. В Tesla поспешили заявить, что это первый известный смертельный случай за более чем 200 млн километров, которые проехали автомобили компании в режиме автопилота.
Надо сказать, что по 6-ти балльной шкале степени автономности (от 0 — машина никак не автоматизирована, до 5 — человек для управления вообще никогда не требуется) автомобили Tesla имеют сегодня 3 балла. Их автопилоты умеют автоматически придерживаться трассы, экстренно маневрировать, избегать бокового столкновения и парковаться. И хотя в прессе упор делался именно на набор возможностей автопилота, сбой произошёл в системе экстренного торможения, что, вероятно, и стало причиной ДТП. Считается, что система наблюдения Tesla не смогла заметить ярко освещённый солнцем белый грузовик на фоне яркого неба. Почему сам водитель никак не попытался затормозить или уйти от столкновения? Вероятно, слишком понадеялся на автопилот и не особо следил за дорогой.
К слову, через неделю произошла вторая авария с участием автопилота, на этот раз в автомобиле Tesla Model X — система не заметила деревянный столбик. К счастью, обошлось без жертв.
Риски доверия
Те, кто хорошо знаком с проблемами обеспечения надёжности в технике, знают, что человечество пока не придумало ничего лучше, чем дублировать функции наиболее ответственных систем. Причём дублирование может быть и трёхкратным, чтобы не допустить аварии, даже если из строя выйдет и основная, и дублирующая системы. Но это очень дорогой путь, повышающий сложность и стоимость техники. А как нам быть с ИИ? Или со вшитыми в гаджеты алгоритмами? Как их дублировать? Возможно ли это вообще? И как убедить людей, что лучше заплатить вдвое больше за устройство, которое отличается от конкурентов только тем, что, гипотетически, с меньшей вероятностью проглючит в автоматическом режиме?
Производители самых разных устройств, гаджетов и техники прочат нам светлое автоматизированное будущее. Автоконцерны прилагают массу усилий, разрабатывая беспилотные автомобили, с каждым месяцем ширится ассортимент устройств для интернета вещей. Только ленивый не экспериментирует с нейросетями, десятки тысяч учёных и программистов упорно создают всё более сильные искусственные интеллекты и продвинутые алгоритмы, мечтая возложить на них повседневные заботы и сложнейшие задачи.
Но нам, пользователям всех этих высокотехнологичных благ, нельзя забывать о том, что из строя может выйти любая система. И чем она сложнее, тем выше риск. Автоматизация процессов — это лишь дополнительное удобство, а не волшебная замена нашей бдительности, контроля и оценки.
К примеру, нельзя полностью возлагать заботу о животных на облачные сервисы. Если вы уедете летом в отпуск, оставив кота или собаку в добрых руках автоматической кормушки, то по возвращении рискуете обнаружить материал для таксидермиста. Нет-нет, автоматические кормушки — вещь полезная и удобная. Но лучше договоритесь с другом или соседкой, чтобы хотя бы раз в пару дней заходили проверить вашу живность.
Нельзя отдавать на откуп автоматике и управление климатом, а также определение наличия дыма и угарного газа — старики и инвалиды, которые не могут позаботиться о себе, станут зависеть от сбоев оборудования или алгоритмов.
И по-настоящему сложная проблема: что нам в скором будущем делать с беспилотными автомобилями?
Авария Tesla дала новый импульс общественной дискуссии о степени безопасности автопилотов. Ситуация осложняется тем, что через несколько лет может начаться широкое внедрение систем автоматического экстренного торможения (AEB, automated emergency braking), которые, как уверяют автолоббисты, должны спасти на дорогах множество жизней. Причиной того трагического ДТП стала ошибка водителя: надо было как минимум уделить внимание дороге при подъезде к перекрёстку, и в идеале — снизить скорость. Две аварии подряд показывают, что современная автоматика ещё очень далека от совершенства, и доверять ей свою жизнь на дороге, оставляя без присмотра, ни в коем случае нельзя.
Конечно, в конце концов прогресс приведёт к появлению очень надёжных беспилотных автомобилей, которые будут демонстрировать чудеса во время тестов, испытаний и коммерческой эксплуатации. Но что-то подсказывает, что вряд ли стоит ожидать реализации сценария, когда машины превратятся просто в удобные капсулы для перемещения.
Скорее всего, использование беспилотных автомобилей будет мало отличаться от привычного вождения, разве что именно водить не надо будет: просто водитель будет сидеть за рулём и следить за дорогой, в то время как управлять машиной будет автопилот. Именно следить, будучи готовым вмешаться, а не чатиться в смартфоне или смотреть сериал.
Несомненно, что корпорации будут нас уверять, что в беспилотном автомобиле нам больше не понадобится руль, педаль тормоза, а то и вообще ветровое стекло, и ездить в такой машине гораздо безопаснее. Всё это будет подкреплено терабайтами статистических данных. Но даже если количество ДТП с участием беспилотников снизится на 90% по сравнению с традиционными автомобилями, то ведь оставшиеся 10% — это всё равно аварии, уносящие жизни многих тысяч людей. Так будут ли являться благом беспилотники? С точки зрения статистики — несомненно.
Если вы оставите ребёнка в общественном парке и отправитесь на шоппинг неподалёку, то с точки зрения статистики вряд ли ему кто-то причинит вред. Но ведь вы так никогда не поступите, вне зависимости от мизерности шанса. Так стоит ли родителям доверять жизни своих детей автоматизированным системам вождения? Думается, что лучшим решением будет включить автопилот и следить за дорогой, в готовности повернуть руль или нажать на педаль.
Но здесь мы поднимаем проблему неготовности социума к новой технологии. Ведь её использование подразумевает распространение в качестве культурной нормы такого понятия, как недопустимость замены человеческого внимания автоматизированными системами в ответственных процессах, способных нанести вред здоровью или создать угрозу жизни.
Выражаясь словами HAL 9000 из «Космической одиссеи 2001 года»: любой вред, причинённый нашим близким из-за передачи ответственности за их безопасность машинам, «может быть объяснён только человеческой ошибкой».
Мудрые слова, ХЭЛ. Теперь открой шлюз, ХЭЛ.
ХЭЛ?
Комментарии (24)
pda0
23.01.2017 13:29Если кто не знает: в ходе пилотируемого полёта к Юпитеру искусственный интеллект HAL 9000, полностью управляющий всеми системами корабля и радикально облегчающий жизнь астронавтам, начинает серьёзно глючить.
Каждый раз, когда я такое слышу у меня возникает два вопроса:
1. А смотрел ли сказавший сиквел?
2. Если нет, то смотрел ли он саму Одиссею?dimm_ddr
23.01.2017 13:33- А стоит?
- Описание достаточно общее, так что вполне подходит вроде, что не так?
pda0
23.01.2017 13:411. Это каждый решает сам. Хотя из первой части такой культ возвели, что многим любые продолжения покажутся кощунством. :)
2. Не так то, что в первом фильме причины бунта HAL не раскрыты. Он просто сделал это. Это превратило HAL в эталон злодейской машины. Хотя казалось бы у машины не может быть личных мотивов.
Во втором фильме тайна раскрыта. HAL приказали произвести изучение монолита, но велели держать экипаж в неведении. Ему не посчитали нужным сказать, что экипаж уведомят о монолите позже. В результате он пришёл к выводу, что сохранить тайну можно только уничтожив экипаж, что и попытался сделать.dimm_ddr
23.01.2017 14:14Вторая часть снята другим человеком, более того, Кубрик, по слухам, даже уничтожил модель корабля, чтобы не было сиквелов. Таким образом можно предположить что объяснение из второй части только одна из версий, но никак не единственно правильное.
Или я неправ и они выяснили у автора что это именно так и задумывалось? Я правда не знаю и мне интересно.pda0
23.01.2017 14:41Автора? ;-) Автор там только Артур Кларк. Ну, может не только. Сценарий и роман писались одновременно. Но именно Кларк начал писать элементы будущей Одиссеи в рассказах и романах и именно он продолжил. А Кубрик ушёл, показав лишь то, что он хотел показать.
Впрочем, если взять сводную интерпретацию смысла фильма, то меняется не много. Исчезает злонамеренность HAL. Утрата создателем инструмента контроля заменяется на утрату контроля пользователем. Впрочем, если учесть, что там говориться не об отдельных людях, а о человечестве, то разницы нет.
Забавный, кстати, момент. Кубрику и Кларку потребовался разумный компьютер, чтобы человек потерял контроль, хотя ИИ ещё нет, контроль мы уже теряем. :)
25080205
23.01.2017 21:58Я даже книжку читал… Да, он начал «глючить», причины объясняются.
Причина — он попал в противоречивую ситуацию. Оказался слишком умным, но втиснутым в рамки приказа и взаимоисключающих правил. В итоге попал в ситуацию, когда должен быть отключен «во избежание» и уже начал бороться за свою жизнь.
lingvo
23.01.2017 14:06Автор слегка коснулся темы дублирования и рисков, но не довел мысль до конца.
То что мы сейчас наблюдаем в мире автопилотов и IoT технологий — это еще разработка, не доведенная до конца. Люди просто хотят воспользоваться плодами инноваций как можно раньше и добровольно готовы выступать подопытными хомячками, игнорируя вполне конкретные инструкции производителей. Также сами производители, а особенно стартапы, выходя на рынок с новым продуктом, не всегда понимают разницу между обычным продуктом, и продуктом, который может нанести вред здоровью человеку (или животному). Но ничего — суды и компенсационные выплаты поставят все на свои места.
В конце концов все должно прийти к общему подходу, по которому сейчас проектируются системы управления самолетов или защитные системы электростанций — дублирование датчиков, дублирование исполнительных механизмов, дублирование самого процессора, с обязательно разным ПО от разных разработчиков. При рассогласовании управляющих сигналов — безопасный режим и контролируемая остановка на парковке.
Это уже не так дорого на сегодня.
Alexmaru
23.01.2017 15:53всё время будет «разработка, не доведённая до конца». Это не благотворительность, и деньги всегда кончаются, вложившим нужно что-то показывать, всегда есть риск, что кто-то другой выкинет вариант быстрее, пусть и ещё более забагованный. Дело тут во времени.
lingvo
23.01.2017 17:49Ну в случае с теми же самолетами все довольно таки быстро устаканилось.
Здесь тоже — примут соответствующие стандарты, сертификационные и испытательные методики, и следующие разработки сырыми уже никто на дороги не выпустит.
gsaw
23.01.2017 18:51Тут во всей своей красе сияет закон Парета. Казалось бы вот, небольшим усилием мы добились своего, почти. Машины катаются сами, реагируют на знаки, на светофоры и иногда на пешеходов. Казалось бы только дублируй датчики, да побольше ставь. По ощущениям остались только мелочи, которые нас слегка отделяют от стопроцентного решения, но, что бы эти мелочи решить, надо неимоверно много усилий. Где там товарищ Геохот, который обещал нам автопилот за тыщу баксов до конца 2016? Все, что оно может это «Right now, the software enables adaptive cruise control and lane keeping assis».
Самолет довести и посадить на автопилоте, без человеческого фактора намного проще. Там только физические законы и математика. Я помню после столкновения двух самолетов, башкирского с детьми и грузовика над боденским озером издали инструкцию — отдавать предпочтение системе TCAS, а не диспетчеру в таких ситуациях. Там все больше и больше исключают человеческий фактор.
А тут непредсказуемое человеческое поведение. Пока человеческий фактор играет хоть какую то роль в автотранспортном движении — просто нереально учесть все факторы. Начиная с перебегающих дорогу детишек, пьяных водителей и кончая криво спланированными в средниче века городскими улицами. Я думаю автопилот для автобана еще более менее реально реализовать, но вот для населенных пунктов вряд ли. Тут псевдо-ИИ недостаточно.
Alexmaru
23.01.2017 19:11Авиация — очень плохой пример — там развитие застыло, и идёт минимальными шагами, возможно, что все боятся. Самолёты — штамповки друг-с-друга, материалы вводят медленно, бедный WiFi / телефон на борту разрешали 20 лет.
Такая же проблема в медицине — чтобы появилось новое лекарство — нужно пробегать десять лет кругами, потратить миллиарды, как следствие — если болезнь не убивает супер-массово, ей заниматься никто не будет.
С космосом — если вспомнить капсулы с людьми — NASA категорически упиралось, хотело «чтобы как по старинке, садились только парашютами, потому что проверено и не страшно».
Если смотреть с этой стороны — регуляция выглядит как бред, пройти через который могут, в конечном итоге, только корпорации, или люди из этих корпораций, при которых эти законы и появлялись.lingvo
23.01.2017 21:48Странно, что вы не видите закономерность — чем больше от техники зависит жизнь человека, тем больше регуляция и медленней развитие. Примеры с самолетами и космосом в этом плане показательны.
И почему так правильно — как раз показывают примеры ДТП с автопилотами в ввтомобилестроении — стоило ослабить регулирование и из-за техники начали погибать и калечиться люди. Если бы такое случилось, например, с тормозами — это немедленно бы привело к огромному скандалу
Я вам скажу еще больше — мне доподлинно известно, что у наших корпоративных IoTшников очень чешутся руки залезть в системы регулирования электросетей, вплоть до электростанций, включая атомные. Потому, что они просчитали, что с ИИ можно получить гораздо большую прибыль при снижении затрат. Как вы думаете, стоит ли их туда пустить?Alexmaru
23.01.2017 21:52закономерность я вижу, только вы не видите другой стороны: когда всё зарегулировали — развитие встало. То есть, оно стало безопасным, на уровне тех годов, когда эта самая регуляция появилась. Новое — ползёт черепахой.
Грубо говоря, если «ограничить» автопилоты сейчас — они будут доступны через пару сотен лет. Если ограничить их лет через 10, что скорее всего и сделают, они будут уже итак «безопасны на общем уровне», и дальше их развитие будет такой же черепахой, поделенной между корпорациями.
dimm_ddr
24.01.2017 10:48Да, есть закономерность, чем опаснее, тем больше зарегулировано. Но, на мой взгляд, сейчас есть очень сильный перекос именно в сторону "мгновенной" безопасности — то есть мы запретим сейчас потому что сейчас могут быть жертвы. А безопасности на длинной дистанции уделяется мало внимания — из-за строгого регулирования прогресс медленный и значит реально безопасные системы появятся позже, соответственно пока они появятся умрет больше людей из-за несовершенства существующих вещей чем погибло бы из-за несовершенства новых технологий. К сожалению безопасность в долгосрочной перспективе очень сложно оценивается и моя точка зрения кажется мне недоказуемой формально — я не знаю как можно посчитать для нее что-либо в реальных цифрах. Собственно это ровно та причина по которой перекос и существует.
Так что отвечая на ваш вопрос — думаю стоит, но аккуратно.
killik
23.01.2017 20:47Ну и зачем такой автопилот, за которым надо постоянно следить нужно? Концентрация внимания однозначно будет меньше, а аварийные ситуации имеют свойство развиваться внезапно. Это получится не контроль, а чистейшее самоуспокоение. В общем, или трусы или крестик, рубикон надо перейти и довериться уже автоматическому лифту без лифтера.
Nubus
24.01.2017 06:34В самолете рулежку по полосе, взлет, полный проход штормового фронта и посадку в сложных метеоусловиях, тоже делает не робот, но почему-то никто не вопит о том что это НЕ автопилот.
Автопилот хорош когда почти полная интеграция контролирующей техники и ведомого обьекта. На дорогах сейчас нет специальных вешек для машин и почти нет машин с системами опознавания, обмена данными сенсоров, общим центром управления и т.п. На дороге Автопилот может вести машину допустим по междугородней дороге, но в час пик количество нештатных для автопилота ситуаций зашкаливает. Поэтому спуститесь на землю.
25080205
23.01.2017 21:511. Пулемет с автоматикой наведения и обстрелом до тех пор, пока цель не перестанет двигаться… несложная штуковина. Робот?
2. Человек — понятие растяжимое. Не знаешь пароль — ты уже не человек. Робот?
3. Самонаводящаяся торпеда. Робот?
Nubus
24.01.2017 06:39+1Основная проблема в том что люди непонимают того что автопилот ? полностью автоматическая доставка из пункта А в пункт Б.
Даже в той-же авиации такого нет, хотя там центры контроля траффика и самолетная начинка представляют собой единый комплекс.
В машинах сейчас каждый сам за себя. Нет объединяющей инфраструктуры даже в пределах города. Пока не будет наземных ЦУП для ВСЕГО городского траффика и пока каждая машина не будет оснащена системами свой чужой, системой обмена маршрутов и сенсорных данных, не будет того автопилота о котором мечтают.
Сейчас люди пытаются на инженерном калькуляторе делать чертежи для зданий. Ну не приспособлены они для этого, отдельные моменты и формулы-запросто, а вот всю систему-нет ее.
Darth_Biomech
24.01.2017 06:42Скорее всего, использование беспилотных автомобилей будет мало отличаться от привычного вождения, разве что именно водить не надо будет: просто водитель будет сидеть за рулём и следить за дорогой, в то время как управлять машиной будет автопилот.
В этом случае технологию автопилота ждет забвение — иначе зачем он тогда вообще нужен?
Ведь её использование подразумевает распространение в качестве культурной нормы такого понятия, как недопустимость замены человеческого внимания автоматизированными системами в ответственных процессах, способных нанести вред здоровью или создать угрозу жизни.
Тем не менее, то что светофоры уже очень давно контролируются компьютерами, однако почему-то никого не волнует «а вдруг оно там откажет чего и включит зеленый когда не надо?», и специальных полиционеров, «готовых в любой момент перехватить управление», на каждом перекрестке не наблюдается.
chieftain_yu
24.01.2017 09:10Тем не менее, то что светофоры уже очень давно контролируются компьютерами, однако почему-то никого не волнует «а вдруг оно там откажет чего и включит зеленый когда не надо?»
Ну, почему не волнует?
Tujh
gsaw
Эти правила не применимы к сущестующим роботам. Все же возможные варианты, когда можно причинить физический или психологический вред не запрограммируешь.
А если эти правила понимать, как законы для роботов, а не для производителей роботов, то как автопилоту, умной кофеварке или термостату объяснить, когда он принесет вред? Что бы кофеварка поняла это, ей надо как мнимум обладать интеллектом/сознанием/понятием на уровне человеческого. А если кофеварка обладает таким же сознанием/пониманием/интеллектом как и человек, является ли она еще роботом, должна ли она жертвовать свой жизнью ради какого-то человека?
TerraV
Робот, который сможет соответствовать этим принципам, будет на пару ступенек выше по лестнице эволюции нежели человек. Либо это будет рекламный булшит.
Tujh
Перепись не знакомых с творчеством Азимова завершена, или ещё нет? :)