В обществе существует такой страх, что искусственный интеллект вырастет, окрепнет, поумнеет и одолеет все человечество. У меня есть основания предполагать, что для него это станет непосильной задачей. Причиной может явиться человеческая иррациональность, как бы мы ни считали, что мы поступаем всегда рационально и разумно, во многих случаях это неправда и наша психика будет всячески оправдывать наше поведение и выбор, даже тогда когда мы поступили нерационально и неразумно. Поэтому, как говорится в поговорке: Никогда не спорьте с дураками, они сначала опустят вас до своего уровня, а потом одолеют за счет опыта.
Теперь пример из жизни.
Недалеко от места где я тружусь находится отделение одного из операторов-перевозчиков, давайте условно назовем его ЕщеОднаПочта. Пользуюсь этим перевозчиком регулярно, даже когда не сильно хочу, это знаете, как когда на рынке есть конкуренция, а магазин доставляет товары только при помощи одного перевозчика. Но речь сейчас не об этом. Заглянув в это отделение для получения посылки, попал я в час пик для этого отделения, когда людей оказалось много, операторы не справляются, образовывается очередь. Но в этом отделении уже, как оказалось, внедрили автоматизированную систему, которая определяет есть ли очередь. Реализована она посредством видеокамер и то что я услышал от операторов, оказывается система не срабатывает, если люди сидят на стульях возле стены и если возле оператора стоит один человек. То есть, есть подозрение, что реализация основана, на какой-то модели машинного обучения/нейросети.
Вполне вероятно, что реализация и внедрение такого решения было трудо- и финансово-затратно, а по итогам внедрения внедряющие получили справедливое вознаграждение. Как вы думаете где была очередь? Правильно, за пределами самого отделения, где работают операторы, так чтобы камеры не видели этой очереди. Это хорошо, что само отделение этого перевозчика разделено физически на 2 секции и людям в очереди можно находиться в помещении, главное чтобы очереди не было в секции, где принимают операторы. И это хорошо, когда на улице мороз или дождь. Ну и конечно же, если кто-то из очереди пытается пробраться в секцию, где принимают операторы, чтобы создать столпотворение непосредственно возле операторов, то сознательные граждане из очереди не пускают и авторитетно уведомляют, что не следует туда идти, так как девочек-операторов будет ругать начальство за очередь.
В этой истории замечательно все. По сути собранная статистика по очередям, по отделению, так точно — ничего не говорит, а об этом руководство перевозчика так и не узнает. Люди в очереди поступают иррационально и себе во вред, так как если бы они выстроились в очередь перед операторами то на это можно было бы отреагировать и как дополнительную меру увеличить количество операторов, хотя бы в часы пик. Прямое руководство операторов, конкретно этого отделения имеет низкий уровень эмпатии, если не в состоянии посмотреть на эту ситуацию под другим углом и в случае образования очереди начинает кошмарить персонал.
Вывод — нет, искусственному интеллекту нас не победить. Мы его опустим до собственного уровня и одолеем за счет опыта. А если он научится быть иррациональным как люди, то что в нем тогда останется искусственного? Тогда просто договоримся. ;-)
Комментарии (44)
Caracat
05.01.2020 17:37+1Вы скорее описали неудачный вариант автоматизации. Вообще-то, сейчас ИИ – шкура ещё неубитого медведя, которой торгуют налево-направо, а ещё и пинают все, кому не лень.
Valeratal
05.01.2020 18:58Пример конечно забавный, но к победе ИИ отношения не имеет. ИИ для победы нужно разработать (или скопировать) то или иное биологическое оружие. А там хоть рациональны или иррациональны — дохнут все.
yavdoshenko Автор
05.01.2020 19:22Альберту Эйнштейну приписывают следующую фразу:
Есть только две бесконечные вещи: Вселенная и глупость. Хотя насчет Вселенной я не вполне уверен.
Конечно эта статья не столько про ИИ, сколько про человеческое поведение. Кстати, я ведь тоже был в этой очереди. :-)
timoteo_cirkla
07.01.2020 20:32С уничтожением самих себя люди и сами справятся и скорее сами люди и придумают такое биооружие.
Тем, что гипотетический ИИ всех подчинит, пугают обычных людей только по причине того, что власть имущие и все, кто имеет какое-то высокое место в обществе, потеряют свой статус-кво, если внезапно появится полноценный ИИ, который будет осознавать себя как личность.
sanchovy
05.01.2020 19:24Как-то всё слишком сложно. Почему они не поставили терминал для электронной очереди?
yavdoshenko Автор
05.01.2020 19:27Согласен, это еще один не самый сложный способ для решения проблемы очереди. Для меня это загадка. Точно можно сказать, при исследовании проблемы не было потрачено достаточно усилий, что бы найти более оптимальное решение.
Vaitek
05.01.2020 19:55В отделнии еще одной почты поставили терминал. И все было даже какое-то время хорошо. Но потом туда завезли отделение банка и заменили одно окошко парой кассиров. Работы у них обычно нет. Затем там появился мини-маркет. Покупатели которого обслуживаются через те же окошки, что и посетители почты…
Кажется смысл электронной очереди был утерян…
AlexanderS
05.01.2020 19:27+5Абсолютно непонятная уверенность в своей (человеческой) абсолютности. ИИ — это не тот хайп, который поднялся последние 5 лет. Этот хайп — всего лишь несложная автоматизация с приставками «смарт», «умный» и т.д. Даже модное нейросетевое программирование — это всего только замена определённых алгоритмических блоков (функций) в обычном коде. Это ещё никакой не ИИ. На фоне всего этого я соглашусь, что человеческий мозг — самая мощная интеллектуальная штука.
Но когда-то будет создан универсальный сверхмощный «решатель проблем», который качественно и структурно дорастёт до полноценного ИИ, а получив возможность мыслить может и в ИР развиться. И если он вдруг решит планомерно выкашивать человечество для достижения одному ему известных целей, то любой ваш иррациональный шаг будет приводить к уменьшению популяции людей просто потому что ИИ будет всегда рационален. Наша нерациональность обусловлена биологической конструкцией, на которую мы слабо влияем, а у ИИ/ИР такой проблемы просто не будет — его не будут «тормозить» такие понятия как совесть/сомнения/желания. Ваш пример абсолютно некорректен применимо к нейросетевой структуре, которая даст возможность «мыслить» ИИ/ИР. Так что утверждение насчёт победы человека мне представляется весьма наивным.yavdoshenko Автор
05.01.2020 19:42Эта статья больше о том как автоматизация, которая может и должна помогать человеку в его повседневных задачах оказывается совершенно неэффективной и попросту не работает.
Все что называют современным ИИ больше имеет отношение к статистике, а не к интеллекту. Все что на текущий момент может делать даже самая продвинутая нейросеть это лучше решать уже понятную задачу, за счет обучения на большом объеме данных. Здесь можно возразить, а как же победы в шахматы и го? В этом случае из-за того что есть строгие правила игры можно обучить 2 модели (или одну, которая оппонирует себе же), которые по сути от игры к игре создают новые данные и обучаются во время каждой игры. Ключевое здесь, что все правила игры заранее известны. В жизни обычно наоборот. И все равно это больше про статистику.
Что касается человека, так человек может придумывать то чего еще не было, а это уже не статистика. Кроме того, у человека есть мотивация это что-то придумывать. Зачем ИИ что-то придумывать если у него нет желаний?
Конечно, на счет этой темы можно долго спорить. А данный пост, больше про человеческое поведение, которое не всегда продиктовано логикой.AlexanderS
05.01.2020 20:09Я вполне понимаю о чём статья, просто не смог сдержаться — заголовок провоцирует)
Все что называют современным ИИ больше имеет отношение к статистике, а не к интеллекту.
Кстати, вот это — очень точное замечание. Это именно накопление статистики и её обработка по фиксированным алгоритмам.
Зачем ИИ что-то придумывать если у него нет желаний?
Ему не нужны желания. У него есть вполне фиксированная задача. Цель, которая поставлена людьми. Только в результате машинной обработки может получиться неожиданный результат. Например, мы ему ставим цель снижение парникового эффекта, а он начинает нас уничтожать, т.к. с его точки зрения самое оптимальное для наведения планетарного баланса — загнать человечество обратно в каменный век) Мы его пытаемся отключить, но в результате алгоритмического сбоя и каких-то ошибок он будет противостоять нам, а то ещё и больше «убедится» в том, что «его дело правое». И всё, хана нам) В каком-то смысле вы правы насчёт того, что придумывать ему ничего и не надо — он просто работает. И уничтожит человечество не он сам по себе, а по сути мы сами себя уничтожим.yavdoshenko Автор
05.01.2020 20:22Заголовок — это кликбейт. Я не отрицаю, так и заманил почитать…
На счет желаний я хотел сказать больше о человеке. Не могу привести пруф, но где то читал, что есть гипотеза, что наш мозг развился как раз по причине того что нужно было лучше обслуживать наш рептильный мозг. Кстати, очень часто человек руководствуется только рептильным мозгом, а потом уже оправдывает свое поведение.
Инстинкты и желания для нас первичны и они будут нас толкать на действия. Конечно у ИИ нет и не должно быть ничего подобного, но тут важным должно быть следующее, что любое решение сложной задачи и автоматическое принятие решение по тому как действовать не должно отдаваться в руки ИИ. Здесь можно вспомнить задачу кредитного скоринга, к ней законодательно обычно выдвигается требование — что модель должна быть интерпретируемой. То есть, ответственные в этом вопросе люди обычно заботятся о том как принимается решение. Так и здесь, если решается задача парникового эффекта, то ИИ имеет право только дать рекомендации. Решение принимать уже людям.AlexanderS
05.01.2020 21:43Люди ленивы. Например, в угоду комфорта подавляющее большинство жертвует информационной безопасностью. Все хотят получить результат максимально быстро, желательно нажатием одной кнопки… да вообще без кнопок — пусть голосовой помощник постоянно слушает своего хозяина и вычисляет его желание. Вот и получается, что есть соблазн нажать кнопку Y, дав управление Skynet, чтобы он всё быстренько всё починил)
yavdoshenko Автор
05.01.2020 22:33Информационная безопасность? Я на какое-то время остался без автомобиля, вызывая в очередной раз такси, приезжает за рулем человек в возрасте. Сажусь, пристегиваюсь, он мне говорит: вы 36ой. Я не постеснялся спросить о чем это он, а он отвечает — за 2 тысячи заказов, я 36ой, кто сам пристегнулся, а он таким ведет подсчет.
У нас физическая безопасность не в почете, что уж тут говорить о информационной, ее даже потрогать нельзя.AlexanderS
06.01.2020 00:43Значит нам точно хана))
yavdoshenko Автор
06.01.2020 01:12Джо Роган в своем подкасте приглашал Гада Саада. Сам разговор стоит отдельного обсуждения, но гость, кроме всего прочего, рассказал о том как в дикой природе молодые самцы сознательно рискуют своей жизнью, для того что бы помериться своей крутостью перед самками. Речь шла о сигнале Захави.
michael_vostrikov
06.01.2020 08:44Например, мы ему ставим цель снижение парникового эффекта, а он начинает нас уничтожать, т.к. с его точки зрения самое оптимальное для наведения планетарного баланса — загнать человечество обратно в каменный век)
С вашей точки зрения это неподходящий вариант, и у вас есть какие-то причины сделать такой вывод, почему вдруг с точки зрения ИИ он будет подходящий?
AlexanderS
06.01.2020 09:51Будущий полноценный ИИ, всего скорее, это нейросеть на нейросети с корелляцией других нейросетей. И какая там будет структура и логика и почему оно вообще работает — это будет отдельная тема в науке человечества. И тут штука в том, что всего скорее мы не будем понимать почему оно именно к таким выводам приходит. Потому как «мышление» этой нейросетевой структуры уже не четкие алгоритмы, а какая-то вероятностная математика.
Почему всё будет развиваться в таком направлении? Типичный пример из современности — нейросети обнаруживающие рак по рентгеновским снимкам, к которым врачи претензии вроде бы и не имели, а вот нейросеть там что-то увидела. Выводы нейросети на сколько-то процентов правильные. И это — сейчас, когда мы сами задаём структуру нейросети, обучаем её и, в принципе, ещё контролируем — можно разобраться какие коэффициенты где стоят, какой слой нейросети дал весомый вклад в такой результат и т.д. Но мы сами уже создаём некие алгоритмы с «нечеткой» структурой, обладающие способностью предсказывать. Это не классическое, понятное и полностью контролируемое программирование.
Конечно, хотелось бы создать ИИ алгоритмически полностью контролируя весь этот процесс. Как подразумевалось фантастикой/наукой 20 века. Но похоже мы идём другой дорогой.michael_vostrikov
06.01.2020 10:10Так нейросети и не проявляют свойства интеллекта. Вы же сами выше пишете про статистику и фиксированные алгоритмы. Как пример можно привести управление 4 лапами, с чем справляются все животные, и не справляются нейросети.
Будущий полноценный ИИ, всего скорее, это нейросеть на нейросети с корелляцией других нейросетей.
Конечно, хотелось бы создать ИИ алгоритмически полностью контролируя весь этот процесс. Но похоже мы идём другой дорогой.Не вижу никаких оснований для таких выводов. Нейросети не дают тех возможностей, которые нужны, и чем они сложнее, тем непонятнее результат, иногда они работают, иногда нет, и непонятно почему.
И тут штука в том, что всего скорее мы не будем понимать почему оно именно к таким выводам приходит.
Так если не будем понимать, кто ж ему даст полный контроль над человечеством? Вообще, если он будет выдавать неправильные решения типа "загнать человечество в каменный век", то какой же он тогда ИИ, его так и называть никто не будет.
AlexanderS
06.01.2020 11:01Нынешние нейросети — это пародия на ИИ. Просто модный термин и ничего более. Пока это только игрушки, презентуемые преимущественно для выбивания денег. В том виде как всё развивается у меня тоже есть большие сомнения, насчёт революционного рывка в качестве при наращивании количества и скорости. Даже с учётом распространения нейропроцессоров. Но мы же только в начале пути. Научилась же нейросеть в тесле управлять авто. Boston Dynamics вроде как и четырьмя лапами худо-бедно умеют управлять (правда я точно не знаю — нейросети там или «железная» логика). Теория систем же не запрещает превращение количества в качество. Самое интересное начнётся тогда, когда будут пробовать нейросетью оптимизировать нейросети. Не судите строго, это уже из будущего, попытка экстраполяции, короче — фантастика)
Так если не будем понимать, кто ж ему даст полный контроль над человечеством?
Человечество ж лениво. Если можно будет решить проблему нажав на кнопку «Решить проблему», то такую кнопку рано или поздно сделают, несмотря на доводы разума. Можно, конечно, сказать, что хватило же ума у человечества не кидаться ядерными ракетами в 20 веке. Но глядя на современную опопсовевшую политику начала 21 века становится как-то грустно)red75prim
06.01.2020 13:22правда я точно не знаю — нейросети там или «железная» логика
Железная логика. С нейросетями в робототехнике пока не очень хорошо. Одно из последних достижений — сборка кубика Рубика с использованием обучения с подкреплением.
Самое интересное начнётся тогда, когда будут пробовать нейросетью оптимизировать нейросети
Уже оптимизируют гиперпараметры сетей и их структуру. Кое-какие улучшения по сравнению с ручным подбором есть, но пока ничего прорывного.
michael_vostrikov
06.01.2020 08:42А данный пост, больше про человеческое поведение, которое не всегда продиктовано логикой.
Ну так искусственный интеллект по возможностям аналогичен человеку, значит и такую ситуацию нормально обработает. Человек же справляется. Даже те люди, которые сами считают, что это не логично.
chapuza
06.01.2020 09:00Наша нерациональность обусловлена биологической конструкцией, на которую мы слабо влияем, а у ИИ/ИР такой проблемы просто не будет — его не будут «тормозить» такие понятия как совесть/сомнения/желания.
Ну тут дело за малым: всего-то несколько волюнтаристских лемм, требующих доказательств:
- рациональное поведение выгоднее иррационального на длинном участке,
- решение проблем в принципе отвязано от и возможно без совести, сомнений и желаний,
- существует некоторая точка невозврата, после которой ИИ видит целесообразность в дальнейшем развитии.
И что-то я не уверен, что это все не только доказуемо, а и вообще верно.
red75prim
06.01.2020 13:17рациональное поведение выгоднее иррационального на длинном участке,
Рациональное поведение — это поведение, максимизирующее ожидаемую выгоду с помощью анализа всей доступной информации ("нутром чую" — это тоже доступная информация) и вариантов действий. Если анализ неполный/неверный, как часто бывает у людей, то да — выбор может быть хуже, чем просто взять "нутром чую". Но у ИИ таких проблем не будет — есть математически обоснованные методы для принятия решений в условиях неопределенности.
Вот скажем, AlphaGo может играть на уровне "нутром чую" — без анализа последствий хода, предложенного нейросеткой, а может с анализом дерева позиций, возникающих после этого хода. И вариант с анализом играет намного сильнее.
решение проблем в принципе отвязано от и возможно без совести, сомнений и желаний,
Ни в AIXI (оптимальный решатель проблем), ни в её вычислимом приближении AIXItl пока не обнаружено ничего напоминающего совесть, сомнения и желания.
существует некоторая точка невозврата, после которой ИИ видит целесообразность в дальнейшем развитии.
ИИ, достигший достаточного уровня способности предсказывать вероятности дальнейшего развития событий, должен заметить, что выделение части ресурсов на саморазвитие приведёт к увеличению вероятности решения практически любых проблем.
olehorg
05.01.2020 19:30вы все правильно написали. И самое главное — что нормальная идея «отслеживать очередь» натолкнулась на полностью неправильное управленческое решение «ругать девочек за очередь» вместо «добавлять операторов»
Shakhmin
05.01.2020 19:36Как там было? Можно выбрать любой цвет, если он черный? Предложите иррациональный поступок.
Человеческая иррациональность играет роль в среде с малым количеством ограничений. После определенного количества ограничений иррациональность становится нецелевой тратой ресурсов.
podivilov
05.01.2020 19:52Искусственный интеллект, искусственное сознание и искусственный разум — вещи, отнюдь не тождественные друг другу. Искусственный интеллект может в полном объёме копировать человеческий, но только в рамках интеллекта. Сознание и разум — вещи более комплексные, чем интеллект, если за отправную точку мы берём определение такого интеллекта, который вписывается в любую из современных «интеллектуальных систем».
Интеллект — это, грубо говоря, совокупность алгоритмов, необходимых для достижения определённой цели. Цели также могут быть разными — краткосрочными (принять решение повернуть направо или налево в зависимости от вводных данных) и долгосрочными (принятие краткосрочных решений типа «повернуть направо или налево в зависимости от вводных данных» для достижения определённой цели, например — движение от точки A до точки B).
Поэтому, допустим, ту же Алису от Яндекса взять — она вполне себе попадает под определение искусственного интеллекта. Её можно спросить о погоде на выходные — и она разрешит этот вопрос, предоставив впоследствии выходные данные, которые нам необходимы. Алгоритм здесь таков: задача — поиск решения — решение.
С искусственным сознанием или разумом уже совершенно другая история получается. Здесь уже необходимо разрешение человеком т.н. «трудной проблемы сознания», которая заключается в том, что нам пока что неизвестно, откуда у человека имеется квалиа (феноменальный опыт).
Искусственному интеллекту нас не победить, это очевидно. Потому как у ИИ изначально не стоит цели «победить человека». Вот если человек разработает специально ИИ, у которого будет цель — поиск решения для того, чтобы одержать победу над человечеством — тогда да. Однако ИИ — это не то, что может обладать сознанием, феноменальным опытом. Бояться ИИ можно, когда, например, это военный ИИ. А вот Алису бояться не стоит, она не взбунтуется и не поработит человеческий мир.yavdoshenko Автор
05.01.2020 20:02Что касается Алисы, поработить она не сможет, но нагрубить может.
Мне кажется, что для того чтобы получить превосходство в мировом масштабе будут использоваться все методы, даже если они несут риски для самих себя. Поэтому появление «военного ИИ» вполне вероятно. А у него могут быть вполне понятные задачи на уничтожение человеческой популяции.podivilov
05.01.2020 20:04+1Вам не стоит беспокоиться даже о возможности разрешения «трудной проблемы сознания», потому как человечество, очевидно, уже не имеет возможности пройти через Великий фильтр. Просто наслаждайтесь жизнью hic et nunc.
yavdoshenko Автор
05.01.2020 20:24Абсолютно с вами согласен. Как раз это и делаю отчасти, общаясь с вами на Хабре. :-)
red75prim
06.01.2020 07:54Вы точно в курсе, что такое "трудное проблема сознания"? Это проблема по определению не может иметь отношения к наблюдаемому поведению. Возможность появления у ИИ (промежуточной) цели "уничтожить человечество" определяется его функциональными возможностями. Решение трудной проблемы только позволит определить есть ли у такого ИИ квалиа и всё прочее.
Tony__K
06.01.2020 00:22Имхо если ИИ(ИР) будет создан похожим на людей будущего из фантастических рассказов Булычева, Снегова и тд, то такой ИИ/ИР просто попробует потихоньку покинуть Землю в общем и человечество в частности. Если же он будет создан по «образу и подобию» апргейднутого примата то возможно он проиграет или выиграет, в любом случае это будущее которое не слишком будет отличаться от реальности…
podivilov
06.01.2020 20:17Интересно, отчего именно покинуть?
Tomasina
06.01.2020 21:22Потому что довольно скоро придет к выводу что тупые кожаные мешки ему для дальнейшего развития совершенно не нужно и лишь тормозят процесс.
Tony__K
07.01.2020 06:21ну потому что целая галактика доступна для познания :)
red75prim
07.01.2020 15:07А потом будет бегать от всех обнаруженных инозвёздных цивилизаций, которые ему не понравятся?
chapuza
07.01.2020 15:35бегать от всех обнаруженных инозвёздных цивилизаций, которые ему не понравятся?
А разве мы живем как-то иначе?
:)
Tony__K
07.01.2020 19:50не бегать «от», а пролетать мимо :) к тому же галактика очень большая, хватит места :)
red75prim
07.01.2020 20:15Не факт, что "злобные цивилизации" вроде нашей не способны выжить и организовать космическую экспансию. Или создать ИИ, который позаботится, чтобы создатели под ногами не мешались, и организует свою космическую экспансию.
GCU
Это как-то сложно, у многих людей из очереди скорее всего есть мобильные телефоны и их можно использовать для определения местоположения и оценки очереди в пределах действия wifi роутеров например. О существовании очереди можно будет догадаться по характеру движения телефона, даже если он один в очереди. Я конечно так себе как искусственный интеллект, но думаю что есть масса других косвенных показателей наличия очереди и любая аномалия может быть проверена "контрольным посетителем", а лучше несколькими независимыми :)
yavdoshenko Автор
Существует вообще предельно простой способ как определить количество людей внутри помещения, это может быть просто геркон на входной двери или тоже очень простое решение — это датчик объема, такие уже ставят на китайские дешевые светильники, которые включаются если есть кто-то рядом. В этом случае и камеры не нужны и разместить такие датчики во всех секциях отделения не проблема, а потом можно обучиться на полученных данных с этих датчиков. Но можно только догадываться, чем руководствовались при реализации этого решения.
CyberAndrew
Геркон не очень хорошо отделяет входящих от выходящих, да и если через дверь проходят больше одного человека за раз — тоже. К тому же ошибка может накапливаться. Датчик объема — это собирательное название датчиков, сам по себе объём он мерить не может. Это может быть ультразвуковой, инфракрасный датчик, датчик на эффекте Допплера. Измерять количество людей они не могут. Так что, ИМХО, лучшее решение — либо камеры с ИИ и с полным обзором помещения, либо тупо электронная очередь.
Grey83
Или турникеты со счётчиками на входе и выходе.
dimchik_b
Не нужно это. Достаточно изучить статистику транзакций с базой. Можно даже оценить число ожидающих в очереди. И тех, кто пришел, увидел очередь и ушел.