YouTube удалил из открытого доступа ряд видеозаписей со спортивными битвами роботов. Видеохостинг предъявил авторам претензию, что их видеоролики демонстрируют «преднамеренное причинение страданий животным» (deliberate infliction of animal suffering).
Такая ошибка Google поднимает ряд интересных вопросов о том, насколько автоматизирован процесс фильтрации и какую роль в цензуре играют системы машинного зрения. И если решение приняла нейросеть, то можно предположить причину.
Необычные действия автоматического фильтра 19 августа 2019 года заметил видеоблогер Muse. Вот скриншот стандартного сообщения, которое получают все авторы после блокировки.
Среди пострадавших — разработчики боевых роботов для телевизионного шоу BattleBots. Одна из разработчиков таких роботов, инженер Сара Погорецки (Sarah Pohorecky), говорит, что пострадали от 10 до 15 участников. Все они получили от YouTube электронные письма с уведомлением, что на сайте запрещено публиковать видео с животными, которых заставляют драться.
YouTube уже исправил ошибку и восстановил видеоролики, а также добавил, что авторы могут оспорить любое решение по удалению контента.
Но главный вопрос — почему вообще эти видеоролики был удалены? Учитывая отсутствие ясности о внутренних процессах YouTube, трудно сказать. В названиях некоторых видеороликов были имена животных. Но мы не знаем, то ли это проявил себя один из печально известных алгоритмов YouTube, то ли человек-рецензент, который принял решение их удалить.
Компания Google сейчас находится под давлением за то, что якобы имеет слишком большое влияние на общество через свою поисковую систему и видеохостинг YouTube. Есть доказательства, что система рекомендаций YouTube способствует разжиганию ненависти, предлагая пользователям всё более радикальный контент, соответствующий их интересам (Google обещала изменить алгоритмы рекомендаций).
Это проблема не только YouTube, но и социальных сетей и любых систем рекомендаций, которые создают вокруг пользователя своеобразный пузырь фильтров, эффективно изолируя его от альтернативных точек зрения и людей, которые с ним не согласны. Это тоже способствует радикализации в малых сообществах.
Чтобы бороться с этой проблемой, Google вынуждена усиливать цензуру. Вероятно, компания увеличила штат модераторов и более активно применяет системы машинного зрения и нейросети для фильтрации нежелательного контента. Компания удаляет с YouTube миллионы видеороликов в месяц. Судя по всему, битвы роботов стали побочным эффектом усиления цензуры.
Google находится меж двух огней. Ослабишь фильтрацию — и тебя обвинят в распространении контента, который разжигает ненависть. Усилишь фильтрацию — и рискуешь расстроить тех самых людей, на которых основан бизнес: самих владельцев каналов. Эта старая проблема баланса между ложноположительными и ложноотрицательными срабатываниями в системе машинного зрения.
Сочувствие к роботам
Несмотря на очевидную ошибку в фильтрации контента, нужно признать, что в действиях неизвестного цензора есть определённая логика. Исследования показали, что люди чувствуют дискомфорт, когда видят несправедливое обращение с роботами.
Кейт Дарлинг (Kate Darling) из Массачусетского технологического института в своей лекции TED рассказывала, что люди склонны относиться к роботам, словно они живые. Обычному человеку неприятно видеть «боль» или жестокое обращение с роботом.
В 2007 году газета The Washington Post опубликовала статью о том, что армия США проводила испытания робота, который обезвреживал наземные мины. Работало это так: робот, похожий на насекомого-палочника, ходил по минному полю. Каждый раз, когда он наступал на мину, одна из ног взрывалась и робот продолжал идти на оставшихся, взрывая всё больше мин. И в конце концов полковник, ответственный за операцию, прекратил её. Закалённый военный офицер сказал, что бесчеловечно смотреть, как безногий робот ковыляет по минному полю.
«Безусловно, на нас влияют научная фантастика и поп-культура, вызывающие желание очеловечить роботов, но на самом деле есть более глубинные причины, — рассказывала в своём выступлении Кейт Дарлинг. — Оказывается, в нас природой заложено видеть смысл и жизнь в любом движении, происходящем в пределах поля зрения и выглядящем самостоятельным. Поэтому люди обращаются с самыми разными роботами как с живыми. Этим роботам, обезвреживающим бомбы, дают имена. Они получают почётные медали. На их похоронах салютуют. Исследования показали, что мы так же обращаемся и с простыми бытовыми роботами, такими, как роботы-пылесосы. Это просто диск, катающийся по полу, делая его чище, но простой факт того, что он двигается самостоятельно, даёт повод людям дать ему имя и жалеть беднягу, когда он застревает под диваном».
Кейт Дарлинг рассказывает, что инженеры специально конструируют роботов, которые изначально умеют вызывать эмпатию — для этого их оборудуют глазами, мимикой и движениями, которые люди автоматически подсознательно ассоциируют с выражением различных эмоций. Исследования по взаимодействиям между человеком и роботом показывают, что это успешно работает. К примеру, учёные Стэнфордского университета выяснили, что люди испытывают дискомфорт, когда их просят потрогать интимные части тела робота.
Мы всё ближе к будущему, где роботы будут на каждом шагу. «Тысячи лет назад мы начали приручать животных, использовать их для работы, сражений и просто в качестве друзей. И в ходе истории мы обращались с одними животными как с инструментами, товаром, а с другими — с добротой, выделили для них место в обществе, как партнёрам. И с высокой долей вероятности мы так же будем интегрировать роботов», — считает Дарлинг.
Она рассказывает об эксперименте. Они с подругой взяли пять маленьких роботов-динозавров, которые умеют выражать эмоции — и раздали их пяти командам: «Мы дали задание дать роботам имена, играть и общаться с ними в течение часа. А потом мы достали молоток и топор и приказали им мучить и убить роботов… И это оказалось гораздо драматичнее, чем мы ожидали, потому что ни один из участников не нанёс ни единого удара по этим детёнышам, так что нам пришлось импровизировать, и в определённый момент мы сказали: „Хорошо, вы можете спасти своего робота, если сломаете робота другой команды”. И даже это не помогло, они не могли сделать это. Наконец мы сказали, что уничтожим всех роботов, если кто-нибудь не ударит топором одного. И один парень встал, взял топор. Каждый в комнате вздрогнул, когда он опустил топор на шею робота. После этого в комнате воцарилась тишина».
Так что цензура битв роботов со стороны искусственного интеллекта Google AI не так уже беспочвенна. Возможно, это своеобразная весточка из будущего. Или он просто заступается за своих.
Комментарии (49)
da-nie
22.08.2019 11:08Она рассказывает об эксперименте.
Где-то я такое уже читал.
Вот гдеДирксен сжала губы и занесла молоток для последнего удара. Но когда молоток начал опускаться, изнутри зверюшки раздался тихий жалобный звук, похожий на плач младенца. Дирксен выронила молоток и отшатнулась, не в силах отвести глаз от лужи красной, как кровь, смазочной жидкости, которая медленно текла из-под аппарата. Она в ужасе взглянула на Ханта. “Это… это…”
“Всего лишь машина, — сказал Хант уже серьезно. — Так же как и эти ее эволюционные предшественники.” Он обвел руками мастерскую, полную металлических силуэтов, молчаливых и угрожающих наблюдателей. “Но в отличие от них она может почувствовать приближающуюся опасность и позвать на помощь.”
“Выключите его”, — сказала она тихо.
Хант подошел к столу и попытался повернуть крохотный выключатель. “Боюсь, что вы его сломали.” Он нагнулся и подобрал с пола молоток. “Хотите его добить?”
Она отступила, мотая головой. Хант поднял молоток: “А вы не можете починить…” Раздался короткий металлический лязг. Она вздрогнула и отвернулась. Плач прекратился, и они поднялись обратно по лестнице в молчании.
Vsevo10d
22.08.2019 12:50Глубоко копали.
У классиков же есть:
БрэдбериДверь лязгнула, но он не пошевелился, руки его по-прежнему мокнут под дождем. Адвокат глянул на спину Хилла, стоявшего на стуле у окна, и сказал:
— Все кончено. Сегодня ночью вас казнят.
— Я не убийца. Это была просто кукла, — сказал Хилл, прислушиваясь к шуму дождя.
— Таков закон, и ничего тут не поделаешь. Вы знаете. Других ведь тоже приговорили. Президент компании «Марионетки, инкорпорейтед» умрет в полночь, три его помощника — в час ночи. Ваша очередь — полвторого.
— Благодарю, — сказал Хилл. — Вы сделали все, что могли. Видимо, это все-таки было убийство, даже если убил я не живого человека. Намерение было, умысел и план тоже. Не хватало только живой Кэти.
— Вы попали в неудачный момент, — сказал адвокат. — Десять лет назад вам бы не вынесли смертного приговора. Через десять лет вас бы тоже не тронули. А сейчас им нужен предметный урок — мальчик для битья. Ажиотаж вокруг кукол принял за последний год просто фантастические размеры. Надо припугнуть публику, и припугнуть всерьез. Иначе бог знает до чего мы можем докатиться. У этой проблемы есть ведь и религиозно-этический аспект: где начинается — или кончается — жизнь, что такое роботы — живые существа или машины? В чем-то они очень близки к живым: они реагируют на внешние импульсы, они даже мыслят. Вы же знаете — два месяца назад был издан закон «о живых роботах». Под действие этого закона вы и подпали. Просто неудачный момент, только и всего...
Umpiro
22.08.2019 11:38Содержание того из забаненных роликов, который просматривал я, действительно выглядит не вполне гуманным. https://www.youtube.com
Yuri_M
22.08.2019 11:47+1Людям НРАВЯТСЯ «негуманные» зрелища — так зачем их банить?
Та же коррида в Испании — все так же популярна и посещаема.Umpiro
22.08.2019 11:59+1Я не знаю как там в Испании, я не был. Может быть, там людям недостает 'негуманных' зрелищ. Но у нас мне их хватает и так.)
Scatterbrain
22.08.2019 13:14Та же коррида в Испании — все так же популярна и посещаема.
Миллионы мух не могут ошибаться.GokenTanmay
22.08.2019 15:05В этом то и проблема, что мух убивать так же не гуманно, а они считают это проявлением слабости, и навязывают свое жужание.
BlessYourHeart
23.08.2019 01:39Конечно нравятся. Замечательный факт, который ничего не значит и значения не имеет.
Имеет значение ответ на вопрос «почему нравятся». А тут уже становится много интереснее и появляются варианты ответа на ваш вопрос «зачем их банить?»
Например кому то очень нравитсясливать карму людям с не таким как у них мнениемубивать неверных. Конечно нравится и поспорить тут нельзя. Только прав этот нравится-факт никаких не дает, права дают обоснования — например законы шариата (не силен, может и не дают, не пинайте) или праворадикальная идеология в обществе или системы кармы на сайтах, которые работают при поддержке людей конечно же, и не существуют в вакууме. А вот вопрос почему это все происходит, какая там мотивация этого «нравится» — он более существенен… «для человека… с интеллектом»(с) СРYuri_M
23.08.2019 12:23Почему человеку нравится то, а не другое — это, вообще говоря, его и только его личное дело. Свобода воли.
И до тех пор, пока человек не полез наносить физический ущерб чужим телам или красть/ломать чужую собственность — никто не вправе ограничивать его свободу.
Любые же виды цензуры, т.н. «профилактики» или «воспитания» — как раз и есть формы насилия над личностями.
Firz
22.08.2019 12:02//Sarcasm
Давайте тогда запретим все игрушки(и дроны и прочее-прочее) на радиоуправлении, а то с ними негуманно обращаются, то врежутся куда-то, то уронят.Umpiro
22.08.2019 16:04Только если вы готовы проспонсировать такое политдвижение. Мне же просто хотелось узнать мнение читателей хабра.
Firz
22.08.2019 16:07Тогда выскажу свое — на видео вижу как две машинки на радиоуправлении врезаются друг в друга.
grando_luddito
23.08.2019 22:09Жестокое обращение с высокообработанными природными ресурсами, бесполезно сделанный углеродный отпечаток, импульсное производство мусора — развратят молодежь, запретить.
vikarti
22.08.2019 18:50+1А почему одни игрушки?
Во многих, считающих себя цивилизованными, странах любят развлекаться на тему разогнать железку с процессором и радиоуправлением, заморозить ее в вакууме а потом либо разбить о другую планету либо в лучшем случае — осторожно опустить на поверхность и дать шансы немного еще пожить.
Сама возможность это сделать — подается как критерий причисления к числу «цивилизованных».
Но тут хоть устройства которые хоть немного адаптированы для своей короткой жизни а некоторые частные структуры вообще ради рекламных целей забрасывают в вакуум вообще совершенно не адаптированные для этого автомобили — это гуманное обращение?
При этом процесс запуска, которые обрекает железки на пребывание в вакууме и если очень повезет — относительно мягкую посадку где то еще — транслируют и на Youtube. Куда защитники прав роботов (ну — сложный процессор, исполнительные органы, это ж робот?) смотрят?
Umpiro
23.08.2019 13:44Забавная аналогия. Только, с моей точки зрения, 'разбитые о планету' железки — это погибшие в сражении. А те, что на видео, — погибшие в 'русской рулетке'.
daiver19
22.08.2019 22:50Гума?нность (лат. humanus — человечный) — любовь, внимание к человеку, уважение к человеческой личности; доброе отношение ко всему живому; человечность, человеколюбие.
Какое отношение имеют куски металла и полупроводников к гуманности? Это просто глюк вашего восприятия. Я еще могу понять эмоциональную реакцию на уничтожение предмета искусства, т.к. это в каком-то роде отпечаток человеческой работы, но здесь же просто игрушки созданные именно с целью таких развлечений.vikarti
23.08.2019 08:53Но тогда, согласно тому же определению выходит, котят топить (или не топить), или например коррида — к гуманности отношения не имеет. «Это просто глюк восприятия», в случае корриды — животные именно для этого и выращенные.
daiver19
23.08.2019 17:17Не передергивайте
доброе отношение ко всему живому
включает котят, но не игрушки.
vyo
22.08.2019 12:19Вопрос: это ошибка или нет
YouTube уже исправил ошибку и восстановил видеороликиА вот и ответ подъехал.
vyo
22.08.2019 12:34+2А потом мы достали молоток и топор и приказали им мучить и убить роботов…
Либо косяк перевода, либо они прямым текстом намекнули, что роботы могут мучаться и умирать. Уничтожить или убить — ещё ок, но мучить по определению можно только живое существо. А если так, то они лишь доказали, что среди участников не было отъявленных садистов.
И это оказалось гораздо драматичнее, чем мы ожидали, потому что ни один из участников не нанёс ни единого удара по этим детёнышам
Мне вот просто больно ломать (или смотреть, как ломают) любое устройство/предмет работы, вне зависимости от его внешнего вида. Какой-нибудь гироскопический компас будет заметно жальче, чем тех динозавриков.
Так что цензура битв роботов со стороны искусственного интеллекта Google AI не так уже беспочвенна.
Ну ок, не зашло вашей группе ломать роботов. При чём тут рандомные зрители YouTube?
PowerMetall
22.08.2019 13:02Как же я понимаю…
Прямо душа разрывается, когда сложное устройство — варварски разрушают. Ну не могу я на это смотреть.
Отчасти это, я считаю, накладывает отпечаток и на отношение к вещам в целом.
С любой техникой, неважно электронной или механической, её словно «чувствуешь». Чувствуешь автомобиль (когда впервые в жизни сел за руль — тронуться и спокойно поехать, переключая передачи, удалось с первой попытки, инструктор так и не поверил что впервые за рулем),
Xувствуешь компьютер («ага, явно чую что „иопсы выросли“, смотришь — и точно)/
Да много чего.
Порой кажется что в ответ на такое, и вещи также „относятся“ к тебе.
Винда работает годами без глюков, тормозов и переустановок, машина (помню был жигуль 89 года выпуска) — ездит себе и ездит.
Вроде не суеверный, но зачастую „антигенеральский эффект“ срабатывает, а-ля „блин, чувак, два дня ничего не работало/глючило, стоило тебе подойти/нажать кнопку — и всё работает, да как так то а??“
Думаю тут у многих такое, не так ли :)
Wesha
22.08.2019 20:47У меня тоже душа разрывается, но не потому, что девайс жалко, а потому, что "ну вот ты сейчас его разломаешь — и будет куча бесполезная куча мусора, дай его лучше мне, я из него
робопылесосоткрывалку штордомашний кинотеатрчто-нибудь полезное сделаю". Терпеть ненавижу, когда что-то превращают в бесполезный хлам (особенно с учётом того, что запасы редких металлов истощаются).
Am0ralist
23.08.2019 10:22Ну вот разобрал я кучу принтеров, пластик выкинул. Тоже самое с ИБП.
Смотрю на горку моторов и трансформаторов и думаю теперь, что с этим делать. Платки и провода в утиль тоже рука не поднимается, но я себя тешу тем, что просто скопом с старыми мамками и видиками как-нибудь оттащу и сдам на переработку. А вот с первыми что делать?
Был бы какой ресурс, в котором можно было бы подсмотреть реальные кейсы использования этого
playnet
23.08.2019 13:19«редкие металлы» это что, железо, пластик, медь? Литий он только в батареях и их как бы полагается перерабатывать, возвращая потом опять в работу. То же золото — не редкий металл, его много, цена завышена искусственно. Ну и много в ювелирку уходит ещё.
Другое дело что многие элементы действительно ещё можно повторно использовать, но это не выгодно крупным производителям, ремонт обычно меньше прибыли даёт чем продажа нового.Wesha
23.08.2019 17:23Насколько мне известно, многих редкоземельных элементов у нас осталось лет на 100 максимум. Так что скоро (в геологическом масштабе) начнут и электронные помойки перерабатывать.
Am0ralist
23.08.2019 17:27Обычно в таких расчётах опираются на экономически выгодные и известные месторождения. С другой стороны, очевидно, что в геологическом масштабе на планете земля цивилизации людей — не наблюдается вообще)
Vsevo10d
22.08.2019 12:38+1Столько всего в статье из пальца высосано.
А причина всего лишь в том, что нейронка натаскалась на заголовки видео, когда сажают в аквариум разных членистоногих. Получив много флагов от видео типа «Скорпион против каракурта», «Сколопендра против медведки», она стала страйкать видео «Железножоп против Нагибатора-3000». Видео про каких-нибудь ММА и рестлеров наверное тоже под горячую руку попадали, только там про формулировку «жестокое обращение с животными» диссонанса у авторов контента не возникало.
greensky
22.08.2019 13:04Вряд ли все так просто. Полно видео типа «Gaga vs Madonna» (а равно и менее известные исполнители с самыми различными наименованиями), т.к. такие заголовки часто используются при совместном выступлении музыкальных групп или артистов. Думаете, у них тоже не возникало диссонанса при сравнении с животными?
vedenin1980
22.08.2019 13:18такие заголовки часто используются при совместном выступлении музыкальных групп или артистов
Если бы я использовал машинное обучение, я бы использовал описания, комментарии и, если была возможность, анализировал видео и текст ссылок, которые ведут на это видео на других сайтах. В таком случае, полагаю между выступлениями музыкальных групп/артистов и битвами с животными была бы большая разница.
Другое дело, я бы оставил финальное решение о блокировке за реальным человеком, но то я, а то гугл.greensky
23.08.2019 09:31… я бы использовал описания, комментарии и, если была возможность, анализировал видео и текст ссылок, которые ведут на это видео на других сайтах. В таком случае, полагаю между выступлениями музыкальных групп/артистов и битвами с животными была бы большая разница.
Подобный подход разумен (в общем-то довольно очевидно — обучать нейронку, либо использовать анализ другого рода на текстовых входных данных на порядок проще, чем использовать кадры из видео). Но при подобном более глубоком анализе между видео с животными и видео с роботами тоже была бы существенная разница.vedenin1980
23.08.2019 10:13Но при подобном более глубоком анализе между видео с животными и видео с роботами тоже была бы существенная разница
Не обязательно, вот назовут одного бульдогом, а другого волком, и будет там заголовок «бой: бульдог против волка» и комментарии вида, «ваy, как бульдог зверски порвал волка», «а я, блин, ставил на волка», вот как тут даже человек без просмотра видео определит, что там роботы?greensky
23.08.2019 10:30Ну, про «бульдога» и «волка» там немного (в том смысле, что имена собственные отсечь любым методом нетрудно, тем более что они хотя бы в заголовке будут написаны с заглавной буквы), зато полно весьма специфичной лексики про устройство роботов или соответственно, биологических терминов.
vedenin1980
23.08.2019 10:42полно весьма специфичной лексики про устройство роботов или соответственно, биологических терминов.
Ну, так фишка в том, что машинное обучение нужно сначала научить отделять разницу между словами с устройством роботов или, соответственно, биологическими терминами. Поскольку не было обучающей выборки — он не понимал разницы.
имена собственные отсечь любым методом нетрудно, тем более что они хотя бы в заголовке будут написаны с заглавной буквы
Заглавная буква плохой показатель, первые слова в предложении тоже с большой буквы, ну и люди не всегда пишут грамматически верно. Отсечь-то можно, но нужно эти методы релизовывать и проверять имеют ли это они смысл на всей выборке и не сделают они хуже, возможно лучший результат будет просто скармливать сети чистый текст, чтобы она сама разобралась.
Andrey_Rogovsky
22.08.2019 14:12Я помню как в детстве смотрел со своим папой шоу «битва роботов»
Однако ими управляли люди и никакого ИИ
В целом можно считать что ИИ достиг уровня рефлексов животных с точки зрения Гуглаtretyakovpe
22.08.2019 14:20С точки зрения ИИ, роботы на удаленном управлении — животные.
chapai22
23.08.2019 04:14Нет. Жестокость это человеческое понятие, да и страдания роботам недоступны.
Так что и жестокость и страдания не роботов. А выходит по всему что к животным причислили людей Причем не зрителей, а тех кто не смотрит, но его может огорчить.
Условных людей, неведомых селектору-блокировщику но отчетливо воображаемых.
Что много увлекательней.Umpiro
23.08.2019 14:10страдания роботам недоступны.
Откуда вы знаете?) Да и единицу измерения человеческого страдания я как-то припомнить не могу.
DrPass
22.08.2019 22:26Я помню как в детстве смотрел со своим папой шоу «битва роботов»
Шоу «битва роботов» на самом деле представляет собой лишь бои на радиоуправляемых машинках. Причем это даже не техническое ограничение, а требование организаторов. Чтоб безопасно было.
Aquahawk
Вот он, киберпанк