Уровень развития искусственного интеллекта сейчас достиг таких высот, что руководителям IT-корпораций иногда приходится жать на «красную кнопку». То есть, останавливать реализацию некоторых проектов с применением искусственного интеллекта, чаще всего — по этическим соображениям.
И речь здесь вовсе не о проблемах, красочно показанных Джеймсом Кэмероном в «Терминаторе». Искусственный интеллект неспособен угрожать человечеству хотя бы потому, что это слабая форма ИИ, а не полноценный разум. Все немного проще — мы говорим о синтезе голосов, максимально приближенных к оригиналу, алгоритмам отбора людей, которым стоит (или нет) предоставить кредит и т.п.
Несколько примеров
В сентябре прошлого года облачное подразделение корпорации Google начало работу над ИИ-системой, которая помогала бы решать финансовой компании кому дать денег, а кому — нет. Это была не инициатива Google, а заказ клиента, как можно догадаться — весьма крупного.
Но через несколько недель проект пришлось спустить на тормозах по этическим соображениям. Дело в том, что речь зашла об использовании в ходе отбора таких факторов, как пол и раса просителя. Сейчас это крайне болезненная и запутанная тема, поэтому в Google решили не продолжать работу над проектом.
Кроме того, компания в начале 2021 году приняла решение остановить еще один проект, который дает возможность анализировать эмоции. Проект закрыт с немного размытой формулировкой о «культурной нечувствительности». Ну а Microsoft приостановила проект по синтезу голосов людей, крайне похожих на оригинал (актеры, знаменитости или просто обычные люди). В IBM в этом году решили не работать над проектом по созданию продвинутой системы распознавания лиц людей — это тоже был запрос клиента.
Все эти проекты остановлены по команде сверху — то есть, руководством. Топы IT-корпораций не хотят затрагивать темы этики, культуры и т.п., поэтому предпочитают либо вовсе остановить некоторые проекты, либо откладывают их до лучших времен.
При этом большинство проектов потенциально выгодны с коммерческой точки зрения. Компании не хотят конфликтных ситуаций из-за денег, поэтому стремятся занять нейтральную позицию.
«Существуют возможности и проблемы, наша задача — максимизировать возможности и минимизировать проблемы», — прокомментировала ситуацию Трейси Пиццо Фрей, член двух комитетов по этике Google Cloud в качестве управляющего директора Responsible AI.
Регулирование ИИ
Microsoft, например, приходится балансировать, пытаясь сочетать этические вопросы с финансовой заинтересованностью. Речь идет о синтезе голоса, о чем говорилось выше — чем совершеннее становится сервис и технологии компании, тем выше опасность подделки голосов политиков, актеров и знаменитостей. Дипфейки — реальность сегодняшнего дня, и в некоторых случаях она может быть достаточно опасной.
Правозащитники утверждают, что решения, которые могут иметь последствия для общества, не должны приниматься в одиночку. Они же высказывают опасения насчет прозрачности работы различных комитетов по этике, которые спешно собирают корпорации. Понятно, что такие внутренние комитеты не могут быть незаангажированы — они всегда будут блюсти интересы своей компании.
Корпорации же обещают, что будут создавать максимально прозрачные условия при работе с ИИ-технологиями. Один из способов добиться этого — законодательное регулирование. Правда, по словам все тех же представителей IT-корпораций, регулирование должно быть достаточно гибким — для того, чтобы не останавливать прогресс, а лишь избавлять общество от разного рода опасностей.
Но проблема не только в подделке голосов или распознавании лиц и эмоций. Есть и другие технологии — например, нейроинтерфейсы. Сейчас это актуальный вопрос, но понятно, что носимые гаджеты или вживляемые импланты, которые позволяют полностью или частично «подключить» человека к компьютеру потенциально опасны. Что может сделать злоумышленник, если, к примеру, перехватит контроль над компьютерной системой, которая помогает частично парализованному или лишенному конечностей человеку двигаться? Ведь сейчас разработчики имплантов и искусственных конечностей не особо внимательны в вопросах информационной безопасности — для них важнее работоспособность своих систем.
Комитеты по этике
Технологические корпорации стали активно продвигать разные ИИ-системы несколько лет назад. И почти сразу же возникли проблемы. Здесь можно вспомнить чат-бота от Microsoft для Twitter, который стал публиковать расистские высказывания или тегирование пользователей Facebook.
Для того, чтобы избежать возможных проблем, Microsoft, Google, IBM и другие компании стали собирать комитеты по этике. Их участники рассматривают и обсуждают технологические проекты, которые корпорации планируют отправлять в разработку.
Представители комитетов, куда входят топы корпораций, ученые, специалисты по разным технологиям, имеют право наложить вето на тот либо иной проект. Так произошло с сервисом Google по выбору людей, которым можно было бы предоставить кредит. Потенциально такая система могла бы оказаться очень прибыльной — в первую очередь, для банков и финансовых организаций. Но вопросы этики не позволили Google продолжать разработку.
У Google два таких комитета — Lemonaid и Ice Tea. Решение остановить финансовый проект принял первый комитет. Второй решил остановить разработку распознавания эмоций — насколько можно понять, потому, что у разных культур эмоции разные, и могут быть ошибки, которые негативно воспримет общество.
Дипфейки и пандемия
Корпорация Microsoft, как и говорилось выше, разрабатывает технологии, позволяющие почти идеально синтезировать лица людей, близкие к оригиналу и/или голоса. Соответственно, дипфейки получаются настолько реалистичными, что даже специалисты не всегда могут отличить дипфейк от реальности.
В этом случае речь не идет о полной остановке проекта. Так, технологии Custom Neural Voice можно применять, но есть ограничения, установленные членами комитета по этике.
Корпорация IBM решила отказаться от запроса клиента, которому нужна была система распознавания лиц. Но не простая, а «коронавирусная» — клиент хотел получить систему, которая способна отличить больного человека от здорового. Вопрос обсуждался достаточно долго, но через шесть месяцев после обращения клиента проект было решено не реализовывать.
А что насчет регуляторов?
Как регуляторы ЕС, так и США стремятся снизить вероятность появления этических и культурных проблем, связанных с искусственным интеллектом.
Компании, которые занимаются разработкой сложных ИИ-проектов, которые могут поднимать этические вопросы, будут тщательно проерять и анализировать. В частности, регулятор постарается оценивать проекты по отбору сотрудников, выделению кредитов и т.п. максимально осторожно.
Насколько можно понять, компании учатся избегать ненужных рисков, и через время попробуют реализовать некоторые проекты, приостановленные сейчас. Но это невозможно до момента, когда будут выработаны строгие правила оценки таких проектов, а также разработана государственная регуляторная политика в отношении ИИ.
Комментарии (83)
MikeVC
13.09.2021 06:18+9Принять закон о "толерантности".
ИИ беспристрастно на основании анализа статистики определил что негры из гетто плохо возвращают кредиты и им деньги давать не надо. Но в обществе это "неудобная" тема. Это не проблема ИИ а пролбема общества.
Kanut
13.09.2021 09:04+1ИИ беспристрастно на основании анализа статистики определил что негры из гетто плохо возвращают кредиты и им деньги давать не надо.
Проблема как минимум с современными ИИ в том что грубо говоря часто на основании анализа статистики по неграм из гетто она начинает отказывать всем неграм без разбора. То есть это даже скорее не проблема самого ИИ как такового, а проблема данных на которых это самое ИИ обучают. Но от этого она не перестаёт быть проблемой.
Nehc
13.09.2021 09:25+3>>> часто на основании анализа статистики по неграм из гетто она начинает отказывать всем неграм без разбора.
Это одна сторона медали. Другая же в том, что тому же гуглу доступна действительно БОЛЬШИЕ данные, а так же максимально возможные на текущий момент вычислительные мощности. Они могут выявить (и скорее всего — выявили) такие корреляции, к которым люди не готовы. ;) Автоматические скоринговые системы могут начать дискриминировать там, где никто не ожидал!MikeVC
13.09.2021 09:33Да вот интересно это изначально заложили в кретерии оценки рассовую пренадлежность и место жительчтва или ИИ сам "допер" что негры - не надежные заемщики. Если сам допер.тогды ОЙ :)
Kanut
13.09.2021 09:37+1Они могут выявить (и скорее всего — выявили) такие корреляции, к которым люди не готовы.
Вот тут кстати я не совсем уверен что это проблема. То есть это однозначно будет проблемой в краткосрочной перспективе. Ну пока общество это переварит и к этому привыкнет. Но я бы сказал что в целом это сделает систему более рациональной.
PretorDH
13.09.2021 11:06А кто сказал, что эти кореляции объективны и рациональны. Они, что построены на полных данных? Или может нейроалгоритм способен к логическому анализу входных данных и откидывает ВСЕ которые могут првести к ложным корреляциям?
Тут все просто, если есть неполнота данных и есть ложно положительные данные - то нет гарантии, что корреляции которая построенна Нейросетью и не поддаётся логическому обьяснению - верна. Нет гарантий, вообще!
Этически это всё равно, что математически кости бросать и выстраивать свои криптопротоколы. Но однозначно, за конечное время найдётся хаккер, который по результатам выброса костей, просчитает микро геометрию стола/костей и будет предсказывать ваш криптопротокол с достаточной вероятностью. :)Kanut
13.09.2021 11:07А кто сказал, что эти кореляции объективны и рациональны.
Мой оппонент в своём предположении и в том комментарии на который я отвечал :)
0xd34df00d
13.09.2021 17:04+5Любые выводы по статистике в общем имеют такую проблему (например, автостраховки для неженатых дороже при прочих равных, чем для женатых), но вы вместе с chief diversity officer'ами почему-то задумываетесь только о тех выводах, которые ущемляют черных. Это и есть каноничный расизм.
Kanut
13.09.2021 17:07Я беспокоюсь именно об этом исключительно потому что отвечаю на комментарий в котором речь идёт о "неграх из гетто". И соответственно и свой ответ строю на том же примере и в том же контексте.
Так что ваши претензии немного не по адресу.
0xd34df00d
13.09.2021 18:45+1Я даже сначала написал там не «вместе с», а «вслед за», но подумал, что для человека, который не только повторяет чужую позицию, но и имеет какую-то аргументацию, это может быть несколько обидно. Извините за эту ошибку.
Nehc
13.09.2021 09:08+2Корень проблемы в том, что сам по себе отбор «на основании анализа статистики» содержит в себе элементы дискриминации и само-сбывающегося пророчества. Если есть статистика по твоей «социальной группе» — то ты подвергаешься дискриминации только за принадлежность к ней. И не имеешь возможности опровергнуть статистику. При этом качество оной субъективно (неграм из гетто нормальные банки не выдают кредитов, так откуда статистика? От тех случаев, когда все-таки выдали. Но вполне вероятно, что в том малом проценте случаев выдавали, зная, что не вернут и вовсе не самым надежным. Проблема малой выборки). В идеале, что бы сформировать нормальный датасет, надо бы некоторое время выдавать всем подряд, что бы набрать статистику, а потом уже обучать сеть…
Что конечно не отменяет проблемы «толерастии», когда нормальные исследования в этом направлении социально-неприемлемы…
MixaSg
13.09.2021 08:35+1У меня есть высокая степень уверенности, что если использование пола и расы в скоринговой модели эффективно, то никакие этические ограничения не смогут препятствовать её использованию. Это нам сказали, что разработка прекращена, а она, скорее всего, просто приостановлена до разъяснения юридических моментов. Когда безбоязненно можно будет заменить пол и расу юридически толерантными терминами(количество Y-хромосом или подверженность атаксии Фридрейха) то разработка пойдет с новой силой.
Kanut
13.09.2021 09:09У меня есть высокая степень уверенности, что если использование пола и расы в скоринговой модели эффективно, то никакие этические ограничения не смогут препятствовать её использованию.
Оно эффективно "в среднем". То есть если вы разрешаете такой подход, то грубо говоря может такое произойти что ИИ начнёт отказывать всем кроме "белых мужчин в возрасте 30-35 лет". И для банков это не особо проблема пока этих самых "белых мужчин в возрасте 30-35" достаточно чтобы обеспечить им стабильную прибыль. И то, что при этом среди отказов может быть приличное число нормальных кандидатов, для банков в такой ситуации не особая проблема.
Но вот для этих самых "отвергнутых нормальных кандидатов" это проблема. И если их много, то это множет стать проблемой для общества в целом.
qw1
13.09.2021 10:16+3Один из банков должен, должен заметить, что образовалась поляна, на которую конкуренты не заходят, и начать там работать (с большими процентами по кредиту, из-за отсутствия конкурентов).
Kanut
13.09.2021 10:19-2Ну да. Но вот это вот "с большими процентами по кредиту" это как бы тоже проблема. Потому что в результате кто-то не сможет себе позволить такой кредит. И это не сильно лучше прямого отказа.
П.С. Да и вообще по хорошему прямой отказ бывает не так уж и часто, часто вам просто выставляют такие условия что вы сами не хотите на них соглашаться.
qw1
13.09.2021 10:31+4Не вижу проблемы в том, что кто-то не может себе что-то позволить.
Не взял человек кредит, и что? Не открыл какой-то бизнес? А может от не развалил какой-то бизнес, сделав себя банкротом и не выплатив кредит.
То, что у разных групп населения разные стартовые условия, это проблема? Давайте тогда отменим передачу активов по наследству.Kanut
13.09.2021 10:35-1Не вижу проблемы в том, что кто-то не может себе что-то позволить.
Ну тогда давайте вообще запретим кредитование как явление. По вашей логике это никаких проблем никому не создаст.
Не взял человек кредит, и что? Не открыл какой-то бизнес? А может от не развалил какой-то бизнес, сделав себя банкротом и не выплатив кредит.
Это зависит от того насколько велики шансы что бизнес будет успешным или наоборот провальным. Грубо говоря если 99,9999% бизнесов успешные, то отсутсвие кредитов это проблема. Если 99,9999% бизнесов провальные, то тогда уже наоборот возможность взять кредит это проблема.
То, что у разных групп населения разные стартовые условия, это проблема? Давайте тогда отменим передачу активов по наследству.
Проблема в том что в большинстве развитых стран(если не во всех) кредитование на данный момент это очень важный финансовый инструмент. И без него многое не будет работать.
qw1
13.09.2021 10:48+4Странные у вас рассуждения. Если провести аналогию, «суперкомпьютеры очень важный инструмент», «давайте вообще запретим суперкомпьютеры как явление».
Да, кредиты, это инструмент, как и суперкомпьютер. Кто-то может себе позволить, кто-то не может. Если было бы важно, чтобы у каждого был такой инструмент, государства само бы обеспечивало людей таким инструментом, давало бы какие-то гарантии, как на жильё, например.Kanut
13.09.2021 10:52-2Да, кредиты, это инструмент, как и суперкомпьютер. Кто-то может себе позволить, кто-то не может.
Проблемы начинаются тогда когда кому-то начинают отказывать в чём без каких-либо рациональных оснований.
Если было бы важно, чтобы у каждого был такой инструмент, государства само бы обеспечивало людей таким инструментом, давало бы какие-то гарантии, как на жильё, например.
Ну так законы о запрете дискриминации и являются своеобразной регуляцией этого дела. В том числе и в контексте кредитования.
qw1
13.09.2021 10:57+5Закон о дискриминации — популисткая ерунда.
Потому что если есть дефицит, например, 100 соискателей на 50 мест, как ни крутись, будет принята только половина. А значит, кто-то да будет за что-то дискриминирован (всегда можно найти черту, которая общая для всех отклонённых кандидатов).Kanut
13.09.2021 11:01Ну так дискриминировать то нельзя только по определённым факторам.
То есть грубо говоря в случае с кредитом по цвету кожи "дискриминировать" нельзя, а по наличию/отсутвию дохода можно. А скажем когда вы ищите актёра роль конкретной исторической личности, то там цвет кожи вполне себе фактор который легитимно учитывать.
Kanut
13.09.2021 11:12Насчёт "жил в гетто" не уверен. А вот "живёт в гетто" на мой взгляд вполне себе легитимный фактор в контексте кредитования.
qw1
13.09.2021 11:17+4Вот, вы уже начинаете тот список, который определён в законе, подгонять под свои хотелки. «Жил в гетто» — нет в законе, можно дискриминировать значит. Легко построить модель, которая по косвенным признакам будет вычислять негров. А значит, вся эта идея с недискриминацией — популизм.
Kanut
13.09.2021 11:24Легко построить модель, которая по косвенным признакам будет вычислять негров.
Вопрос в том зачем это делать? То есть мы как раз таки имеем обратную ситуацию: никто не ставит себе целью "вычислять негров", но при этом в результате несоврешенной системы принимаются дискриминирующие решения.
То есть допустим нам надо обучить ИИ(или даже просто сотрудника). И у нас есть выборка в которой большинство негров живёт в гетто и большинстви обитателей гетто тоже негры. Плюс большинство обитателей гетто не возвращают кредиты. Но при этом "живёт в гетто" это очень расплывчатое понятие. Плюс не по всем людям есть корректные данные о их точном месте жительства.
И в такой ситуации ИИ вполне может начать игнорировать место жительства и начать решать исключительно на основании цвета кожи. То есть не давать кредиты неграм живущим в нормальных районах и давать кредиты белым живущим в гетто. И вот это проблема.
qw1
13.09.2021 11:38+3Тут два момента
1. Может быть, статистических данных достаточно и система правильно определяет, что чёрные не из гетто хорошо возвращают кредиты и им выдают так же часто, как белым. Но правозащитники и прочие активисты видят всю статистику, без учёта гетто-фактора и начинают нагнетать истерику, что чёрным много отказывают.
2. Если есть 50 мест и 100 кандидатов, алгоритм займёт первые 50 мест наилучшими вариантами. Не исключено, что чёрные не из гетто не проходят в наилучшие по каким-то другим признакам, исключая цвет кожи.
Kanut
13.09.2021 11:42Ну да, оба этих момента есть.
Первое это тоже проблема само по себе. В ряде стран наверное даже большая проблема. Но это другая проблема.
А второе это не проблема. Как бы не обидно это было для "чёрных не из гетто".
qw1
13.09.2021 11:45+3Ну значит если никто заранее не закладывал цвет кожи в решение, а система выучилась отказывать неграм, это значит, она сделала всё что могла на предоставленных данных. Тут ничего не поделать, нужно больше данных.
Kanut
13.09.2021 11:47Абсолютно верно. Вопрос только в том какой "уровень" доступных данных мы как общество готовы считать достаточным.
То есть устраивает или не устраивает нас ИИ, который из-за недостатка данных начинает дискриминировать людей по цевту кожи/полу/возрасту/хобби и так далее и тому подобное.
qw1
13.09.2021 11:53+1И тут мы пересекаемся с охраной персональных данных.
Внешние данные не скроешь — пол, раса, возраст.
А вот историю мест проживания, увлечения, все пытаются скрыть от ИТ-гигантов.
Может, негры-анимешники хорошо возвращают кредиты? Но для этого надо подключиться к трекерам гугла, чтобы выяснить, какие сайты посещал клиент. Вы бы хотели, чтобы на вас собиралось супер-подробное досье ради того, чтобы уменьшить риски ошибочных решений?
Kanut
13.09.2021 11:55Внешние данные не скроешь — пол, раса, возраст.
Их легко можно скрыть от того кто принимает решения. Тем более от ИИ.
Вы бы хотели, чтобы на вас собиралось супер-подробное досье ради того, чтобы уменьшить риски ошибочных решений?
Нет. Но этого никто и не требует.
qw1
13.09.2021 11:59+3Их легко можно скрыть от того кто принимает решения. Тем более от ИИ.
О чём я и писал выше — модель легко восстановит эти признаки, только вы никогда не узнаете, в каких внутренних переменных.
Kanut
13.09.2021 12:02-2Ну так об этом то и речь. Если такое происходит и нет способа этого избежать, то легитимность таких систем стоит под большим вопросом. То есть общество скорее всего не захочет их иметь.
И поэтому фирмы и замораживают/отменяют такие проекты.
qw1
13.09.2021 12:00+2Нет. Но этого никто и не требует.
Таким образом, «негры не из гетто» пролетают. Потому что хитрый признак «не из гетто» не лежит на поверхности, а зарыт в персональных данных.
bat654321
14.09.2021 06:53+1Негритянка Белоснежка и Золушка? Негр фея? Бэтвумен лесбиянка, КА гей... Да нет, глупость какая-то.
Kanut
14.09.2021 09:07И в чём у вас проблемы с тем что вы описали? В том что кто-то решил сделать свою версию сказки? Ну так я не хочу вас расстраивать но большинство сказок в том виде как вы их знаете это тоже совсем не оригиналы.
Neikist
14.09.2021 16:32Гм, там фильм или сериал выходил недавно где королеву англии чернокожая играла. Это мы тоже чего то про историю не знаем по вашему?
Или вот в каком то фильме про викингов — среди них чернокожие попадались.
Ничего против них не имею, но там где оно логично и к месту. А не пихать всюду ради повесточки.
Kanut
14.09.2021 16:33Нет, это режиссёр решил не придерживаться исторической достоверности. Его право. Но точно так же его право её придерживаться и брать на роли только тех кто подходит.
Neikist
14.09.2021 16:35Так может и историю следовало разворачивать в выдуманной стране про выдуманный народ?
Kanut
14.09.2021 17:15А что выдуманная страна и выдуманный народ не могут иметь никакого сходства с какими-то реально существующими или существовавшими? :)
Alexey2005
14.09.2021 21:36+1Ну а право зрителя — оценивать фильм, честно выражая своё мнение. И вот когда зрителю не дают высказываться, подкручивая оценку в «правильную» сторону и удаляя негативные отзывы, то тут уже определённо что-то не так.
Kanut
14.09.2021 21:46Оценивайте, выражайте. Бойкотируйте сервисы которые занимаются подобной цензурой и режиссёров которые снимают такие фильмы. Ваше полное право.
Alexey2005
13.09.2021 10:33Проблема возникает, когда решения нейронки нельзя оспорить (как в каком-нибудь Google) и человек даже не может получить объяснений, за что ему отказали и что нужно сделать, чтобы отказывать перестали.
Если же есть вменяемый саппорт, который честно рассказывает причины отказа (вместо стандартного «это коммерческая тайна») и реально работающий механизм апелляций, то доля процента ошибок нейронки перестаёт быть проблемой.qw1
13.09.2021 10:38+2То есть, не надо в таких системах использовать нейронки?
Потому что они классифицируют, но не объясняют, как.
Да там может и не быть понятного «как». На входе миллион параметров, и формальное объяснение «почему так получилось» может занять 50 мегабайт текста объяснений.Alexey2005
13.09.2021 10:51Нейронки уже давно перестали быть «чёрным ящиком» и даже в стандартных библиотеках есть инструменты для их анализа, которые в частности позволяют сказать, на что именно во входных данных оно так сагрилось и почему это случилось (и, конечно, поправить, если произошла ошибка).
Пример — классификатор изображений с подсветкой участков, на основании которых нейронка сделала свои выводы. Это самый примитив, который собирается на коленке в пару десяток строчек Python-кода.То есть, не надо в таких системах использовать нейронки?
Оборудование по сортировке фисташек нередко совершает ошибки, пропуская фисташки в кожуре. Давайте всё сортировать вручную, как два века назад?
Или по-вашему живой человек всегда-всегда всё сделает правильно? Да точно так же при отсутствующем саппорте кто-то налажает, а исправить будет нельзя. Хороший сервис — это не отсутствие косяков, а реально работающий механизм их исправления.qw1
13.09.2021 10:54Пример — классификатор изображений с подсветкой участков, на основании которых нейронка сделала свои выводы. Это самый примитив, который собирается на коленке в пару десяток строчек Python-кода.
Если это всё автоматизировать, саппорт выдаст вам раскрашенную картинку, а дальше — гадайте по ней, как хотите. Например, в моей биографии система подсветит фразу «учился в средней школе №5 города Мухосранска». И что мне с этим делать? На обучающей выборке 3 человека из этой школы брали кредит и не вернули.Alexey2005
13.09.2021 11:00Обратить внимание на чуть менее «горячие» участки и подумать, какую дополнительную информацию можно предоставить банку, чтобы она перевесила ложную активацию.
Ну и, самое главное, когда на руках есть хотя бы такой ответ, уже есть с чем идти в суд. Шансов выиграть будет больше, чем когда на руках ничего нет. И даже в случае проигрыша достаточно большое количество исков заставит банк почесаться и поправить веса нейронки.qw1
13.09.2021 11:05+2Ну и, самое главное, когда на руках есть хотя бы такой ответ, уже есть с чем идти в суд.
Ясно. А банкам это зачем тогда? Я думал, у вас решение win-win, а если не так, идите к депутатам, пусть они принимают закон про объяснения решения нейронок. По сути, это равносильно их запрету.Alexey2005
13.09.2021 11:26-2Хотите сказать, что крупная компания может сделать нормальный саппорт и вообще относиться к клиентам по-человечески только когда её усиленно пинают власти?
qw1
13.09.2021 11:39+2Да, потому что цель компании — заработать денег и только. Хороший саппорт — прямые убытки. Есть конечно репутационный фактор, но в гугле видимо просчитали и поняли, что если ввалить в саппорт 5 миллиардов долларов, оно не окупится.
Kanut
13.09.2021 10:38+3Я бы сказакл что не будет у нас никогда "нормального саппорта" в таких ситуациях. Потому что цель введения всего этого дело это экономия. И никто вам не будет оплачивать экспертов, которые там будут разбираться по какой причине ИИ там кому-то в чём-то отказало на самом деле. Или которые будут готовы брать на себя риски идя наперекор решению ИИ.
Alexey2005
13.09.2021 10:55Так эта проблема остаётся и при живых сотрудниках. Ну вот допустим начнёт Google сортировать видео на youtube вручную, ну пусть упадёт доля ошибок в 10 раз. Да пусть даже в 100. А толку-то, если в оставшихся случаях возможности исправить ошибку нет, обратной связи тоже нет и сделать пострадавший от ошибки абсолютно ничего не может?
Тут проблема не в нейронках, а скорее в устройстве социальной системы, где элементарные средства общественной безопасности приносятся в жертву ради копеечной экономии. И вот хорошо бы гуманитариям заняться решением именно этой проблемы, а не устраивать второе пришествие луддизма, делая вид, что все проблемы от нейросетей.Kanut
13.09.2021 10:58Так эта проблема остаётся и при живых сотрудниках.
В целом конечно остаётся. Но живой сотрудник обычно уже сам знает на каких основаниях он принял то или иное решение. Поэтому при желании ему не нужно ни в чём разбираться и нужно его просто озвучить.
Тут проблема не в нейронках, а скорее в устройстве социальной системы, где элементарные средства общественной безопасности приносятся в жертву ради копеечной экономии. И вот хорошо бы гуманитариям заняться решением именно этой проблемы, а не устраивать второе пришествие луддизма, делая вид, что все проблемы от нейросетей.
На мой взгляд это дев разные проблемы. И да, решать нужно обе.
Layan
13.09.2021 11:06Поэтому при желании ему не нужно ни в чём разбираться и нужно его просто озвучить.
Представьте ситуацию, которая у меня была в реальной жизни. Кредитная компания, до того, как в ней внедрили автоматическое принятие решение на базе ИИ.
Операторы вручную отсматривают по 100-200 заявок в день и принимают решения, на базе 100-150 полей. При этом % невозврата при такой обработки всего на ~5% ниже, чем при обработке ИИ.
Сможет ли оператор после обработки сотой заявки, сказать почему он отказал в одной из первых?Kanut
13.09.2021 11:10Сможет ли оператор после обработки сотой заявки, сказать почему он отказал в одной из первых?
Да, если он при этом будет к каждой заявке писать короткую пометку с объяснениями. И я знаю что это вполне себе распространённая практика. И не только в контексте кредитования.
Alexey2005
13.09.2021 11:31Думаете, ИИ нельзя обучить так, чтобы он тоже генерировал такие заметки? Подписи к изображениям генерировать уже научились, сгенерировать обоснование на том же самом наборе признаков, на котором построено решение — не такая уж проблема. Можно даже генерировать описание одновременно с решением, одной и той же нейросеткой.
Kanut
13.09.2021 11:35+1Думаю что нельзя. Или точнее генерировать какие-то заметки вы его научите. Но толку от них особо не будет если кто-то обратится с аппеляцией. Потому что тогда всё равно надо будет разбираться почему ИИ принял то или иное решение и не было ли ошибки в какой-то из частей этого процесса. В том числе и в той части где он генерирует заметки.
Речь то не о заметках. А о прозрачности процесса и о том какие расходы несёт за собой попытка восстановить/повторить процесс принятия решения вручную. Ну если мы не доверяем ИИ на 100%.
Alexey2005
13.09.2021 11:50Зато посмотрев на эту заметку живой человек скажет: принял бы он на этом наборе данных такое же решение, как ИИ, или же нет.
Если да, то вот и готовое уже сформулированное и записанное основание для повторного отказа — просто даём заметку и говорим, что тут и живой человек сделал бы то же самое, и далее клиент «бодается» уже не с ИИ, а с живыми людьми и процессами принятия решений в данном банке.
Если же нет, то где-то возникла ошибка (либо в ИИ, либо ошибся живой сотрудник) и надо её исправлять. В целом такой подход даёт довольно много обратной связи и уж всяко гораздо лучше и гуманнее, чем посылать нафиг без объяснения причин и возможности оспорить.
qw1
13.09.2021 11:58Вы пытаетесь превратить процесс в сдачу зачёта, когда нужно так или иначе получить результат, пусть хоть за 10 итераций, вот тут например
Обратить внимание на чуть менее «горячие» участки и подумать, какую дополнительную информацию можно предоставить банку, чтобы она перевесила ложную активацию
Но вы не учитываете, что приняв одного кандидата, мы отказываем другому. Таким образом, делая прозрачными алгоритмы, делая многоуровневые апелляции, мы закрываем дорогу достойным кандидатам, которые не хотят тратить время на эту возьню и уйдут к конкурентам, в пользу тех, кто готов судиться, «взламывать собеседования», скандалить. А оно это надо компаниям, прибегающим к ИИ для автоматизации решений?
Layan
13.09.2021 16:25+1Вы так говорите, как будто бы бизнес интересует, почему ИИ принял решение по конкретному решению.
Но в большинстве ситуаций бизнес интересует, какой убыток (невозвраты в случае кредитов) принесут неправильные решения, и какие расходы потребуются для принятия решений (ИИ тут дает очень большую экономию на квалифицированных аналитиках, даже если качество решений будет ниже).
В моем опыте (работа в более 6 кредитных компаниях) было только несколько случаев, когда разработчики (я в том числе) на рабочей модели искали причины отказа в кредите. И это были случаи отказа непосредственно разработчикам скоринга.
MixaSg
13.09.2021 12:25+2Вы простите пожалуйста, но большинство Ваших комментариев сверху донизу - сплошная Тилимилитрямдия, оторванная от жизни. Всем пос.ать, получит конкретный человек кредит или нет, важно, что 100 предсказанных и получивших вернули его с вероятностью не ниже заданной. Какую короткую пометку? У живого человека будет нескончаемый поток заявок, а поскольку должность не подразумевает зарплаты в 300 к/сек, то и персонал будет соответствующий. И отношение к работе будет соответствующее. И все будет соответствовать оптимальному решению задачи со стороны бизнеса - делать побольше, платить поменьше. Хотите уникального подхода - обращайтесь в швейцарский банк. Не можете - потребляйте массмаркет.
Kanut
13.09.2021 12:33У живого человека будет нескончаемый поток заявок, а поскольку должность не подразумевает зарплаты в 300 к/сек, то и персонал будет соответствующий.
Ну сейчас же они с этим как-то справляются. Причём с заметками. Видимо потому что нет у них никакого "нескончаемого потока". Как минимум не везде он есть.
Layan
13.09.2021 16:18В том, примере, который я описывал о пометках и речи не было. Разве что в специфических ситуация. А количество информации такое, что зачастую решение принималось на уровне интуиции ручного аналитика.
Да, это далеко от совершенства, но оно работало и приносило прибыль.
Замена на полностью автоматический скоринг было сделано для того, чтобы зарплату этим аналитикам не платить. При том, что на первом этапе результаты обработки скорингом были хуже.
И да, скоринг уже точно показывает причину отказа (или их комбинацию). Но не клиенту — как раз чтобы избежать обвинений в нарушении законодательства и судебных исков.
qw1
13.09.2021 11:03+2Тут проблема в том, что вы считаете, что YouTube вам что-то должен, а он считает что не должен, и прописал это в EULA.
Можно ввести гос. регулирование и когда интернет-компания набирает более 20 млн. пользователей, отжимать её в пользу государства и сажать чиновников, чтобы они отвечали вам на все жалобы в установленные сроки. Хотите?Alexey2005
13.09.2021 11:32-1Youtube может и не должен, но вот банк уже должен однозначно, потому что работает с живыми деньгами, и банковская сфера государством уже зарегулирована сверху донизу.
qw1
13.09.2021 11:43+4Банк, как любая коммерческая организация, делает минимум, чтобы от неё отстал регулятор. Поэтому он вам не отказывает, а делает «персональное предложение», с которым в суд вы не пойдёте. Высоковат процент по кредиту? Попробуйте взять в другом банке, чай не монополия.
apapacy
13.09.2021 08:52Google' и этика. После сбора и использования на продажу всех возможных личных данных.
Сервис по подделке голосов в наше время это примерно как сервис по подделке подписей. Тут уже не этика а уголовщина. Кстати, подобный стартап он реально был и даже возможно был на Хабре как ста ья.
А ков деле распознавание кстати тоже. И это кажется российский стартап и даже запущен где то. Правда распознавание не по лицу а по поведению.
Этично ли помогать остановить пандемию?
Hlad
13.09.2021 08:53+2Сложилось впечатление, что в большинстве случаев на этику съехали, чтобы не говорить, что задача им не по силам, либо повлечёт крупные юридические последствия. Этика — это когда ты что-то не делаешь не потому, что боишься последствий, а потому, что это противоречит твоим внутренним убеждениям.
YMA
13.09.2021 09:05+2Не верю (с) Станиславский.
Предположил бы, что крупные корпорации просто выводят эти проекты из публичного поля, возможно - в какие-то свои ассоциированные компании, формально с ними не связанные. И там продолжают работы над этими технологиями, но уже в тишине и под строгим NDA.
ИИ, биометрия, дипфейки и борьба с фейками - мощные инструменты, и никто по доброй воле наработки в этой области в мусор не выкинет...
apapacy
13.09.2021 09:28Решение Google выглядит наиболее странным. Начнем с того что скоринг это уже практически норма для многих банков которые могут давать кредит онлайн.или регистрировать клиентов онлайн. С учётом того что goovle и так все знает о своих кл просп им даже от не нужен в смысле обучения по фото или видео.
Hlad
13.09.2021 12:00Для банков — ладно. Я тут случайно заглянул в программу, которой пользуются страховые агенты при продаже ОСАГО — так там, навскидку, несколько десятков параметров анализируется, для того, чтобы принять решение «продать полис» или «извините, вот прямо сейчас какие-то проблемы с сервером...»
apapacy
13.09.2021 16:35Не даром в отчетах старховых компаний отдача средств клиента на уровне 10% и это не от суммы брутто а от той суммы которая остается после вычета затрат. Интересно кстати возник мало освещаемый вопрос. В дговорах на стразование здровья прописывается что на случай эпидемий возмещение затрат на лечение не произвоится. С точки зрения математики это вроде бы правильно. Ну а вот с точки зрения сохранения жизни? И как тут с короной? Судя по палаткам Нью-Йорке как раз основное тут что ни одна больница имея свободные площади не принимала клентов. Так как стразовка не действует. А денег у клиента на лечение нет.
Admz
13.09.2021 09:08ИИ - это просто зеркало работы мозга человека, ибо разработчики пытаются выстроить его по образу и подобию за неимение более совершенного. И в итоге отражение не устраивает, хотя так устроен мозг, тупо политика пытается влезть в работу мозга (хотя для многих политиков - это проста самая давняя, сладкая и розовая мечта из всех).
chapai22
13.09.2021 09:22+3Слишком уж запросто очевидное замещается невероятным. Пошел поглядел кто писал - два молодых калифорнийских паренька журналиста которые с такого корма живут.
При чем этика, когда во всех случаях очевидно вылезает проблема легальности? И достаточно серьезных скандалов и судебных дел.
Как оно доплыло до людей посерьезней и сделали оценку, и клиент сообразил - так и закрыли. Прикинули риски, возможность защиты, возможность разбирательств и гос регуляции по итогам. Вот и все.
Alexey2005
13.09.2021 10:28+3Подождите, скоро нейросетки ещё и в пиратстве обвинят. Тем более и повод будет — все эти генераторы/классификаторы обучаются на чудовищных объёмах данных (тот же CLIP обучался на 400 млн размеченных картинок), и доказать отсутствие среди них защищённых копирайтом абсолютно невозможно. Ну, а раз доказать не могут, то всех, кто генерирует изображения такими сетками, объявят пиратами.
Вообще, забавно наблюдать, как у гуманитариев даже от таких вот «первых звоночков» в области ИИ случается натуральная истерика. На том же deviantart'е сколько бывает воплей, когда рисунок, за который художник просит денег, воспроизводят в каком-нибудь Artbreeder за 15 минут.
Да что artbreeder, тут даже upscale-нейронки ломают художникам рабочий процесс. Было обычной практикой, когда художники выкладывали в паблик картинку в низком разрешении с припиской «хотите в высоком — подписывайтесь на меня в Patreon». Теперь во все такие топики тролли кидают ссылку на апскейл-нейронку и ловят лулзы с реакции художника…
А развитие pose transfer и style transfer-нейронок (которые пока что довольно сырые и скорее глючат, чем работают) уже в ближайшие годы грозит изрядно подкосить любителей стряпать пачки коммишек по шаблону — всех этих YCH'еров и подобных.
И ведь ничего по-настоящему серьёзного пока что не появилось, те же GPT всё ещё не могут заменить даже литературных негров. Но гуманитарный луддизм (разумеется, исключительно из этических соображений! Ради блага всего человечества!) уже поднимает голову. Дальше будет больше и выше.
melvladimir
13.09.2021 13:53Не увидел в причинах "этику". Как обычно, анализ рисковиков, PR и юр.отдела с прогнозом "и на сколько нулей к единичке эти проблемы могут потянуть?" Но оф.причина как обычно "мы ради вас стараемся")))
dushinYu
13.09.2021 23:16Уровень развития искусственного интеллекта сейчас достиг таких высот...
Я, наверное, не в струю, и это очевидно. Но не наблюдаю это самого интеллекта просто в упор. Где он и как его отличить от известных алгоритмов?
Тридцать лет назад это назвалось "математическое обеспечение". В ГОСТ 34.602-89 есть требование к разделу ТЗ "Математическое обеспечение":
2.6.3.1. Для математического обеспечения системы приводят требования к составу, области применения (ограничения) и способам использования в системе математических методов и моделей, типовых алгоритмов и алгоритмов, подлежащих разработке.
В техническом проекте по ГОСТ 34 РД 50 математические методы описываются в главе "Методика проектирования", а глава "Математическое обеспечение" состоит из девяти разделов.
Сейчас все упростилось, тем более, что и многие программисты не сильно заморачиваются над проектированием. А математика - даже в ВУЗах не всегда преподается не то, что на каких-нибудь курсах Питона или еще какой-то зверюги. А то, что сейчас не все программисты знают таблицу умножения, сам узнал при отборе их на работу в свою фирму. Впрочем, это относится и к бухгалтерам и экономистам, например.
Вот таким программистам и кажется, что банальные методы статистики или теории вероятности являются искусственным "интеллектом".
Печально это. Одно радует, что пока никаким искусственным интеллектом даже и не пахнет!
Можно спать спокойно.
Alexey2005
14.09.2021 00:34Одно радует, что пока никаким искусственным интеллектом даже и не пахнет!
В данном случае абсолютно всё равно, как это называть — искусственный интеллект, матстатистика или даже вообще «АИ-фактор». Это вопрос терминологии, не более того. Суть-то не в этом, а в том, что оказывается некоторые традиционно гуманитарные задачи (обработка текстов, создание рисунков и музыки) могут решаться полностью технарскими методами, пусть пока что и на весьма посредственном уровне.
Можно спать спокойно.
И вот тут гуманитарии сразу напряглись и засуетились, придумывая тысячи причин, по которым развивать эти технологии далее — абсолютно неэтично.
StjarnornasFred
Так, а государства-то тут причём и что они могут сделать? Принять закон о запрете разработки? Так это априори бесполезно, прогресс остановить невозможно. Вводить лицензии на использование? Ну такое.
Вообще, попытки затормозить прогресс, то есть разработку и изобретение чего-то, представляются абсолютно бесполезными. Предмет регулирования так или иначе появится, просто некоторые успеют несколько лет попить кровь окружающих своими загонами
pda0
Зачем тормозить прогресс, когда можно запрещать некоторую деятельность? Топором можно рубить дрова, а можно людей. Тем не менее законы, запрещающие убийства (в том числе, не допускающие использовать для этого топоры) существуют. И факт прогресса никак это не помешал.