Китай полностью перешёл на систему «умного суда» с искусственным интеллектом.
Судей в Китае обязали использовать искусственный интеллект.
С такими заголовками вышли десятки публикаций в российском интернете (и на Хабре в том числе). Может показаться, что в КНР создали искусственный интеллект, который рассматривает дела и выносит приговоры. Прямо как с новостями о китайском социальном рейтинге, которого нет.
ИИ может выносить постановления, разрабатывать законопроекты и предъявлять людям обвинения.
(источник)
Большинство новостей ссылается на публикацию в South Chiha Morning Post под заголовком «Китайский судебный AI достиг каждого уголка системы юстиции, консультируя судей и упрощая исполнение наказания» (перевод на русский). К сожалению, учёный снова надругался над журналистом: статья не о том.
Посмотрите на диаграмму:
Если внимательно прочитать текст новости и рассмотреть схему, то мы выделить самый важный момент:
Отсутствие ИИ-судьи
Вопреки новостным заметкам, не существует цифрового судьи, который рассматривает дела и выносит решения. И хотя в тексте упоминается «ИИ-прокурор», то это лишь рекомендательная система, которая автоматически ищет возможные нарушения, а не принимает решения.
Система «умного суда» действительно использует большие данные и машинное обучение, чтобы помогать живому судье быстро находить аналогичные дела прошлых лет, подсказывать возможные статьи закона, быстро генерировать тексты решений и сопутствующих судебных документов.
ИИ не выносит решения за судью.
Однако система построена таким образом, чтобы при разногласиях судьи и исскуственного интеллекта, судья был обязан занести в систему объяснение своего решения. Сделано это не для замены живого судьи на электронного, а для снижения уровня коррупции и необоснованных решений.
Отсутствие социального рейтинга
В «лучших традициях» журналистики, SCMP пересказывает страшилку про систему социального рейтинга, которым в статьях о китайском цифровом концлагере называют разрозненные, никак не связанные и несовместимые между собой государственные и частные системы рейтинга в одну ужасную антиутопическую систему баллов, в которой ты лишаешься очков за пьянство или связь с оппозицией и тебя перестанут пускать на самолёт.
На самом же деле, система «цифрового правосудия», благодаря подключению к БД местных органов самоуправления, полиции и технологических гигантов, позволяет очень быстро найти имущество, подлежащее конфискации, и сразу выставить его на аукцион, или разослать уведомление о запрете на определённые действия - например, действительно, запрет на перелёты для лица с подпиской о невыезде.
Тогда в чём революция?
В тотальной цифровизации. Суды могут легко проходить в режиме ВКС, судейские коллегии могут совещаться на расстоянии, протоколы судебных заседаний заполняются машинами с автоматическим распознаванием речи, доказательства и улики подгружаются онлайн, решения судов публикуются на едином портале, а конфискованное имущество уходит с молотка прямо в режиме реального времени.
У китайских местечковых судей на глазах исчезают какие-либо возможности для коррупции, потому что абсолютно вся их деятельность теперь как на ладони. И не просто в доступе у Пекина, а с автоматическим анализом, поиском паттернов, обнаружением возможных нарушений.
Суды не только получили возможность существенно автоматизировать свою работу и сократить временные затраты, но и потеряли возможность для многочисленных злоупотреблений.
Мне, как переводчику по образованию, это напоминает трансформацию рабочего инструмента моих коллег: конечно, переводить в Microsoft Word удобнее, чем на бумаге, а цифровые словари быстрее, чем бумажные. Но настоящая революция произошла с созданием сложных CAT (computer aided translation) систем, в которых интегрирована проверка орфографии, памяти перевода и терминологические базы, машинный перевод и целая куча правил для выявления ошибок, интеграция с git и так далее. Именно это на многие порядки ускорило процесс локализации софта и подняла качество на новый уровень.
Комментарии (41)
IlyaKonst
20.07.2022 16:26+1Интересно наблюдать за тем в какую сторону движется Китай, но жить в таких условиях было бы некомфортно
vassabi
20.07.2022 18:36+3ну, у автомата для бритья - только вначале каждое лицо уникально.
А вот интересно, появится ли услуга "пробный суд" ?
Т.е. чтобы пока-что-закопослушный гражданин мог внести обстоятельства задуманного дела и проверить - сколько за это ему будет назначено ИИ судом.(например - вот для таких случаев)
ну и в итоге, чтобы подумал и не осуществил задуманное - и остался бы и далее законопослушным гражданином. Разве плохо ?
R7R
20.07.2022 18:41+2Т.е. чтобы пока-что-закопослушный гражданин мог внести обстоятельства задуманного дела и проверить — сколько за это ему будет назначено ИИ судом.
Уильям Тенн. «Срок авансом» 1956 год :)обстоятельства задуманного дела
Чистосердечное признание в планировании преступления :)vassabi
20.07.2022 19:15+11) ну вот видите - за чистосердечное признание может вас коллектив на поруки возьмет!
2) ОК, пусть это будет всё то же самое, что уже написал, плюс "и чтобы это была оффлайн версия на флешке"
3) то есть - пусть гражданин будет пробовать совершить это все в реальности ? А ведь так есть шанс, что он бы раскаялся и отказался бы от задуманного сам (т.е. без преступления, следствия, поимки, суда и тюрячки)
R7R
20.07.2022 20:08+1А ведь так есть шанс, что он бы раскаялся и отказался бы от задуманного сам
Человек, допустим, собирался передать секретный план завода.
Но его вовремя схватили за руку.
Посадят ли его?
Rotenbaron
20.07.2022 19:55+3Автор этой статьи в 2015 втирал (https://habr.com/ru/post/387525/), что системы социального очкования нету, и это все "ошибка перевода"...
Тем временем в будущем: на 2019 неблагонадёжным было отказано в 27 млн авиабилетов и 6 млн поездовых; личная информация неблагонадятлов была сделана публично позорной, в т.ч. в публичных местах, типа кино и автобусных остановок; детей таких "врагов народа" уже не принимают в школы и вузы... И это только то, что на поверхности (https://en.wikipedia.org/wiki/Social_Credit_System).
Может что-то уже в переводчике подкрутить?
wtigga Автор
21.07.2022 08:28Википедия - сомнительный источник информации. Единой системы социального рейтинга в Китае всё ещё нет. Всякие отказы по авиабилетам и доски позора - это отдельные, друг с другом не связанные системы.
Rotenbaron
21.07.2022 08:53+2Не сомнительнее остальных. А перечисленные факты вполне себе подтверждены и, будучи даже "разрозненными", уже затронули десятки миллионов человек.
wtigga Автор
21.07.2022 09:05+1Отказ от участия в субботнике, переход улицы в неположенном месте или злоупотребление компьютерными играми не закроет вам доступ в аэропорт, а вот пьяный дебош на борту самолёта - закроет. Как и в России, например, где никакого социального рейтинга нет.
Журналисты (и авторы Википедии) ужасно упрощают и смешивают разные системы в одну жуткую антиутопию.
Rotenbaron
21.07.2022 09:29+2Конечно же все 27млн - алкаши. Ведь диссидентов и тщательно гнобимых категорий населения, типа уйгуров, в красном раю не бывает.
wtigga Автор
21.07.2022 09:35С уйгурами и диссидентами ситуация совершенно отдельная, и к социальному рейтингу она имеет примерно никакое отношение.
В России есть определённые категории граждан, которых после уличных мероприятий выслеживают по камерам и отправляют в СИЗО. И это не социальный рейтинг.
Darlock_Ahe
21.07.2022 12:03По вашему уйгуров только за беспорядки задерживают, а не за что-то другое?
wtigga Автор
21.07.2022 12:25Я хотел сделать акцент на задержаниях вопреки законам. Социальный рейтинг уйгуров здесь никакой роли не играет.
R7R
21.07.2022 15:32Социальный рейтинг уйгуров здесь никакой роли не играет.
Социальный рейтинг, в любом виде — это деление собственных граждан на категории с неравными правами (граждане 1 сорта, 2-го, 3-третьего и т.д., вплоть до неприкасаемых)
Причем это деление может производится по совершенно разным признакам.
В том числе и по национальным (что уже было в истории и не раз)
Поэтому любые попытки введения «социального рейтинга», в любом виде — очень плохо пахнут.wtigga Автор
21.07.2022 15:49Совершенно с вами согласен. "Социальный рейтинг уйгуров" мне стоило взять в кавычки.
Moskus
21.07.2022 10:45Два простых вопроса:
- какой источник для вас был бы достаточно убедительным,
- в какой степени существование такого источника вообще возможно?wtigga Автор
21.07.2022 11:37Если "социальный рейтинг" существует, то должны быть нормативные акты, допустим, в домене gov.cn. Негласных чёрных списков, конечно, никто открыто не публикует, но они и не социальный рейтинг.
Что до статьи в Вики... Идём в пункт "Examples of policies", тыкаем на первый попавшийся случай про пешеходов в Шеньчжене, и попадаем на шеньчженьский новостной портал, где читаем: ...информация о нарушениях была занесена в систему.
...и? Как это повлияло на полёты на самолёте? Сколько раз нужно перейти дорогу на красный свет, чтобы запретили? Рейтинг-то где? И так примерно во всех публикациях.
По какой-то причине, фиксирование записи о правонарушении (именно о нарушении существующего закона, а не какое-то неподобающее поведение) превращается в глобальную систему рейтинга - с баллами и штрафными санкциями.
Moskus
21.07.2022 10:48Существование "разрозненных систем", хотя и не равно существованию единой системы, но мало чем лучше этого, особенно - в перспективе. Еще одна крайне прозрачная демагогия. Учитывая систематическое повторение этого тезиса, возникает закономерный вопрос о причинах такой завидной настойчивости.
wtigga Автор
21.07.2022 11:22В России есть несколько бюро кредитных историй и, допустим, чёрные списки пассажиров. Но утверждать, что в России есть единая система социального рейтинга, из-за которой могут отказать в кредите или посадке на самолёт - ложно.
В Китае примерно так же. На уровнях провинций есть, например, системы распознавания лиц и публикации лица нарушителя на большом LED-экране. Однако это нарушение и эта публикация никак не повляют на какой-то общий рейтинг доверия к гражданину - потому что его не существует в принципе.
То есть нет единого скоринга человека, который отдельные элементы могут улучшать или ухудшать. Во всяком случае, этого нет в таком виде, в котором его часто представляют - как некую систему, к которой подключён вообще весь Китай, и по велению которого Tencent может заблокировать тебе WeChat, Taobao - отказать в покупке телефона, а Ctrip - в регистрации на авиарейс.
При этом совершенно точно есть китайские суды, которые могут наложить запрет на определённые действия, или негласные чёрные списки спецслужб, но это всё никак нельзя назвать "социальным рейтингом".
R7R
«ИИ не выносит решения за судью»
«при разногласиях судьи и искусственного интеллекта, судья был обязан занести в систему объяснение своего решения»
Занесут, не сомневайтесь :)
wtigga Автор
По опыту общения с российским судом, это было бы здорово.
Я сторонник того, что 99% дел в суде поддаются формализации и не нуждаются в живом человеке для вынесения решения. Но сейчас сложилась такая система, что именно человек (почему-то) наделён такой властью, будто бы он обладает абсолютными знаниями и непогрешимой памятью. Хорошо, что есть система, которая контролирует человека.
Меня спеллчекер постоянно контролирует, и в 99% случаев я с ним не спорю. И только в 1% случаев я нажимаю на подчёркнутое красным слово "спеллчекер" и заношу своё мнение в список исключений.
R7R
Масса случаев, когда формально человек виновен, а по факту нет или вина незначительна.
«Ты чо, совсем обурел? Так будешь жить у меня строго по уставу!» — самая страшная угроза в армии.
wtigga Автор
Типичная строгость, компенсирующаяся необязательностью.
Уголовный и административный кодексы в идеальном мире тоже нужно было бы радикально переработать, сделав их предельно однозначными, с ясными определениями и весами для каждого из факторов при вынесении решения. И, разумеется, навсегда исключив резиновые статьи, которых особенно много накопилось за последние двадцать лет.
R7R
Тут главное то, что жить строго по уставу просто невозможно, уставы, они как бы для киберов написаны — все строго по делу, правильно, четко — но не для человека.
И жить строго по уставу — это особо изощренная пытка (я провел полгода в образцово-показательной учебке, и даже там «строго по уставу» жили только первые два месяца, так как начальство не хотело больше случаев суицида среди курсантов).
Это и сделают, когда человек не будет ничем отличатся от кибера.
(вспоминаем «соломоново решение» :)
wtigga Автор
И крылатое
Это советское двоемыслие нужно изгонять как из голов, так и из нормативно-правовых актов. Законы не в камне высечены, их можно и нужно менять.
R7R
Это-то тут причем?
wtigga Автор
Общая концепция: "правила - это одно, а жизнь - это другое".
R7R
Да нет там ничего общего — годы прошли, все изменилось, включая и законы — а проклятие это так и осталось :)
dizatorr
Т.е. правила созданы не просто так? Или - ты ещё поспорь с техникой безопасности /сарказм
uhf
R7R
Дело могут шить и на заказ… Ну не понравился кто-то, например.
«Был бы человек...» (с)
Законы пишут кровью. Т.е. анализируют практику и вносят коррективы, постоянно.
(Все как и у разработчиков софта :)
DaneSoul
Зачем вообще нужны такие уставы, которые реально мало где применяются?
Перевода на ITшный: если у Вас документация не соответствует поведению кода, который описывает, то можно сказать, что документации у Вас и нет как таковой, даже если на бумаге она вот прям идеальная…
R7R
Дело в том, что устав — это свод наставлений, созданный на все случаи жизни.
Причем созданный на основе многовекового опыта, оплаченного кровью.
И в определенных случаях он должен соблюдаться очень строго.
А в определенных — его требования несколько излишни, так как ситуация не требует строгого следования букве устава, а только его духу :)
Но вот если разрешить бойцам самим определять, когда можно-нельзя, то неизбежным следствием будет бардак и все его последствия, вплоть до тяжелых.
(назовем это положительной обратной связью, надеюсь вам знаком этот термин)
Поэтому степень соблюдения устава контролирует командир (которым может быть и ефрейтор, бо главное тут не звание, а должность :), с которого спрашивает командир более высокого уровня. И при первых же признаках начинающегося бардака — требования к исполнению требований устава тут же повышаются
(отрицательная обратная связь)
Здесь К1 — это непосредственный начальник, а Кос — основной, вышестоящий :)
Но чрезмерное использование ООС может задавить все. Поэтому этим не злоупотребляют, за исключением первых месяцев в армии, когда таки надо подавить в людях то, к чему они привыкли на гражданке.
You’re in the army now!
Фильмы на тему, как пруф: «Full Metal Jacket» Стэнли Кубрика (1987) и «Весенний призыв» (1976) — в нашем фильме сильно смягчены нравы (по сравнению с реальностью), но основная суть передана верно :)
(Кстати, «гражданские» законы работают примерно по такому же принципу :)
Moskus
Что делать, если мне spellchecker приходится учить множеству форм слов русского языка, которые он не знает, а я - знаю, бодаться с ним, когда он, несмотря на отключенную опцию "Block offensive words", пытается прикинуться, будто (только основные) нецензурные выражения ему неизвестны, а также когда он, обучившись на писанине безграмотных людей начинает путать "в виду" и "ввиду"?
Кроме того, что сравнение суда со проверкой орфографии - демагогическая ложная аналогия, призванная вызвать ощущение того, что ложные срабатывания - такая же незначительная проблема, как орфографическая ошибка (на самом деле - нет), это еще и банальная ложь, потому что реальная проблема подобных ситуаций - не столько количественная пропорция между истинными и ложными срабатываниями, а наличие возможности, как минимум, по факту срабатывания определить, в какую категорию оно попало - истинных или ложных, а также что-то с этим сделать.
Разговоры о непогрешимости человека - это тоже демагогическая подмена тезиса, потому что разве только совсем наивные оппоненты такое утверждают, а основная обоснованная критика - по поводу строго обратного: ложного впечатления о высокой эффективности ИИ, ведущего к чрезмерному доверию, которое, как результат, подрывает принципы due process.
Плюс, если речь о простых ситуациях, которые не требуют человеческого решения, они также не требуют и ИИ, потому что "простая ситуация" определяется как формализуемая, так что для вынесения решения по такому делу должно быть достаточно формального открытого алгоритма, а не мутного ИИ. Впрочем, в юриспруденции, судя по "99% дел" вы не особенно разбираетесь, потому тут и так спорить особо не о чем.
Заканчивайте с демагогией, она очень прозрачная.