Привет, Хабр! На связи Даша Волкова из МТС Диджитал. Мы часто слышим, что искусственный интеллект призван помогать людям в рутинных задачах. Одна из них — рассмотрение разного рода документов: запросов на гражданство, дел по пособиям, судебных решений. В Неваде, США, планируют привлечь ИИ к помощи в рассмотрении дел выплат для безработных. Чиновники не всегда справляются, так что руководство региона решило автоматизировать процесс.

Что за проект

В течение нескольких месяцев штат Невада собирается внедрить ИИ на базе сервисов Google в бюрократическую систему по делам безработных. Искусственный интеллект займется анализом стенографий слушаний по апелляциям по безработице. Задача цифрового помощника — выдавать рекомендации специалистам, которые потом уже будут решать, выплачивать пособия заявителям или нет. Сам ИИ принимать решения не будет.

Это первая подобная система в стране. Государственные чиновники и Google позволят генеративному ИИ влиять на решения, от которых зависят выплаты.

Чиновники штата Невада комментируют, что LLM от Google ускорят процесс рассмотрения апелляций — в некоторых случаях время написания решения арбитром сократится с нескольких часов до пяти минут. Это поможет штату справиться с делами «из долгого ящика», оставшимися с разгара COVID-19. Как и в большинстве штатов, система безработицы Невады оказалась перегружена беспрецедентным количеством заявлений во время пандемии, и только сейчас все начинает приходить в норму. Работа ведется, но процесс нужно ускорить.

Как будет проверяться работа ИИ

По словам директора Департамента занятости, обучения и реабилитации Невады (DETR) Кристофера Сьюэлла, как минимум один человек будет проверять каждую рекомендацию цифрового помощника. Если человек-арбитр соглашается с рекомендацией, он выносит окончательное решение. Если нет, комиссия из нескольких специалистов анализирует рекомендацию ИИ и мнение человека.

«Никакие решения, написанные ИИ, не будут вынесены без участия и проверки человека, — сказал Сьюэлл. — Мы сможем рассматривать дела быстрее, что действительно поможет заявителям».

Сьюэлл рассказал, что DETR начал обсуждения с компанией Google о применении ИИ для обработки дел по безработице во время встречи год назад. В течение следующих месяцев агентство провело десятки тестов, используя технологии для анализа документов слушаний по делам разной сложности. Когда было установлено, что Google создал «хороший продукт, который решает все правильно», DETR согласился на контракт на один миллион долларов. Он был одобрен Советом экспертов штата в прошлом месяце.

Слушания по апелляциям и сопутствующие документы могут содержать налоговую информацию, номера социального страхования и другие идентификационные данные, а еще — сведения о здоровье, семье и финансах заявителя.

«По условиям контракта Google не будет иметь доступа к персональной информации из слушаний и не сможет использовать конфиденциальные данные для других целей», — заявила представитель DETR Валентина Бонапарте.

Валентина добавила, что штат Невада не будет обучать новую модель генеративного ИИ для системы апелляций. Вместо этого чиновники воспользуются Google Vertex AI Studio, который позволяет разработчикам адаптировать существующие ИИ-модели под конкретные задачи, создавая модель RAG (retrieval-augmented generation). Модели RAG извлекают информацию из определенной базы данных — в этом случае из БД законодательства штата Невада и предыдущих дел по апелляциям — чтобы предоставлять более точные результаты.

Карл Стэнфилд, ИТ-администратор DETR, рассказал, что комитет станет проводить еженедельные встречи в процессе настройки модели. После ее запуска чиновники будут собираться ежеквартально, чтобы отслеживать ошибки и неточности в решениях системы. Никому не хочется, чтобы действительно нуждающемуся человеку отказали в выплатах из-за ошибки LLM или «галлюцинаций» модели.

Сейчас Google Gemini 1.5 Pro — лидер в рейтинге HELM LegalBench, системе тестирования, оценивающей способность языковых моделей отвечать на юридические вопросы. Модель Gemini ответила правильно на 76% таких вопросов в тестах, а Gemini 1.5 Flash, более легкая версия, — на 66%. Авторы проекта пока не могут раскрыть, какую именно модель Google будет использовать Невада.

Где могут быть сложности

Знатоки права, экс-чиновник Министерства труда США и адвокаты, представляющие интересы жителей Невады на слушаниях по апелляциям, выражают опасения, что фокус на скорости может плохо повлиять на исход многих дел.

«Экономия времени возможна только в том случае, если проверка будет поверхностной, — говорит Морган Шах, директор по взаимодействию с общественностью в Nevada Legal Services. — Если кто-то тщательно и правильно проверяет информацию, времени действительно тратится много. Каким образом LLM вынесет решение за пять минут?».

Мишель Эвермор, бывший заместитель директора по вопросам в сфере безработицы Министерства труда, разделяет подобные опасения.

«Если робот просто дает вам рекомендацию, а вы ставите галочку и при этом на вас давят работать побыстрее с целью расчистить накопившиеся дела, это немного тревожно», — сказала она.

В ответ на опасения относительно предвзятости автоматизации представитель Google Эшли Симмс заявила: «Мы работаем с нашими клиентами, чтобы выявить и устранить возможную предвзятость, а также помочь их решениям соответствовать федеральным и государственным правилам и требованиям».

Что ж, это интересный проект. Будем следить за его результатами.