В этой статье я расскажу, как мы применяли нейросети для преодоления заградительных мер для независимых кандидатов на выборах.
Статья будет состоять из двух частей: в первой я расскажу о поставленной задаче и абсурдe, а во второй будет техническое решение проблемы.
Персональные данные в некоторых местах заблюрены, так что не удивляйтесь что некоторые места в картинках нечитаемы.
В российской политике есть такая абсолютно глупая заградительная мера как сбор подписей для выдвижения на выборы, если вы независимый кандидат. Для регистрации необходимо собрать 15 тысяч абсолютно идеальных подписей, т.е на практике это выливается в то, что нужно собрать около 25 тысяч, так как треть собирается с "Браком". Этот "Брак" покажу чуть позже.
В двух словах о процессе. Сборщик подписей ходит по квартирам или по улицам, пристает к людям с просьбой записать свои паспортные данные на бумажке. Потом эти подписи сдаются в избирательную комиссию, чтобы доказать, что избиратели не против, появления кандидата в бюллетене. После этого они проверят подписи по своим неполным базам, если захотят смогут корректно прочесть. И в конце, если информация совпадает не менее чем на 95 процентов, вас зарегистрируют. Но это в теории.
Итак, с чем мы работаем? Слева вы видите пустой подписной лист, куда избирателям нужно поставить свои подписи. Внизу ее нужно заверить сборщику подписей, а еще ниже кандидату. Т.е один лист нужно подписать трем или четырем людям. Очень много слова подпись, но без него никуда, извиняйте.
Какие у нас есть поля? И кто их должен заполнять?
ФИО — Избиратель
Год рождения — Сборщик
Адрес проживания — Сборщик
Серия и номер паспорта — Сборщик
Дата подписи — Избиратель
Сама подпись — Избиратель
Т.е поле 1, 5 и 6 заполняется избирателем, а 2,3,4 сборщиком...
Но переходим, так сказать, к самому вкусному. Каждую подпись необходимо неоднократно проверить разными специалистами перед сдачей в избирательную комиссию. Что вообще специалисты проверяют?
Полноту прописанного текста. (Рис.1) Такую подпись с большой вероятностью признают недействительной, так как тут не пропечатаны несколько букв, хотя спокойно читается Александров Максим Юрьевич.
Проверка на качество почерка. (Рис.2) Избирательные комиссии трактуют двоякочитаемый текст не в пользу независимого кандидата. Например, тут могут придраться, что это Попиков, Горипов, Горинов, Полишов, Горопов и тп. Никто не будет разбираться, что тут на самом деле, хотя с очень высокой вероятностью это Голиков.
Исправления. (Рис.3) Если в тексте есть какие-то черточки и помарки, то избирательная комиссия по закону может признать это исправлением. А если это исправление, то необходимо зачеркивать (((Ошибку))) и приписывать рядом "исправленному верить", и расписываться рядом. Иногда возникает абсурдная картина, если почерк у избирателя или сборщика неидеальный. Пример ниже.
Следующие пункты без фоток, иначе статья получится слишком большой.
Рисовка. Наверное, некоторые из читателей думают, а почему нельзя просто взять и нарисовать от себя подписи. Можно, так и делают чтобы испортить жизнь независимым кандидатам, причем в двух случаях: во-первых, чтобы просто заработать больше денег, а во-вторых, чтобы испортить подписи. Для того чтобы не недопустить рисовку, необходимо проверять текст и по почерку.
Проверка паспорта на действительность. Паспорт может быть недействительным как утерянный или как истекший. Такие подписи признаются недействительными.
Дубликаты. Иногда подписи повторяются и нужно проверить их на уникальность.
-
Секретная проверка. Не буду раскрывать способ, но так мы вскрываем недобросвенных сборщиков.
Сразу скажу, у избирательной комиссии есть доступ ко всем базам, и при добросовестном исполнении закона спокойно можно зайти в них и найти, как правильно читаются данные избирателя.
Объем работы
Для того чтобы оценить эффективность введенного решения, необходимо определить обьем работ и вообще оперировать какими-то цифрами.
Есть примерно 20000 листов, которые должны проверить несколько специалистов. По статистике только каждый пятый лист был заполнен 2 подписями. Плюс после каждого исправления необходимо заново все проверить. Итого необходимо больше десятка итераций с каждым листом, в сумме несколько сотен тысяч.
Ах да! Каждую подпись надо еще сшить в папку и составить по ней итоговый протокол. За 30 дней.
Без модной цифровизации не обойтись никак, те, кто работал даже с 1000 листов, понимают что это уже огромный объем работы.
Для того чтобы выполнить задачу, мы написали CRM(про нее напишу отдельную статью). В ней присутствует цифровой двойник физического листа, с которым мы производили все манипуляции, пока физически лист лежал в папочке. Т.е. мы сокращаем количество дотрагивания до бумаги до минимума.
Но возникла новая проблема: чтобы оперировать с двойником, необходимо все эти двадцать тысяч листов отсканировать и вручную перебить их содержание в систему. Плюс после каждого исправления физической подписи необходимо обновить и двойник. По статистике это каждая третья. Итого: необходимо оцифровать 27 тысяч подписных листов. У нас этим занимался целый отдел, сначала сканирование, потом перепечатка, проставление идентификатор и по новой. Процесс оказался трудоемким, средняя скорость одного человека получилась около 110 листов в день
|
Количество сканирований листов |
Средняя скорость одного оцифровщика |
Суммарная работа |
27000 шт |
110 листов в день |
246 человеко-дней |
И не забываем, что у нас всего 30 дней и небольшой офис, который уже переполнен!
В игру вступают нейросети
И тут у нас возникла очевидная идея — а давайте использовать нейросети, чтобы просто автоматически оцифровывать весь текст.
Первой идеей было тупо засунуть весь лист в нейронку, а потом кодом вытащить данные и расставить куда нужно. Мы изучили различные сервисы OCR и начали испытывать их на деле. Одним из первых попробовали сервис от ABBYY, и результат нас удивил:
Это какое-то авангардное искусство, но никак не считывание текста. Красиво, но бесполезно.
Попробовав еще пару вариантов нам стало очевидно, что засовывать весь лист целиком в нейронку нет смысла, и было принято решение сначала разрезать лист на кусочки, а только потом скармливать их компьютерному мозгу. Такого ПО в открытом (да и в закрытом скорее всего) доступе нет. Пришлось писать самим.
Саму нейрость-OCR выбрали Яндекса, так как она лучше всего обучена на русский язык и имеет доступный API.
С помощью Opencv мы находим на листах поля с данными и режем на кусочки
Для повышения процента успешной обработки текста мы переводили изображение в негатив, выделяем и удалялем шум.
Маленькими порциями по одному блоку нейросеть переваривает изображение намного лучше.Тем самым мы довели до максимума качество исходных данных с нашей стороны, теперь итоговый результат зависит только от Яндекса.
Теперь стоит задача из разрозненных идей собрать единый бизнес-процесс. Выглядит это так:
Процесс стыковки с Яндексом не буду описывать для краткости. Такая схема оказалась на удивление шустрой и рабочей. Финальные штрихи и подключаем нашу конструкцию к CRM. Распихиваем получившуюся инфу от нейронки по полям листа.
Запустили конструкцию в работу, и тут вскрылся любопытный момент. Начались проблемы с нейронкой яндекса, в большинстве случаев она начала выдавать просто набор букв и цифр, иногда это принимало забавный вид, ниже примеры.
И тут начался настоящий бунт среди оцифровщиков. Они сидели на KPI, и когда нейронка начала проставлять такие значения в поля это сильно замедлило работу и они начали терять деньги. После нескольких применений они просто переставали использовать нейросеть. Стоять над ними и бить палкой, мол, используй новые технологии — не вариант. Столько сил и времени потратить на вещь, которой просто не стали пользоваться, просто неприемлемо.
А теперь статистика
Даты и год рождения нейросеть переваривала довольно хорошо, где-то процентов 80. C фио уже намного хуже, точность падает процентов до 15. Адрес распознать практически нереально: всякие точки, слеши и прочие знаки сбивают нейросеть с толку, поэтому точность примерно 7 процентов. А вот номер паспорта определялся вполне неплохо, около 70 процентов.
Поле |
Пример поля |
Точность |
ФИО |
Лихтарова Диана Дмитриевна |
15% |
Год рождения |
08.02.1982 |
80% |
Адрес проживания |
ул. Профсоюзная д.123А стр.2 квартира 127/128 |
7% |
Серия и номер паспорта |
4613 232509 |
70% |
Дата подписи |
22.06.2021 |
80% |
Почему такие низкие результаты? Потому что почерк у людей в среднем далеко не каллиграфический, и это можно понять, этот навык в современном мире требуется все реже и реже.
Регулярки.
Мы стали думать дальше, что делать, качество исходных данных мы довели до максимума, а на нейросеть Яндекса мы повлиять не можем.И мы нашли решение, добавили между срм и нейронкой яндекса регулярные выражения. Т.е нейросеть считывает картинку, выдает информацию, мы ее проверяем регулярками на адекватность, и если все хорошо, то вставляем в CRM.
Теперь бизнес-процесс выглядит так:
Из выдачи нейросети cразу убрали:
Знаки препинания
Латинские буквы
Цифры в ФИО
Текст в датах
Невозможные даты (например 9021 год)
Только 10 символов в паспорте
Времени было очень мало, поэтому мы делали наспех и сразу видно что можно улучшить, например, подключить словари имен.
Но это улучшение не решило главной проблемы применения нейросети, оцифровщики просто ее не используют, так как даже исправление одного поля сильно тормозит работу, им приходится проверять все, что выдает нейросеть, править ошибки, или вообще все сносить и заполнять заново. Поэтому все осталось по-прежнему, автоматическое распознавание текста бросали после 4-5 неудачных попыток.
Поэтому мы приняли решение вообще отключить вывод информации от нейросети для адреса и фио. Оставили только цифровые значения. И вот этот подход уже сработал.
Осталось определиться с порядком использования OCR
Мы проверяли 2 режима
Автоматическое применение. После загрузки изображения всегда идет автоподстановка результата обработки нейросети в поля.
Ручное применение. После загрузки подписного листа оцифровщик на глаз определяет, переварит ли нейронка данное изображение с хорошим результатом, и если ему кажется что да — Запускает OCR в работу
Мы проверили оба способа. По итогу оказалось, что автоматическое применение оказалось абсолютно бесполезным, оцифровщики тратили больше времени, чтобы проверить корректность обработки, очистить это поле и заполнить уже правильно.
А вот ручное применение оказалось достаточно удачным, первое время оцифровщиков приходится заставлять использовать нейронку, потому что поначалу они не понимали когда она сработает, а когда нет. Но после того как они принудительно попробовали использовать пару десятков раз, у них выработалось интуитивное понимание когда текст распознается. Грубо говоря, у них в голове их собственная мозговая нейросеть натренировалась понимать, когда сработает ее цифровой аналог.
Итоги и выводы
Так и что в итоге то? Введение нейросети повысило общую эффективность примерно на 10-15 процентов.
Ну и возникает логичный вопрос, стоили ли все эти пляски того, чтобы увеличить эффективность процентов на 10?
Ответ — Определенно да!
Первое Введение нейросети помогло сократить примерно 24 человека-дня или избежать найма, обучения, контроля одного оцифровщика в переполненном офисе.
Второе Нейросеть яндекса пока еще слаба для распознавания реального почерка, ее обучали, скорее всего, на приближенном к печатному тексту. Реальные рукописные текста программа практически не может корректно определять. Надеюсь, нейросеть Яндекса обучится до такой степени, что сможет делать и это, я так понимаю, это вопрос времени. Надо только подождать, и все будет в кайф, вообще можно будет не использовать людей для такой работы.
Третье Конструкция оказалась удачной, мы не привязаны к Яндексу, через API можно подключить любую другую нейросеть, хоть GPT-4, если это будет эффективней.
Четвертое Даже сейчас можно улучшить качество используя справочники адресов и ФИО.
Пятое. Если отвлечься от политики, то опыт все-равно получился ценным, можете заменить подписи на любую стандартизировнную форму заполняемую от руки и весь опыт окажется релевантном и для нее. Например, анкеты соц.опросов или старые бумажные мед.карты.
Но на самом деле это все мелочи, главный вывод другой:
Все эти подписные листы — это абсолютно идиотская заградительная мера от независимых политиков. Нам приходится извращаться, и вместо того что использовать современные технологии для созидательной деятельности, мы тратим свое время и возможности на то, чтобы собрать 20 тысяч листов а4, бюрократически попрыгать около них с бубном десятком способов, сшить в папочки, положить в коробки и отвезти избирательную комиссию. Конечно же никакого смысла в такой деятельности нет, существует только две причины почему такой абсурд вообще присутствует, это, во-первых, чтобы независимые политики опустили руки и не стали участвовать в выборах, и если они все-таки собрали, то легко завернуть их обратно, якобы в подписях присутствуют ошибки.
Радует лишь одно, они вводят специальные абсурдные заградительные меры, чтобы мы опустили руки, а происходит обратный эффект — мы используем современные технологии для обхода этого абсурда, в процессе прокачиваем наши навыки и применяем их уже для создания чего-то реального и полезного.
Разработка: @Chamie @btseytlin Натан Власенко
Комментарии (39)
KotKotich
26.10.2021 12:23-8Сбор подписей не идиотизм, а вполне здравая и нужная мера. Чтобы сотые доли процента хайп на ровном месте не делали. И чтоб меньше торговали своим местом и голосами кандидаты в депутаты
Peterlos Автор
26.10.2021 12:39+9Вы, наверное, не разбирались как это устроено. Сбор подписей логичным на первый взгляд звучит логично, но практике это самая контринтуитивная мера которую вы знаете. А про торговлю, зарегистрированным партиям собирать подписи не нужно, так что торговля идет полным ходом. Подписи собирают только самовыдвиженцы и это специально сделано против них, в этом году подписи смог собрать и зарегистрироваться по всей стране лишь один кандидат! Какая тут торговля. Один! На всю страну, а это федеральные выборы.
Чтобы не писать много, немного особенностей:
Например, все подписи нужно подписать кандидату, это около 120 часов! простого тупого подписывание листиков. Как это относиться к желанию граждан выбрать своего представителя? Нашему кандидату делали массаж, так у него просто отказывала рука от таких объемов
Плюс это выливается дискриминации граждан по почерку, их подписи скорее всего признают недействительными. Это тоже как то не по духу закона.Также ваши подписи могут признать рисовкой, потому что могут, и вы никак не докажете, даже если приведете подписантов в суд, где они будут доказывать что существуют.
Мера должна быть такая, что если люди хотят видеть человека в бюллетене, то пусть он будет, а на выборах разберемся у кого какая поддержка.
KotKotich
26.10.2021 13:49-10Я прекрасно разбираюсь и откуда во всех этих страданиях ноги растут. Как всегда...такой гешефт был испорчен. Ничего, напряжется как нибудь бедный кандидат, подписывая листы. Бедняжка не перетрудится. Хочет на саночках кататься, в Думе заседать, пусть потрудиться хоть чуток. Сам 16 лет отработал преподавателем, в сессию столько зачеток и ведомостей подписывал, сколько кандидатам и не снилось. И ничего... не надорвался.
Если независимый кандидат не в состоянии собрать нужное количество подписей, то это не представитель народа, а пустое место, никого не представляющее. Только тратить на него время и государственные ресурсы зря. Не надо путать демократию и засилье меньшинства.
Это хорошая мера против левых гешефтов, например, против фейковых псевдокандидатов однофамильцев для внесения путаницы и размыва избирателей у настоящих кандидатов. Например, десяток Генадиев Зюгановых, чтоб бабки стали в них путаться.) Такой хороший гешефт испортили. То то столько страданий у некоторых.Peterlos Автор
26.10.2021 14:28+4Я понимаю что если нужно кандидат может и двойное сальто сделать, но вопрос — зачем? Ну ок, все попадают в думу без
подписей,двойного сальто, а независимым надо прыгать. Как это мера хоть как то доказывает обществу что вы достойны быть в списке избирателей? Кандидаты могут собрать подписи, ок, мой кандидат смог, но избирательная комиссия сказала что у нас лист не тот и отказала в регистрации. Хотя по закону все правильно.
Выборы для того и нужны, чтобы избиратели сами определили кто будет их представлять.
А про фейковых кандидатов, посмотрите на вишневских или список Коммунистов России по Москве, там сплошные однофамильцы лидерующих кандидатов и никто из них не собирал подписи.
Решать проблемы тем, что усугубляет другие еще сильне порочный круг.KotKotich
26.10.2021 14:33-5Не смешите народ про тяжкий каторжный труд подписывания бюллетеней за себя любимого. Еще раз, если человек не смог найти нужного числа своих сторонников, то он явно недостойный быть в списке избирателей. Уже сами люди выбрали, а точнее не выбрали. С фейковыми кандидатами - такой шикарный бизнес был испорчен.) Такой, понимаешь ли, порочный круг, отсекающий никем не поддержанных самозванцев и прочих неадекватов). Казна у государства ведь безграничная. Можно, вообще, всех жителей в кандидаты записать оптом, что тут мелочиться. Гулять так гулять. Сарказм выкл.
Chamie
26.10.2021 14:40+1С фейковыми кандидатами — такой шикарный бизнес был испорчен.) Такой, понимаешь ли, порочный круг, отсекающий никем не поддержанных самозванцев и прочих неадекватов
Не очень понятно, что именно из этого ирония, и кто что, по вашему мнению, испортил — потому что фейковых кандидатов были горы, и подписей они не собирали.KotKotich
26.10.2021 14:42-5Всё вы прекрасно понимаете. Какой бизнес испорчен с однофамильцами. Для торпедирования определенных кандидатов, чтобы уменьшить число избирателей за них проголосовавших. Можно набрать хоть сотни самовыдвиженцев, приплатив им, которые собой забьют реального кандидата. Обыкновенный шум на уровне полезного сигнала. Когда соотношение шум сигнал много больше единицы. А вот этот фильтр с подписями такое уже сильно усложняет. Вот эти проплаченные самовыдвиженцы и плачутся.
Chamie
26.10.2021 14:47+3Ничего, что однофамильцы как раз были на этих выборах вплоть до абсурда, и подписей не собирали? При том, что на «нефильтрованных» такого массово не наблюдалось? Как это с вашими измышлениями согласуется?
KotKotich
26.10.2021 15:04-6А без сбора подписей таких бы было бы на порядок, а то и два больше. Так что все прекрасно согласуется. Обыкновенный фильтр, подавляющий бесполезный шум и повышающий соотношение сигнал/шум. И явную халтуру с подделкой подписей и информации о поддерживающих кандидатов исправно отсекает.
Еще раз, для людей, имеющий хоть какое то влияние в обществе, имеющих единомышленников, собрать нужное количество подписей труда особого не составляет. А то и свою партию создать, тогда и собирать ничего не надо. Проблемы лишь у пустышек.
Chamie
26.10.2021 15:29+2Простите, вы дальше первого предложения читаете, перед тем, как ответить?
на «нефильтрованных» такого массово не наблюдалось
А без сбора подписей таких бы было бы на порядок, а то и два больше.
Child_Of_Flowers
27.10.2021 12:20А для какой цели в принципе кандидату нужно подписывать подписи избирателей, можно поинтересоваться? Типа что он согласен, что этот человек за него голосует?)
Peterlos Автор
27.10.2021 12:22+2Для того чтобы избирательная комиссия, якобы, удостоверилась, что это подпись собираеться за него и он согласен. Но на самом деле, никто не знает) Там еще много таких специфических правил.
sherezha95
26.10.2021 14:28Вы не считаете, что убрав данную проверку появится куча технических "самовиднутых" кандидатов с теми же ФИО и не разово, как сейчас, а массово? Может надо топить за какое-то сокращение числа подписей, увеличение допустимого уровня ошибок в подписных листах. Иначе ток другие проблемы вылезут.
Peterlos Автор
26.10.2021 14:30+4Проблема в том, что такие меры лишь припарки мертвому, сама система сбора подписей в нынешнем варианте никак не коррелирует с справедливыми выборами.
Даже если ваш вариант примут, то избирательная комиссия может приудмать чтото другое, например все ваши подписи рисование, оспорить можете после выборов.KotKotich
26.10.2021 14:38-2Система именно что коррелирует со справедливыми выборами. Не смог собрать своих сторонников с запасом - что тебе делать в депутатах ? Кого ты там представляешь ? Себя ? А не народ. Не нравится это лишь тем, кто не смог собрать голоса, убедить народ, поддержать себя. Те, кому люди просто не верят. Опять народ не тот ? Не те выборы ? Не та демократия ? Может всё проще, сам кандидат не тот. Страшно далекий от того самого народа.
Chamie
26.10.2021 14:44+1Вы тут принципиально игнорируете факты того, что партии, которые уже засели в ГД, могут ничего не собирать и просто по праву вахтёра могут выдвигать кого угодно и сколько угодно, а собранные подписи избирком имеет право заворачивать ничего не доказывая, просто объявляя недействительными, даже если они нотариально заверены и сам подписант лично с паспортом и нотариусом приходит в ЦИК?
KotKotich
26.10.2021 14:48-7А за те партии, засевших в ГД народ голосует. И голоса отдает поболее жалких 15 -20 тыс. голосов, которые нужно собрать для регистрации. Беда печаль.
И факты в студию, когда избиркомы заворачивали. Или опять агенство одна бабка сказала на уровне сплетен и слухов ?))) Или опять будет плачь обиженок ? Где публичные суды и процессы по этим делам ? Как то партиям, имеющих влияние в обществе, никакие избиркомы не страшны. Они прекрасно проходят в Думу. Те же коммунисты сидят в Думе безвылазно с 90х. Несмотря на свою оппозицию. Никто им особо не помешал.Chamie
26.10.2021 15:28+3И факты в студию, когда избиркомы заворачивали. Или опять агенство одна бабка сказала на уровне сплетен и слухов ?
Вы новости совсем не читаете, да?Где публичные суды и процессы по этим делам ?
Знаете, тот же вопрос. Где в нынешней России публичные суды и процессы.
Peterlos Автор
26.10.2021 14:46+3Так кандидаты собирают подписи, их комиссия не принимает, я об несколько раз выше писал.
KotKotich
26.10.2021 14:55-6Ну так пусть в суд подают. Где публичные широко известные судебные процессы ? Писать можно о чем угодно бездоказательно. Пишут и о марсианах, похищающих людей.) Даже очевидцы порой имеются. Только почему то у всех смартфоны разряжены.) Все этому верят ? Где доказательства ? Или у нас тут джентльменам верят на слово ?)
Chamie
26.10.2021 14:31+4Просто сделали бы сбор подписей через Госуслуги, например. Чтобы не нужно было всей этой возни и проверок.
KotKotich
26.10.2021 14:46-2Вангую, что тогда будет такое же нытье о злобных хакерах, всесильных органах, не дающих бедняжкам собрать голоса.) Естественно, виноваты будут все, кроме того, кто не смог собрать голоса, кто не вызвал доверия у народа. И ныть будут всё те же полпроцентные
barlog1
27.10.2021 12:22+1У нас на выборах один кандидат выигрывал по голосам, а по результатам работы ТИК совсем другой. ВСЕ, ВСЕ обращения в суд были отклонены. Никакие всесильные органы тут ессно не при чём, само так сложилось. Так что да, и про злобных хакеров будет и про иже с ними.
Peterlos Автор
26.10.2021 14:51+3Один из вариантов, но это все равно не избавляет нас от проблемы черного ящика, могут сказать, ну за вас никто подпись не оставил или система вдруг упала. Нужно отделять на всех уровнях избирательные комиссии от испольнительной власти для прозрачности.
На мой взгляд залог самая адекватное решение.
WASD1
26.10.2021 15:37А вот скажите факсимиле можно использовать вместо рукописной подписи?
Peterlos Автор
26.10.2021 15:54Я не электоральный юрист, но вроде как нет. Да и смотрю кому, сборщику, избирателю или кандидату? Я думаю там куча подводных камней
WASD1
26.10.2021 17:30Да я спрашивал про кандидата и "120 часов чистого времени на подписание листов".
Просто лет 10 назад (когда ЭЦП ещё не было распространено) люди с куда меньшими затратами времени на подписание документов его использовали.Peterlos Автор
26.10.2021 23:59Все зависит от уровня выборов. Если вы выбираетесь, например, в муниципальные депутаты, то вам нужно примерно 50 подписей, если в мосгордуму то 5000, если в гос.думу, то 15000. Эцп тут неприменимо, так как это все происходит в бумажном виде. Средняя скорость подписи это 3-4 подписей в минуту. Но после какого то момента рука забивается и скорость падает, в сумме выходит где то 120 часов.
Gutt
27.10.2021 10:49+2Пра мыслей на будущее.
Имеет смысл натренировать собственную нейронку на отсеивание нераспознаваемых кусков текста, чтобы отсеивать их до OCR.
У вас теперь есть отличная обучающая выборка, которой можно улучшить OCR Яндекса и не только. Тот же ABBYY наверняка будет рад это использовать. ПД там нет, это просто разрозненные куски текста.
Peterlos Автор
27.10.2021 12:26Да, это один из вариантов, мы его отбросили, так как слишком затратный по времени. Если мы будем заниматься этим дальше, то сделаем какую-то отсеялку.
Как вы это вы себе представляете? Я стучусь в Яндекс или ABBYY, я хочу улучшить ваш продукт? Ну и скорее всего у них на серваках осталось изображение. Я за, но фиг знает как это сделать.
Gutt
27.10.2021 15:46+1Как вы это вы себе представляете? Я стучусь в Яндекс или ABBYY, я хочу улучшить ваш продукт?
Именно так. Только нужно найти правильный контакт, чтобы не через офис стучаться, я прямо группе, этим занимающейся, сделать предложение. То, что у них есть изображения, им не поможет. А вот изображения и уже переведённые и проверенные людьми тексты, которые на этих изображениях, — вполне. @kizill
sergeyns
Я бы после такой статьи начал обучать свою нейронку. Мало ли что случиться с нейронкой яндекса в следующую избирательную компанию. Начнет распознавать неправильно, или вдруг решит письма рассылать.. Ну или просто сервисы окажуться недоступными.. Ну или окажется что вы перс данные куда-то не туда передаете, вдруг у яндекса найдется ДЦ в нидерландах, да и сам яндекс оказывается иностранной компанией (у кого то из депутатов нашли акции иностранной компании яндекс и сняли с выборов)?
ЗЫ да, яндекс уже давно не торт
Peterlos Автор
Тут есть несколько моментов:
1. Обучить свою нейронку на рукописный русский язык это огромная сложная задача с приличным бюджетом. У нас таких ресурсов, к сожалению, нет.
2. Яндекс лидер по русскоязычному OCR тягаться с ними маленькой группой смело, но вряд ли будет успешно.
3. У нас API, случиться что-нибудь с Яндексом, пересядем на другой сервис, нам в принципе не так важно
4. Мы в яндекс отправляем кусочки листа, там просто дата или адрес, они между собой не связаны, поэтому это не является передачей ПД.
Ну а так да, лучше иметь все свое, чем не иметь.
WASD1
Скандал был с Потапенко. Который заявил, что владеет только акциями Сбера и Яндекса.
Позднее представители ЦИК заявлили, что у него во владении обнаружены акции Apple Tesla и Ford.
Ссыль:
https://meduza.io/news/2021/09/02/tsik-biznesmena-dmitriya-potapenko-snyali-s-vyborov-ne-iz-za-aktsiy-yandeksa-i-sberbanka-a-iz-za-aktsiy-apple-tesla-i-ford
Peterlos Автор
Вот да, еще полный бред, почему нельзя владеть акциями иностранных кампаний как мелкий частный ивестор? Почему за это должны лишать пассивного избирательного права?
Все это бессмысленные заградительные барьеры
WASD1
Вы меня спрашиваете (так-то я просто пояснил, что иногда "сказал, что сняли за владение акциями сбера имеет нюансы")?
Я думаю, что идейно - чтобы исключить конфликт интересов, что в целом скорее правильно (в общем-то исключение конфликта интересов - одна из немногих универсально правильных регуляций).
Другое дело, что законы должны быть консистентны, в том числе и в своей строгости. Но это очевидно другой вопрос и обсуждать его имеет смысл более "основательно", чем в ветке комментов 3-го уровня.