С предыдущего релиза мы стали еще круче работать с данными:
- подсказываем банковские реквизиты,
- возвращаем геокоординаты в подсказках по адресам,
- проверяем действительность паспорта,
- определяем стоимость квартиры.
Подсказки по банковским реквизитам
Помогают ввести реквизиты банка быстро и без опечаток. Источник — сайт ЦБ РФ, обновляем каждый день.
Ищут по названию, БИК и SWIFT. Возвращают все основные реквизиты, включая корсчет и РКЦ, чтобы автоматически подставить их в акт или договор.
Подсказки подключаются как jQuery-плагин к любому текстовому полю. Или через HTTP API. Бесплатны до 10 тысяч запросов в сутки.
Подсказки по адресам возвращают геокоординаты
С точностью до дома. Если не найден дом — возвращают координаты улицы; если не найдена улица — координаты центра города.
Проверяем паспорта
Дадата проверяет серию и номер паспорта по собственным алгоритмам и справочнику недействительных паспортов ФМС:
Работает в файлах и через API.
Определяем стоимость квартиры
Возвращаем среднюю рыночную стоимость квартир для городов-миллионеров России. Источники — 4 самых популярных сайта по продаже недвижимости, покрытие 20–40% домов. Пересчитываем ежегодно.
Работает при стандартизации через API (поля square_meter_price, flat_price) и в файлах.
Надеемся, что вам будет полезно что-то из перечисленного. Задавайте вопросы!
Комментарии (52)
Dare
26.05.2015 13:38Какова скорость обновления из официальных источников?
Вот косяк, например:
С 26ого(сегодня) числа банк ПАО (а в наименовании ОАО). Причем расшифровка, серым, верная.
algenon
26.05.2015 13:44У вас на скриншоте: «сведения актуальны на 26.05.2015». В базе Центрального банка на сегодня краткое наименование «ОАО АКБ «УРАЛ ФД»» — поэтому такой результат.
gubber
26.05.2015 13:48У меня допустим, есть строчка в которой объединены ФИО, адрес, телефон, email. Можно ли разобрать такую строку вашим сервисом?
Tsyoma
26.05.2015 17:33Интересный сервис. А номера телефонов можно валидировать более точно (разбивать по операторам) еще можно проверить статус абонента HLR-запросом
Интересно а вы собираете и храните данные из запросов?
SVVer
26.05.2015 18:03Пара вопросов:
1. Каким образом определяются координаты для адреса? Ведь адреса берутся из ФИАС, как я понимаю.
2. На какой территории работают геокоординаты?algenon
26.05.2015 18:33+1Используем OSM. Координаты по России, статистика такая:
- До дома (точные координаты или ближайший) — 31% адресов.
- До улицы — 30%.
- До населенного пункта или города — 29%.
- Не определены — 10%.
Т.е. на большой выборке хотя бы до улицы или до дома определяются 61% адресов, а хотя бы до населенного пункта — 90%.
RomeroMsk
26.05.2015 19:13Планируете ли расширять список используемых источников, добавляя другие гео-сервисы (Яндекс, Google, Bing, ArcGIS и т.д.)?
AlexGechis
27.05.2015 09:03+1Мы бы с радостью, но перечисленные вами источники либо нельзя использовать как это делаем мы, например, Яндекс, либо слишком дорогие.
Скажите, а в чем состоит ваша задача, что не устраивает OSM?RomeroMsk
27.05.2015 09:09нельзя использовать как это делаем мы
А если задействовать библиотеки-агрегаторы, которые сводят всё в один интерфейс (что-то вроде Geocoder, только для используемого вами языка)?
Скажите, а в чем состоит ваша задача, что не устраивает OSM?
Я полагаю, что с добавлением еще хотя бы одного источника покрытие и качество данных возрастут. Особенно, если это будет Яндекс (для России).AlexGechis
27.05.2015 09:15+1Конечно, данные возрастут, но Яндекс мы использовать не можем. Пытались с ними договориться — даже сумму не смогли назвать, просто нельзя.
То есть, тут вопрос не технической реализации, с ним как раз сложностей нет. Вопрос в юридической сфере.
Качество данных действительно улучшится, но, как показывает практика, по городам там покрытие приемлемое, а в небольших населённых пунктах часто не стоит задача определения точных координат дома, достаточно центра поселка.
RomeroMsk
27.05.2015 09:27Ясно. А как с другими гео-сервисами? Уверен, что 2gis будет более лоялен в этом вопросе.
AlexGechis
27.05.2015 09:32+1С 2ГИС мы обсуждаем этот вопрос. Однако, у них есть данные только по ограниченному списку городов, для которых и в OSM неплохие данные. Хотя их подключение увеличило бы качество.
RomeroMsk
27.05.2015 09:39Конечно. Вы могли бы сравнивать получаемые из двух источников данные, чтобы следить за качеством.
В целом, ситуация понятна, спасибо за ответы.AlexGechis
27.05.2015 09:54Вы могли бы сравнивать получаемые из двух источников данные, чтобы следить за качеством.
Сравнивать — это довольно сложно:) Разве что пополнять места, которых нет в одном источнике, другим. Для задачи сравнения нужно как минимум три источника (или два и самолет с неограниченным запасом топлива), так как если в двух различаются координаты для одной точки, то не ясно кто из них прав:) И тут авторство справочника не играет роли: в Яндексе, когда изучали вопрос, находили интересные перлы, например координаты объекта удалены от объекта на несколько километров, судя по снимкам из космоса. Обычно это встречалось в мелких населённых пунктах.
Пожалуйста, обращайтесь:)RomeroMsk
27.05.2015 10:39Я не имел в виду сравнение ради выяснения, кто точнее. Достаточно большое расхождение координат (более Х метров, скажем) из двух источников — повод для ручного разбора данного кейса и/или накопления статистики таковых расхождений.
freeExec
28.05.2015 17:13Тогда не поленитесь упомянуть на своём сайте источник данных, как того требует лицензия OSM.
lyalius Автор
29.05.2015 11:50У нас упоминается источник данных dadata.userecho.com/topic/537963-noyabr-2014-prostavlyaem-geokoordinatyi-i-podskazyivaem-adresa-vladeltsam-smartfonov
freeExec
29.05.2015 14:33+1Ну это же не серьёзно — на каком-то левом сайте упомянули, с таким же успехом, вы могли сослаться, что вот мы на хабре написали.
lyalius Автор
02.06.2015 12:05На этом сайте расположена наша база знаний, на нее идет ссылка с главной — см. раздел «Частые вопросы» и с форума (см. ссылка «База знаний»).
Считаете, что этого недостаточно?
Если да — то где нужно написать, на ваш взгляд?freeExec
02.06.2015 12:24Вот у вас на главной есть вставки «40 млн контактов» там могло появиться что-то вида «5 миллионов адресов геокодировано с помощью OpenStreetMap.org».
Или вот где перечислены справочники, тоже совсем неплохо показать актуальность геоданных — «OpenStreetMap 01.06.2015»
Хотя если вы так хотите разместить это в базе знаний, то я полагаю там должна быть отдельная статья «Поставщики данных», как положено с указанием лицензий, по которым они распространяются.
Да, для разработчиков ваша база знаний ассоциируется с проектом, но рядовой пользователь о ней даже не подозревает.
sphinks
26.05.2015 20:13+1Слушайте, вызвало интерес как вы определяете площадь квартиры? Это есть в гос. реестрах и в открытом доступе?
AlexGechis
27.05.2015 09:22До недавнего времени было. Сейчас решаем вопрос относительно источника с новыми домами и актуализацией данных.
Phizio
26.05.2015 20:49+2Вспоминая вордстаты популярных поисковых систем, и проведя альтернативу — мне кажется, всем было бы любопытно почитать обзор самых необычных и наоборот топовых запросов к дадате за определённый период ) жалко, что не храните какую-то подобную статистику… просто можно было бы отдельную публикацию даже сделать. пятничную))
AlexGechis
27.05.2015 09:19+2Да, поисковые запросы не храним, но сложные случаи нам присылают сами пользователи с просьбой помочь с анализом. Часто адреса корректные, но крайне необычные. Обязательно напишем такую статью в ближайшем будущем:)
evgabd
27.05.2015 18:19+1«Города-миллионеры» — неожиданно. Я думал, они называются «города-миллионники» :)
А тут практически аналогия с колхозами-миллионерами, но нет, оказывается, всё по-другому. Будем знать :)
VVCh
02.06.2015 10:54А теперь немного внимания…
Конечно это классно иметь такую подсказку, например, в и-магазине. И ошибок меньше и данные достоверные.
А не боитесь ли вы, что эта информация попадет в чужие руки?
Т.е. номер телефона, адрес проживания, номер паспорта? Ведь вы не управляете сторонним ресурсом, вы сами отдаете этому ресурсу свои данные.
Ладно, допустим, dadata пользуется сторонними базами данных. И своей? Где вероятность того, что эта база не попадет в «плохие» руки?
Вам нужно узнать адрес человека? Заходите в инет магазин, начинаете вбивать фамилию, выбираете нужную, а адрес система уже может подставить свою, и номер телефона или предложить выбор.AlexGechis
04.06.2015 19:57У нас нет баз данных людей: как своих, так и сторонних. У нас есть справочник адресов РФ, справочник телефонов, справочники имен, фамилий и отчеств, и тп, но нет справочников, в которых эти компоненты шли бы вместе.
VVCh
04.06.2015 20:40И как это можно проверить?
Я отдаю ФИО, отдаю адрес доставки/проживания, № телефона — и вы не можете их связать? Станиславский: «Не верю!»AlexGechis
05.06.2015 09:52Ответ — никак. Абсолютно также никак, как вы не проверите, расплачиваясь банковской карточкой, что магазин не хранит историю ваших покупок к привязке к этой карте. Также, как вы не проверите, что на дорогах и парковках камеры не снимают ваше лицо и не связывают в одной базе с номером автомобиля. И что банкоматы вас не фотографируют и не привязывают лицо к карте, и что в ресторане официант не уносит бокал и не снимает отпечатки пальцев, и что на серверах метро не хранится схема ваших перемещений, и что мобильники даже в выключенном состоянии не слушают и не передают для анализа голосовой поток и месторасположение абонента. Перечислять можно до бесконечности. Вопрос в том, что вы хотите отдавать миру, а что — нет, и тут всё зависит только от вас.
Если вы переживаете за сохранность своих данных при пользовании интернет-магазинами (и не важно, истользующими дадату или нет), то сообщайте лживую информацию о вашем ФИО при доставке курьером, используйте адреса до востребования на разных почтовых отделениях и контакты друзей, пользуйтесь одноразовыми сим-картами, купленными около метро и 10minutemail.
Вероятно, вас успокоит, что запросы на стандартизацию ФИО, адреса и иных контактных данных в нашем онлайн сервисе — это разные запросы. Сооветственно, с учетом потока запросов, мы физически не сможем понять что к чему относится.
Но самое главное: даже если предположить, что если бы мы хранили такую информацию, и каким-то чудесным образом обработали большинство людей в РФ, да ещё и не раз чтобы отсеять временные данные когда люди в командировках или на работе, то что бы мы смогли с этой базой сделать? Восстанавливать имя по телефону или адресу? Единственные организации, которым это может быть интересно, и которые мне приходят на ум, мне кажется, имеют более простые и надёжные источники информации вроде налоговой, пенсионного фонда и тд. Частным же компаниям, банкам, не интересны персональные данные, если человек не является их клиентом.
Единственное полезное применение связей, которое мне приходит на ум, это связь название организации — адрес — телефон — и, верятно, контактное лицо. Но такое уже есть в 2gis.VVCh
05.06.2015 11:04Не перегибайте палку.
И что банкоматы вас не фотографируют и не привязывают лицо к карте,
Фотографируют и привязываю к карте, не видели на картах фото владельцев? Это част безопасности.
расплачиваясь банковской карточкой, что магазин не хранит историю ваших покупок к привязке к этой карте
Не вопрос — может хранить номер моей карты, ccv код — только через доверенный ресурс.
2gis, как ч понимаю, получает (берет) доступную информацию (возможно, что из общедоступных данных) ведь речь идет о юридическом лице.
Что-то покупая в и-магазине я заранее предполагаю что для оплаты, доставки магазину понадобятся отнюдь не лживые данные, иначе я товар не получу, если это не цифровой товар.
Я не хочу даже предполагать, что вы можете делать с данными пользователей. На данный момент, вы их продаете, как свою услугу.
gubber
05.06.2015 13:55Фотографируют и привязываю к карте, не видели на картах фото владельцев? Это част безопасности
Это вы так утверждаете, что банкомат рисует вам фотографии на карточку. Или это всё же делает банк с вашего разрешения?
Предположение состояло в том, что при всовывании карточки в банкомат, он елси и снимает вас, как лицо, то не привязывает это видео к данным считанным с карточки.
Не вопрос — может хранить номер моей карты, ccv код — только через доверенный ресурс.
Откуда Вы в этом так уверены, что они не поставили свой собственной считыватель, который сохраняет всю инфу на свой внутренний сервер.VVCh
05.06.2015 14:13Предположение состояло в том, что при всовывании карточки в банкомат, он елси и снимает вас, как лицо, то не привязывает это видео к данным считанным с карточки.
Ок. поделюсь секретом…
Если банкомат оснащен камерой, то он… фиксирует любое активное движение возле банкомата, например — подход, и также момент того когда вы вставляете карточку. Но есть одно но!!! Это разнесенные процессы по безопасности. Сам банкомат не знает о а вашей карте НИЧЕГО, в том числе и вашего пинкода, за все отвечают процессинговые центры, и передача проходит по защищенным каналам с использованием кодирующих устройств, и сертификаты получают от «надежных» источников. Но сопоставить время работы с картой и фото — не вопрос. И это… Вопрос безопасности вашей транзакции.
Откуда Вы в этом так уверены, что они не поставили свой собственной считыватель
Потому что CCV код будет принят банком-эмитентом только с доверенного ресурса.
Кроме того, Я сам отдал через канал свои данные через посредника (и свой контроль за моими кошельком лежит на мне). В вашем случае — я не знаю кто собирает обо мне данные — магазин или dadatagubber
05.06.2015 16:30Вы противоречите сами себе.
Вот ваша фраза из сообщения раньше
Фотографируют и привязываю к карте...
Вы уж определитесь прежде чем писать после этой фразы вот эту
Если банкомат оснащен камерой, то он… фиксирует любое активное движение возле банкомата, например — подход, и также момент того когда вы вставляете карточку. Но есть одно но!!! Это разнесенные процессы по безопасности. Сам банкомат не знает о а вашей карте НИЧЕГО
Потому что CCV код будет принят банком-эмитентом только с доверенного ресурса.
Кто запрещает записать код в файлик, а потом вбить его при покупке в интернет магазине?VVCh
05.06.2015 16:44:) и каким образом противоречит? Банк эмитент при выпуске персонифицированной карты может вас сфотографировать, и ваше фото напечатать на карте
Не вижу противоречий — это разнесенные процессы (события) — ввод карты, инициализация события срабатывания камеры, повторюсь — считыватель только иницииурет событие, например, включение камеры, а внешний обработчик события не знает о карте ничего — причина — ему это никто не даст. А ведь может и дать, если обработчик является трастовым. И это… часть безопасности транзакций.
И это… Вопрос безопасности вашей транзакции.
Но вы уходите от темы.
Тема — безопасность моих персональных данных которые проходят через ваш сервис.gubber
05.06.2015 18:20Для особо упоротых
На фразу
И что банкоматы вас не фотографируют и не привязывают лицо к карте,
Вы ответили
Фотографируют и привязываю к карте
Ни одного слова про банк не было.
Тема — безопасность моих персональных данных которые проходят через ваш сервис
Боюсь свалиться в оскорбления…
Есть приёмник данных и посредник.
В первом случае приёмник данных — интернет-магазин, а посредник — DADATA (он передаёт обработанные данные). Во втором случае приёмник данных процессинг система, а посредник магазин или банкомат.
Вам и сказали, что Вы либо доверяете посреднику, что он добросовестный, либо не доверяете. А вы полезли на ражон.
Увольте меня от общения с вами.VVCh
05.06.2015 22:20Вас никто не задерживает,
Читать вы не умеет — придумали (додумали) за меня.
Фотографируют и привязываю к карте, не видели на картах фото владельцев? Это част безопасности.
Где здесь про банокамат? Да, написано с ашыпками.
при оплате картой магазин не выступает посредником — посредником выступает сервис платежной системы (вы не в курсе? печалька)
Удачи вам в сборе информации о покупателях и предачи этих данных в недобросовестные руки.
lyalius Автор
06.06.2015 21:42Если вас это беспокоит — отдавайте эти компоненты отдельными файлами. Отдельно ФИО, отдельно адреса и пр. Мы даже рекомендуем это делать для большей безопасности.
Можете даже рандомом их перемешать, чтобы мы сопоставить не могли.
and7ey
Как попробовать API/сервис определения стоимости квартиры? Ссылки в статье нет, на сайте описания тоже не нашел.
algenon
Вот: dadata.ru/#process-person
and7ey
У вас в Результатах обработки появляется стоимость квартиры? У меня даже на вашем примере — нет.
algenon
Посмотрите, сейчас есть.
and7ey
Да, теперь появились.
DarkByte
Челябинск в статье по ссылке «для городов-миллионеров» присутствует, сервис площадь квартиры определил, но стоимость не указал.
algenon
Не для всех квартир с площадью есть стоимости. Покрытие 20–40% домов.