10.09.2024 14:00
TomHunter 0 1400 Источник

Всем привет! Продолжаем наш разговор об использовании электронных таблиц в работе OSINT-аналитиков. В первой части нашего цикла статей мы говорили об автоматизации генерации дорков (расширенных операторов поисковых запросов). Сегодня мы коснемся вопроса интеграции в таблицы данных из внешних API.

Что такое API?

API или Application Programming Interface — это программный интерфейс, то есть описание способов взаимодействия одной компьютерной программы с другими. Иными словами, описание, которое позволяет программе А понимать программу Б и эффективно взаимодействовать с ней. 

Откуда берутся эти самые API? Сегодня они есть практически у любого онлайн-сервиса. Они бывают бесплатные, требующие регистрации или коммерческие. Большое количество доступных API вы можете позаимствовать, к примеру, на следующих ресурсах:

Начнем нашу работу с Google Sheets с того, что создадим новую электронную таблицу и выберем ее будущую функциональность. Допустим, что нашей задачей будет сбор данных о субъектах бизнеса (юридических лицах и индивидуальных предпринимателях). В этом случае нам пригодится API от следующего сервиса:

Этот API ограничивает только частоту запросов и максимальное число соединений. Для частного проекта подойдет идеально. Регистрируемся и получаем индивидуальный API-ключ. Ключ API — это строка уникальных идентификаторов, предназначенных в первую очередь для определения трафика приложений от клиентов API. Проще говоря, это ваш идентификатор в качестве пользователя API конкретного сервиса. 

Предположим, что мы хотим получать ответ внешнего сервиса по запросу ОГРН (основной государственный регистрационный номер) юридического лица. Чтобы интегрировать возможность делать API-запрос к datanewton.ru, перейдем во вкладку ‭«Расширения» и кликнем на пункт ‭«Apps Script». Откроется новая вкладка, в которой мы можем вводить скрипты для работы с таблицей. 

Пишем наш скрипт

Итак, пишем наш первый скрипт для интеграции API в Google Sheets:

function COMPANYLOOKUP(input) {

  response=UrlFetchApp.fetch("https://api.datanewton.ru/v1/counterparty?key=**********&filters=OWNER_BLOCK%2CADDRESS_BLOCK&ogrn="+input).getContentText();

  return response;

}

В этом скрипте у нас:

  • COMPANYLOOKUP — название команды для запроса datanewton.ru

  • (input) — вводимые данные для запроса (ОГРН)

  • ********** — это API-ключ datanewton.ru

Сохраняем скрипт и возвращаемся к таблице. Теперь нам доступна новая функция COMPANYLOOKUP, которая позволит выгружать данные юрлица при помощи API сервиса datanewton.ru. Запустим ее при помощи следующей команды:

  • =COMPANYLOOKUP(A2)

Где:

  • COMPANYLOOKUP — название команды для запроса datanewton.ru

  • (A2) — это обращение к ячейке таблицы с данными ОГРН

Результат, в формате JSON, будет загружен в ту ячейку, в которой водилась функция =COMPANYLOOKUP(A2).

Попробуем проделать схожие вещи с API других сервисов. Так, для проверки номера мобильного телефона, мы можем воспользоваться API сервиса http://htmlweb.ru/. В таком случае, скрипт получения данных может выглядеть так:

function PHONENUMBERLOOKUP(input) {

  response=UrlFetchApp.fetch("http://htmlweb.ru/api/mnp/phone/"+input+"?api_key=**********").getContentText();

  return response;

}

Где:

  • PHONENUMBERLOOKUP — название команды для запроса htmlweb.ru

  • (input) — вводимые данные для запроса (номер телефона)

  • ********** — это API-ключ htmlweb.ru

Сохраняем скрипт и возвращаемся к таблице. Вводим функцию:

  • =PHONENUMBERLOOKUP(A1)

И получаем данные о телефоне из htmlweb.ru. Все получилось… Но здесь нам пригодится небольшой лайфхак.

Номера телефонов в таблицу часто попадают в различных формах написания. Это очень раздражает. Привести все телефоны к единому формату также можно при помощи электронных таблиц. Пишем следующую функцию:

=CONCATENATE(IF(LEN(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;",";"");";";"");" ";"");"+";"");")";"");"(";"");"-";""))=10;(CONCATENATE("7";SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;",";"");";";"");" ";"");"+";"");")";"");"(";"");"-";"")));"");IF(AND(LEN(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;",";"");";";"");" ";"");"+";"");")";"");"(";"");"-";""))=11;LEFT(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;",";"");";";"");" ";"");"+";"");")";"");"(";"");"-";""))="7");SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;",";"");";";"");" ";"");"+";"");")";"");"(";"");"-";"");"");IF(AND(LEN(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;",";"");";";"");" ";"");"+";"");")";"");"(";"");"-";""))=11;LEFT(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;",";"");";";"");" ";"");"+";"");")";"");"(";"");"-";""))="8");CONCATENATE("7";MID(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(C2;",";"");";";"");" ";"");"+";"");")";"");"(";"");"-";"");2; 10));""))

Где:

  • SUBSTITUTE и CONCATENATE — команды для замены и объединения символов

  • (C2) - это обращение к ячейке таблицы с номером телефона

Идем дальше. Попробуем научить таблицу пробивать нам номера кредитных карт. API https://lookup.binlist.net/ очень простой и не требует регистрации ключа. Поэтому для запроса информации скрипт будет выглядеть следующим образом:

function CARDNUMBERLOOKUP(input) {

  response=UrlFetchApp.fetch("https://lookup.binlist.net/"+input).getContentText();

  return response;

}

Где:

  • CARDNUMBERLOOKUP — название команды для запроса по binlist.net

  • (input) — вводимые данные для запроса (номер кредитки)

Сохраняем скрипт и идем обратно к таблице, где вводим функцию:

  • =CARDNUMBERLOOKUP(A1)

Отлично, данные были выгружены. Но есть нюанс.

Поговорим об удобстве

Вы же обратили внимание на то, что внешние API выдают информацию в JSON-формате? Он удобен для восприятия компьютером, но практически нечитаем для человеческого глаза. Как превратить данные JSON в красивый и удобный отчет?

Для того, чтобы понять структуру данных, содержащихся в JSON, вставим их в одну из читалок JSON. Например, в https://jsonformatter.curiousconcept.com/#. Теперь мы можем увидеть данные JSON со всеми полями и вкладками. Ориентируясь на них, мы можем составить скрипт, позволяющий копировать отдельные пункты JSON и вставлять их в нашу таблицу. 

Вернемся к нашему примеру с проверкой кредитных карт. Заходим в «Apps Script» и добавляем новый скрипт:

function PARSER(input) {

  var data = JSON.parse(input);

  name=data.bank.name

  return name;

}

Где:

  • PARSER — команда парсинга (копирования) данных

  • (input) — данные для парсинга (копирования)

  • name=data.bank.name — название пункта и путь к нему в JSON

Сохраняем, возвращаемся в таблицу и вводим функцию:

  • =PARSER(B1)

Теперь таблица позволяет нам выгружать из данных JSON в отдельную ячейку сведения о банке, который осуществил регистрацию кредитной карты.

Вернемся к таблице с проверкой юридических лиц и попробуем скопировать в нее данные JSON аналогичным образом. Допустим, что нам будет нужно выгрузить данные об:

  • Адресе регистрации компании

  • ИНН

  • Текущем статусе

Это предполагает написание трех отдельных скриптов:

function PARSERDIR(input) {

  var data = JSON.parse(input);

  line_address=data.company.address.line_address

  return line_address;

}

function PARSERINN(input) {

  var data = JSON.parse(input);

  inn=data.inn

  return inn;

}

function PARSERSTATUS(input) {

  var data = JSON.parse(input);

  status_egr=data.company.status.status_egr

  return status_egr;

}

Сохраняем созданные скрипты и используем новые команды в таблице:

  • =PARSERDIR(D2)

  • =PARSERINN(D2)

  • =PARSERSTATUS(D2)

Что дальше?

Для того, чтобы получить полноценный сервис для проверок, конечно, придется потрудиться и прописать все необходимые скрипты — как для получения данных, так и для их помещения в электронную таблицу. Однако что может заменить чувство гордости за разработку собственного продукта? Причем без навыков программирования.

Мы продолжим этот цикл статей и в следующий раз расскажем про скрапинг данных с тех сайтов, у которых нет API-интерфейса. И это в том числе про то, как можно получать сведения о судимостях и нарушениях граждан. А в четвертой статье затронем тему визуализации полученных данных. Оставайтесь с нами, будет интересно!

Комментарии (0)