Любая организация в значительной степени зависит от действий людей: клиентов, партнёров, своих сотрудников. И все люди — разные: одни — добросовестные и честные, другие — хитрые и не прочь обмануть, третьи — слабовольные и зависят от чужого влияния.

И вопрос оценки надёжности людей, взаимодействующих с компанией, всегда актуален. Чем точнее будет эта оценка, тем в более выгодном положении будет компания и тем меньшими средствами она рискует. Чтобы управлять всеми этими факторами и, более того, прогнозировать на основе получаемой извне и изнутри информации свои действия, сегодня используются системы графовой аналитики.

Сейчас расскажу, что это, как работает и что с этим можно делать.

Меня зовут Дмитрий Попов, я руковожу управлением применения моделей и развития платформы анализа данных, в том числе платформы «Мирион» в группе компаний «Иннотех».

«Мирион» — платформа графовой аналитики, разработанная в группе компаний «Иннотех» для решения таких задач финансового сектора, как проведение качественного скоринга клиента, снижение рисков мошеннических операций и оценка кредитоспособности потенциальных заёмщиков. Сейчас эта платформа также может решать большой спектр бизнес-задач, где требуется тщательно исследовать всё, что касается клиента и его окружения, и создавать портрет пользователя или организации-контрагента для принятия решений.

Платформа позволяет работать со связанными данными и получать своевременную информацию для принятия решений.

Что такое графовый анализ

Графовый анализ применяется в различных областях — от социологии, финансов и экономики до компьютерных наук и биологии. Это мощный инструмент, который представляет собой совокупность методов и подходов для изучения связи между объектами на основе графовых, т. е. математических моделей, которые представляют собой объекты и связи между ними в виде узлов (вершин) и рёбер.

Графовый анализ может использоваться для визуализации данных и выявления проблемных областей в системе. Например, на графе можно заметить узкие места, которые становятся «бутылочным горлышком» в процессе работы. Также граф может быть использован для выявления зависимостей между объектами и предсказания будущих тенденций. Это помогает повысить эффективность работы всей системы, в которой взаимодействуют объекты, будь то люди или процессы.

«Мирион» и BI-системы

При этом «Мирион» — это не система графового анализа, а платформа, которая позволяет хранить данные в виде графов, работать с ними, как с графами, и, соответственно, быстрее считывать графовые метрики. Она упрощает все сложные действия, связанные с реализацией самих графовых алгоритмов на низком уровне, когда нужно сделать поиск в глубину или ширину.

Система облегчает и ускоряет создание приложений графового анализа, обеспечивая при этом их качество.



Графовый анализ представляет собой следующий крупный эволюционный шаг в развитии систем Business Intelligence (BI). Он позволяет существенно повысить эффективность аналитики. По мере роста объёмов данных традиционная аналитика часто не справляется со сложными и многофакторными проблемами бизнес-операций. Графовая технология помогает найти неизвестные взаимосвязи в данных, которые не удаётся выявить или проанализировать традиционными средствами.

Платформа «Мирион» может интегрироваться с BI-системами, предоставляя им как возможности графового анализа, так и подгружая в себя какие-либо дашборды бизнес-аналитики.

Информация в графовых базах данных хранится так же, как идеи на доске. Хранится она без её ограничения заранее определённой моделью, поэтому можно гибко подходить к её осмыслению и использованию. В итоге результаты графовой аналитики проявляются через инструменты визуализации, графы знаний, специальные приложения и некоторые расширенные возможности приборных панелей инструментов бизнес-анализа.

Методы графового анализа не обязательно привязаны к узкому набору отраслей. Я хочу рассказать здесь о некоторых конкретных возможностях применения систем графового анализа и, в частности, нашей платформы «Мирион» в различных бизнес-сферах.

Закупки

Все юридические и физические лица, участвующие в конкурсах, имеют разветвлённые связи.

Поскольку такие связи анализировать сложно, то этим пользуются не особо честные поставщики. Хотя закон и требует от организаций, проводящих торги, проверять компании, которые они допускают к конкурсу, но иногда этой активности недостаточно. В идеале необходимо также гарантировать, что в таких связях нет бенефициаров, которые числятся в чёрных списках или через ряд подставных компаний представляют недружественные страны.

Для таких целей можно использовать простой графовый алгоритм поиска «Мирион».



Хранилище в виде графовой базы данных и поддержка базовых алгоритмов поиска делают решение этой задачи очень простым. В нашей платформе нет в этом плане каких-то жёстких ограничений. Поиск пути осуществляется командой в две строчки на независимую глубину. Хотите ограничить глубину — добавляйте ещё одну строчку. Это даёт возможность очень быстро решать такие задачи.

При этом сотруднику подразделения закупок нет необходимости разбираться в сложностях системы. Он работает с простой формой поиска, очень похожей на поиск Яндекса или Google.

Сотрудник вводит туда требования по конкурсу и запускает поиск, а система подбирает поставщиков по нужному профилю, отсекая все подозрительные варианты.

Необходимость преобразования данных

Но для того, чтобы всё это работало, необходимо предварительно запустить процесс преобразования данных. Мы не можем сейчас прийти в компанию и сказать: «Дайте нам свои графы». Все хорошо научились складывать плоские данные в большие данные какого-либо хранилища. Но чтобы это лежало в одном месте в виде графов — такого ни у кого нет.

А мы можем эти данные превратить в граф и поддерживать их в регламентном порядке. При этом мы настраиваем процессы, которые эти данные преобразуют по регламенту, по запросу, в потоке. Это можно делать в режиме реального времени или в режиме batch-загрузки, когда она идёт одномоментно, например, ночью.



Когда мы создаём систему, то используем все источники данных и отстраиваем постоянное их обновление. Мы преобразуем в графы базы подрядчиков компании, даже если они лежат в виде таблиц Excel, в том числе добавляем информацию о том, сколько контрактов они уже отработали с компанией или каков профиль их деятельности. Мы добавляем данные из СПАРК, из ЕГРЮЛ, загружаем информацию из ОКВЭД, где указаны виды экономической деятельности контрагентов. Собирается вся информация, берутся в том числе и данные у юристов компании и бухгалтерии, которые всегда у них есть.

Если уровень автоматизации в организации очень низкий, то мы предлагаем свои интерфейсы для ведения тех или иных реестров, чтобы получать мастер-данные.

Основные достоинства системы

Система обеспечивает полный охват потенциальных поставщиков. Это делает закупку конкурентной, обеспечивает нормальную стоимость и снижает вероятность провала конкурса.

Графовый анализ помогает снижать регуляторные риски, связанные с необходимостью соблюдения законодательства, в частности, законов № 223 и 44-ФЗ. Он позволяет не допускать к участию в закупках организации, которыми прямо или косвенно владеют иностранные лица из нежелательных государств, фирмы-однодневки или организации из чёрных списков.



Одновременно автоматизируется вся деятельность подразделения закупок. То есть мы не только создаём хранилище данных в графовом виде. Компания получает набор интерфейсов, которые позволяют обычным пользователям взаимодействовать с системой в привычном им формате, как, например, это делается в Яндекс Маркет, где
выбираешь требования, и система подбирает тебе компании, которые подходят под требования. Из этого же интерфейса можно организовать коммуникацию с компаниями, например, рассылку приглашений на разные мероприятия или оповещения об условиях акции.

Результаты всех закупок, всей договорной части потом тоже сливаются в систему как факторы, которые влияют на будущие конкурсы. Система позволяет фильтровать компании по определённым признакам, например, отсеивать организации, которые подходят по всем параметрам, но у них сейчас — действующий контракт, и все ресурсы задействованы в этом контракте.

Обеспечение финансовой безопасности в банках

При разработке нашей платформы мы, в частности, сосредоточивались на решении проблемы потребительского мошенничества (фрода) в банках, когда люди берут кредиты в банках, используя, например, данные других людей, и намеренно их не возвращают.

При выдаче кредитов банк обычно проводит предварительное расследование, и решение на базе графов здесь подходит лучше всего.

Как правило, для того, чтобы провести ретроспективное расследование, сотруднику банка надо просмотреть множество источников данных и сделать там выборки. Он долго и кропотливо проводит такую работу, чтобы выявить новую схему и изменить процессы. Платформа «Мирион» может существенно упростить этот процесс, используя программных роботов, которые вместо человека прочёсывают все источники данных и собирают в графовую базу нужную информацию.

Система собирает всё: заявку, которую клиент подаёт в банк, данные трудовой книжки, информацию о компании-работодателе и её руководителях, о людях, с которыми связан клиент, данные прежних кредитов и многое другое. Мы можем посмотреть его связи с организациями, если он является генеральным директором, учредителем и т. п.

Роботы включают в графовые данные все его счета внутри банка, информацию о транзакциях в системе быстрых платежей, взаимодействии с программой «Клиент-Банк» и сведения о получении денег через банкомат с географической привязкой.

Хотя каждая система хранит эти данные у себя, всё собирается в одной точке — в базе графовых данных.



Специалист, который проводит расследование, получает инструмент, в котором он может очень быстро по каким-то своим данным найти точку интереса, то есть вершину графа, — объект, с которого начать расследование: номер заявки, фамилию, имя, отчество, дату рождения заявителя и ещё что-то, жертву мошенника и что угодно.



Он может буквально по клику простроить всё окружение клиента, погружаясь, раскрывая всё глубже и глубже связи, находя зависимости между одними и другими событиями за счёт поиска путей между точками. Можно попробовать найти путь, если посмотреть, как связаны человек, события и юридические лица.

При этом в системе есть инструмент формирования отчёта по расследованию. Он может предоставляться в графической форме с перечнем всех вершин, которые там есть, связей, которые были выявлены, маркировок этих вершин и связей. Кроме того, к нему может прилагаться таблица в формате Excel, которую можно дополнительно анализировать, например, в другой системе. Всё это можно передать во внешнюю систему, систему документооборота, которая зафиксирует факт проведения расследования и сделанные выводы, чтобы потом в случае аудиторской проверки вернуться и посмотреть, на основании чего было принято то или иное решение по главному конкретному кейсу.

Основные достоинства системы

Вся интересующая информация может храниться отдельно внутри каких-то систем, но именно внутри платформы «Мирион» можно настроить процессы, которые собирают это окружение в одном месте. И здесь буквально по клику можно получить доступ к нужной информации.

Платформа даёт доступ к этим данным и предоставляет возможность их отображения в виде графа, любых манипуляций с ними. Система уже на основании преднастроенных правил формирования графа маркирует те или иные объекты, позволяя, в частности, провести ретроспективный анализ случая невозврата кредитов.

Основными достоинствами системы являются простота и быстрота получения информации практически о любом человеке, возможность принять обоснованное решение о выдаче или невыдаче кредита.

Безопасность ИТ-инфраструктуры

Критическая инфраструктура — это программное обеспечение, системы управления и средства связи, которыми пользуются банки, госструктуры, крупные организации, повреждение которых может привести к серьёзным негативным последствиям. Это могут быть как трансрегиональные каналы связи, сбой в работе которых может нарушить коммуникации между субъектами и регионами, так и такие сервисы, как «112» и отказ инфраструктуры.

То же самое касается и крупных компаний. Можно вспомнить, например, случай с одной авиакомпанией, когда изменения в системе бронирования билетов привели к очень серьёзным последствиям: на несколько дней перестал работать сервис покупки билетов. Этот сбой в инфраструктуре привёл к тому, что компания потеряла кучу денег.

Иногда сбой вызывает какая-то совершенная ерунда. Например, у одной компании, которая обеспечивала сервис управления для компьютерных клубов по всей стране, в какой-то момент на сутки отвалились все эти организации. Просто перестала загружаться система, потому что кто-то забыл вовремя оплатить доменное имя. Т. е. из-за забытого платежа в 700 рублей в год компания получила убыток в миллионы рублей.



В больших современных корпорациях используют экосистемный подход, когда много сервисов строится друг на друге, и от них зависит функциональность других систем. При этом нередка ситуация, когда критические для бизнеса системы зависят от сервисов, у которых уровень критичности ниже. Это похоже на конструкцию, когда массивное сооружение имеет три опоры, две из которых — бетонные, а третья скручена из проволоки. Рано или поздно это сооружение рухнет.

Чтобы этого не случилось, необходимо изменить подход к обеспечению безопасности инфраструктуры. И здесь очень удобно использовать графовый метод.

Все составляющие инфраструктуры связаны друг с другом, и для подразделений, которые обеспечивают отказоустойчивость, понятно, что сбои будут всегда. Но главное — это быстро отреагировать: сначала восстановить работу сервисов, а затем починить то, что сломалось.

Однако, когда у вас разветвлённая система сервисов, серверов и всего прочего, очень сложно найти место, где произошёл сбой или ответственного за остановку сервиса. Иногда даже трудно понять, на какие сервисы повлияет выход из строя того или иного элемента инфраструктуры.

Может, вылетел какой-то сервер, какая-то мелкая программа упала или неправильно работает определённая модель, которая просто вычленяла из текста один параметр.

Необходимость подготовки данных

Бизнес начинает рисковать своими прибылью и позицией на рынке, когда ставит себя в зависимость от информационных технологий и при этом не обеспечивает мониторинга и нормальной отказоустойчивости этих сервисов.

Мы предлагаем инструмент, который снизит эти риски за счёт того, что будет правильно организовано хранение этой информации. Кроме того, такая платформа позволяет моделировать ситуации, вызывающие отказы. Например, отключаем один из узлов из системы и смотрим, как это повлияет на другие сервисы. Какие части у нас отвалятся?

Система «Мирион» поможет оцифровать простой сервисов в рублях и выводить эти данные на контрольные экраны. Это позволяет доказывать необходимость выделения дополнительных средств в конкретном направлении, если нужно усиливать ту или иную позицию.

Но чтобы всё это работало, надо иметь всю информацию об инфраструктуре: сетевых устройствах, адресах, API, телематике, сертификатах, параметрах SLA (Service Level Agreement) и доменах. Если у компании — свои сервера, то необходимы ещё параметры этих серверов.

Инструменты ввода этой информации можно создавать прямо в «Мирион» и интегрировать с другими системами.

Платформа, кроме графов, может также предоставлять аналитические справки о сервисах, если есть, например, зависимость сервисов с жёстким SLA, которые необходимо восстановить за час при сбое, от систем, которые можно восстановить только за день, или зависимость от партнёрского сервиса, у которого SLA другой.

Система может учитывать и такой параметр, как количество запросов, на которые рассчитан определённый сервис, например, если есть web-сервис, который предсказывает погоду и связан с рядом других систем. По контракту у нас, к примеру, от них должно быть не более тысячи запросов в сутки, но в какой-то момент начинается превышение. Всю эту информацию платформа может собрать из телеметрических систем и сигнализировать о вероятности отказа.

Основные достоинства системы

Информация о критически важной для бизнеса ИТ-инфраструктуре находится в одном месте.

Используется эта информация своевременно, предоставляется в удобной форме. За счёт этого риски сбоев снижаются, а отказоустойчивость системы в целом становится выше. Платформа «Мирион» помогает безопасно управлять инфраструктурой, не перегружая её, вовремя прогнозируя, вовремя предоставляя информацию, где именно необходимо внимание и куда направить усилия. И всё это — за счёт применения правильного хранения графовых данных и использования соответствующих алгоритмов.

Контроль кадрового состава компании

Самый ценный актив любой компании — это персонал организации. Люди вносят самый существенный вклад в прибыль и акционерную стоимость. В мире бизнеса именно человеческие ресурсы, а не фиксированные или материальные активы, отличают организацию от конкурентов.

Поэтому одна из задач управления — правильно контролировать потенциальные риски потери сотрудников. Уход компетентных сотрудников влечёт за собой серьёзные затраты, в том числе и финансовые, связанные с тем, что нужно найти нового сотрудника и обучить его. Это может спровоцировать и провал работы подразделения, особенно если уходят ключевые сотрудники.

Научиться делать так, чтобы люди себя комфортно чувствовали, отдавались работе на 100 %, — за это стоит побороться. В это, я считаю, надо вкладываться.

Подобную задачу может решать графовая платформа «Мирион» за счёт обработки большого объёма самых разнообразных данных с помощью предиктивной модели, например, на базе нейросети.

Для того чтобы такая модель работала эффективно и можно было прогнозировать отток сотрудников, ей надо постоянно «скармливать» массу информации, например, собирая данные о коммуникациях сотрудников, оценивая не сам контент, а его объём, настроение и изменения направленности связей. Например, если интенсивность коммуникаций какого-либо работника снижается, то это может свидетельствовать о том, что человек начинает как бы вываливаться из процесса.

Есть модели, которые умеют оценивать градус общения переписки. Если мы понимаем, что она сдвигается в негатив, то можем обратить на это внимание, а потом прогнозировать последствия.

Можно собирать данные пропускной системы: эта информация может помочь фиксировать совместные выходы людей и таким образом определять группы специалистов, которые тесно общаются или часто ходят курить. Очень важно отслеживать поведение ключевых сотрудников, чтобы предвосхищать их потребности и управлять этим процессом заранее, выявлять проблемы, разговаривать, предлагать какие-то изменения.

В эту же систему можно загружать, например, данные системы управления внутренними заявками, трекеров задач и даже wiki, в которой также можно фиксировать активность сотрудников, анализировать метаданные, показывающие, кто и к каким документам обращался в корпоративном файловом хранилище. Все действия сотрудника внутри организации будут в любом случае полезны для HR.

Для того чтобы такие предиктивные модели работали, их необходимо обучить, дать возможность накопить историю. Используя графы и большие объёмы разнообразной информации, можно очень многое понять об атмосфере, в которой трудится коллектив.

Анализируя интенсивность переписки, мы можем выделять неформальных лидеров группы людей, видеть реакцию сотрудников на уход таких специалистов, разрыв налаженных связей и прогнозировать динамику процессов.

Таким образом, система графов даёт возможность управлять ситуацией по слабым сигналам.

Что могут предиктивная аналитика и графы при работе с кадрами

С помощью такой системы мы можем выделить социальные группы внутри организации, определять лидеров, видеть, кто планирует уволиться в ближайшее время, с кем, возможно, следует поработать. И, соответственно, можем помогать руководителям определять и корректировать кадровую политику, в том числе проводить автоматизированную оценку компетенций людей и возможных зон роста.

Графовая платформа совместно с системой аналитики может оценивать разработчиков, например, по количеству инцидентов в Jira. Предположим, мы видим, что у одного разработчика количество дефектов на те задачи, которые он закрывал, стало большим. Значит, на это тоже нужно обращать внимание.

Система может помогать службе HR более грамотно и точечно решать кадровые проблемы, в том числе предлагая сотрудникам новые для них направления профессионального развития и увеличивая таким образом их пользу для компании. К примеру, если зафиксировать, что определённый человек какую-то активность ведёт более эффективно, в то время как его должность подразумевает другие действия, то можно предложить этому сотруднику сменить поле деятельности.

Графы здесь выполняют роль инструмента для хранения информации о сотруднике и его связях, в том числе о связях этого сотрудника с его компетенциями, даже сила этой связи может быть рассчитана. Потом это всё можно использовать для того, чтобы при помощи графовых и поисковых алгоритмов прогнозировать в том числе развитие человека и его движение внутри компании.

Система способна создавать для руководителей «Карты рекомендаций» с оценкой вовлечённости сотрудников. Потом эту информацию можно транслировать линейным руководителям для проведения необходимых мероприятий или просто встреч с сотрудниками.

При этом система не будет принимать решение за человека, она просто предоставляет фактуру людям, которые принимают решения.

Итак, если подытожить, то графовый анализ предлагает крупным организациям и компаниям новые способы взаимодействия с привычными данными. Использование платформы «Мирион» позволяет существенно сократить сроки и стоимость графа данных для организаций. Такая технология, применяющая современные подходы в Data Scienсe, предоставляет в том числе возможность сократить влияние мошенничества при закупках, снизить уровень фрода в финансовых структурах и значительно уменьшить количество отказов критически важной для бизнеса информационной инфраструктуры.