Всем привет! Я Дмитрий Пономарев, разработчик ESB ИТ-интегратора «Белый код». В большинстве интеграционных проектов мы опираемся на стандартные коннекторы платформы и живём спокойно, пока реальность не подбрасывает задачу вне «типового набора». Именно так и случилось: по требованиям заказчика результаты соревнований необходимо было отправлять на сервер по протоколу SFTP, а в DATAREON «из коробки» такого коннектора просто нет. Единственным разумным вариантом стало расширить платформу — через программные модули и кастомный SFTP-коннектор.

В этой статье мы разберём, как была реализована интеграция: от постановки задачи и ограничений DATAREON до разработки собственного SFTP-модуля, его встраивания в существующие процессы и организации безопасной выгрузки файлов на Linux-сервер. По сути, это кейс о том, как использовать DATAREON не только как «конструктор из готовых блоков», но и как платформу, которую можно расширять под конкретные сценарии, когда стандартного функционала уже недостаточно.

Задача: спроектировать и настроить схему обработки, обеспечивающую корректную маршрутизацию сообщений с результатами соревнований и их последующее сохранение в заданный каталог на сервере — с соблюдением требований к формату данных, надежности доставки и контролю ошибок.

Почему «из коробки» не получилось

В DATAREON Platform доступны стандартные коннекторы: 1С, Файловый каталог, FTP, База данных, Расширенное REST API, Веб-сервис, Email, DATAREON ESB, а также программируемый коннектор. Однако для решения задачи требовалось взаимодействие именно по SFTP, а такого сценария штатный набор коннекторов не предоставляет. Поэтому решили расширить платформу и реализовать собственный SFTP-коннектор на базе программного модуля, встроив его в существующую схему обработки.

Архитектура решения

Так выглядит схема обработки, реализующая полный цикл выгрузки и отправки результатов:

Процесс начинается с шага «Заполнение тела запроса», где формируется корректное тело для запроса во внешний источник. Далее выполняется «Запрос результатов» — ключевой шаг получения данных. Если на этом этапе возникает ошибка, процесс уходит в отдельную ветку «Лог ошибки запроса», чтобы зафиксировать причину сбоя и упростить диагностику. При успешном выполнении запроса результат дополнительно фиксируется на шаге «Лог ответа по запросу», после чего данные передаются на шаг «Отправка по SFTP» — выгрузка файла в целевой каталог на сервере. Завершается цепочка стандартным шагом «Завершение».

Давайте детально рассмотрим шаг «Отправка по SFTP» и разберем все аспекты разработки собственного программного модуля.

Реализация кастомного SFTP-коннектора

Для начала был создан программный модуль SFTP_Conn и подключена сторонняя библиотека Renci.SshNet для работы с SFTP — она обеспечивает установление защищенного соединения, управление удалёнными каталогами и передачу файлов, закрывая сценарий, который не поддерживается стандартными коннекторами DATAREON.

Далее были реализованы методы для генерации безопасного имени файла и загрузки текстового содержимого на сервер SFTP. 

Метод для загрузки текстового содержимого на сервер SFTP UploadUtf8Text принимает параметры подключения и целевой путь, кодирует контент в UTF-8 и отправляет его на сервер через SftpClient, при этом заранее нормализует путь и гарантирует наличие директории на стороне Linux (создавая отсутствующие уровни каталога).

Код метода «UploadUtf8Text» в программном модуле:

public static void UploadUtf8Text(
    string host, int port, string username, string password,
    string remoteDirectory, string remoteFileName, string content)
{
    var bytes = Encoding.UTF8.GetBytes(content ?? "");

    using (var sftp = new SftpClient(host, port, username, password))
    using (var stream = new MemoryStream(bytes))
    {
        sftp.Connect();

        var targetDir = ResolveRemoteDirectory(sftp.WorkingDirectory, remoteDirectory);
        EnsureDirectoryExists(sftp, targetDir);

        var remotePath = CombineRemotePath(targetDir, remoteFileName);

        Logger.Debug($"SFTP upload -> {remotePath}");
        sftp.UploadFile(stream, remotePath, true);
        Logger.Info($"SFTP upload OK -> {remotePath}");

        sftp.Disconnect();
    }
}

Имя файла формируется методом BuildResultFileName: префикс очищается от неподходящих символов, добавляется метка времени в UTC и расширение JSON, чтобы файлы удобно сортировались и не конфликтовали друг с другом.

Код метода «BuildResultFileName» в программном модуле:

public static string BuildResultFileName(string prefix, DateTime momentUtc, string extension = "json")
{
    var safePrefix = Regex.Replace(prefix ?? "result", @"[^\w\-.]+", "_").Trim('_', '.');
    var ts = momentUtc.ToString("yyyyMMdd_HHmmss");
    var ext = (extension ?? "json").Trim().TrimStart('.');
    return $"{safePrefix}_{ts}.{ext}";
}

В самом шаге «Отправка по SFTP» на схеме обработки параметры подключения подтягиваются из сервиса Credential: по имени пользователя SFTP_USER читаются обычные свойства Host, Port, Username, RemoteDir, а пароль берётся как секретное свойство Password. Дальше осуществляется отправка и формирование имени файла с помощью выше описанных методов BuildResultFileName и UploadUtf8Text.

Код шага на схеме обработки «Отправка по SFTP»:

var jsonText = resultsResponse;

var credUser = Credential.GetUserByName("SFTP_USER");

string host = Credential.GetAdditionalProperty<string>(credUser, "Host");
int port = Credential.GetAdditionalProperty<int>(credUser, "Port");
string username = Credential.GetAdditionalProperty<string>(credUser, "Username");
string password = Credential.GetSecretProperty<string>(credUser, "Password");
string remoteDir = Credential.GetAdditionalProperty<string>(credUser, "RemoteDir");

string fileName = SFTP_Conn.BuildResultFileName("competition_results", DateTime.UtcNow);

SFTP_Conn.UploadUtf8Text(host, port, username, password, remoteDir, fileName, jsonText);

Заключение

В итоге задача выгрузки результатов соревнований на Linux-сервер по SFTP решена без изменений инфраструктуры и без компромиссов по безопасности. Там, где стандартных коннекторов DATAREON не хватило, платформа показала свою сильную сторону — возможность расширения через программные модули: кастомный SFTP-коннектор органично встроился в схему обработки и стал таким же «кирпичиком», как и типовые шаги. Отдельно важно, что параметры подключения вынесены в Credential: секреты не попадают в код, реквизиты можно менять централизованно, а сама интеграция остаётся поддерживаемой и масштабируемой. Такой подход превращает DATAREON из набора готовых коннекторов в полноценную интеграционную платформу, которую можно адаптировать под требования реальных проектов. 

Если перед вами стоят задачи по развитию интеграционного контура на DATAREON — от доработки существующих потоков до реализации нестандартных сценариев вроде SFTP-обмена, — обращайтесь за консультацией или проработкой решения. Такие кейсы встречаются регулярно: помогаем оценить объём работ, выбрать архитектуру, безопасно встроить кастомные модули и сделать интеграции управляемыми, надёжными и масштабируемыми.