Привет, Хабр!

Сегодня мы поговорим о том, как highload-блоки в Битрикс24 могут помочь справиться с большими объемами данных и обеспечить стабильную работу систем при высоких нагрузках.

Highload-блоки в Битрикс24 — это специальный инструмент для работы с большими наборами данных в условиях высоких нагрузок. В отличие от стандартных инфоблоков, highload-блоки ориентированы на обработку большого объема данных с высокой производительностью.

Highload-блоков позволяют:

• Уменьшить время отклика системы.

• Снизить нагрузку на БД.

• Оптимизировать процесс обработки данных.

Основные возможности

Поддержка NoSQL и ORM

Highload-блоки используют NoSQL подход для хранения и обработки данных. Так можно эффективно работать с неструктурированными и полуструктурированными данными.

ORM позволяет взаимодействовать с базой данных через объектно-ориентированные модели. Так получаем поддержку различных операций с данными, таких как создание, чтение, обновление и удаление, через объектные методы.

Настройка и интеграция с другими модулями

Сущестсует возможность использования highload-блоков для хранения доп. данных, связанных с CRM-сущностями, такими как контакты, сделки и компании.

Также есть поддержка кастомных полей (например, TagSelector), которые могут быть использованы в фильтрах и отчетах CRM.

Highload-блоки могут быть использованы для хранения данных, которые нецелесообразно хранить в стандартных инфоблоках из-за их объема или специфики.

Процесс настройки highload-блоков

Все стартует с создания highload-блока:

Переходим в административную часть Битрикс24. В меню выбераем раздел «Контент» и затем «Highload‑блоки». Нажимаем кнопку «Добавить highload‑блок». Указываем имя блока и его таблицы в Бд, а также код, который будет использоваться в коде. Там же можно указать группы пользователей.

Далее необходимо перейти к настройке блока. Добавляем необходимые поля, указав их тип (строка, целое число, дата и т. д.), название и доп. параметры, такие как обязательность заполнения и уникальность. Например, для справочника товаров можно создать поля «ID», «Название товара», «Цена», «Описание» и т. д.

Чтобы добавить элементы в highload‑блок, переходим к административной части, выбираем созданный highload‑блок и добавляемновые записи, заполнив соответствующие поля. Этот процесс аналогичен добавлению элементов в инфоблоки, но с учетом оптимизаций для высоких нагрузок.

Рассмотрим примеры настройки полей для различных кейсов:

• Справочник товаров:

  • Поля: ID (автоинкремент), Название (строка), Цена (целое число), Описание (текст), Дата добавления (дата/время).

  • Для поля «Цена» можно задать валидацию на положительное значение.

• Кастомные поля (TagSelector):

  • Поля: ID (автоинкремент), Тег (строка).

  • В настройках можно включить возможность выбора нескольких тегов и указать их отображение в виде списка или дерева.

Пример кода для создания и настройки полей highload-блоков:

use Bitrix\Highloadblock as HL;
use Bitrix\Main\Entity;

$hlblock = HL\HighloadBlockTable::add(array(
    'NAME' => 'ProductCatalog',
    'TABLE_NAME' => 'b_product_catalog'
));
$entity = HL\HighloadBlockTable::compileEntity($hlblock);

$fields = array(
    array(
        'ENTITY_ID' => 'HLBLOCK_' . $hlblock['ID'],
        'FIELD_NAME' => 'UF_NAME',
        'USER_TYPE_ID' => 'string',
        'MANDATORY' => 'Y'
    ),
    array(
        'ENTITY_ID' => 'HLBLOCK_' . $hlblock['ID'],
        'FIELD_NAME' => 'UF_PRICE',
        'USER_TYPE_ID' => 'double',
        'MANDATORY' => 'Y'
    ),
    array(
        'ENTITY_ID' => 'HLBLOCK_' . $hlblock['ID'],
        'FIELD_NAME' => 'UF_DESCRIPTION',
        'USER_TYPE_ID' => 'string'
    ),
    array(
        'ENTITY_ID' => 'HLBLOCK_' . $hlblock['ID'],
        'FIELD_NAME' => 'UF_DATE_ADDED',
        'USER_TYPE_ID' => 'datetime'
    )
);

foreach ($fields as $field) {
    $result = $entity::addField($field);
    if (!$result->isSuccess()) {
        echo implode(', ', $result->getErrorMessages());
    }
}

Импорт данных в highload-блоки можно выполнить через административную часть или с помощью API. Поддерживаются форматы CSV и XML. В случае CSV файла необходимо подготовить файл с заголовками, соответствующими полям highload-блока.

Пример для импорта данных из CSV:

$csvFile = '/path/to/file.csv';
$handle = fopen($csvFile, 'r');
while (($data = fgetcsv($handle, 1000, ',')) !== FALSE) {
    $result = $entity::add(array(
        'UF_NAME' => $data[0],
        'UF_PRICE' => $data[1],
        'UF_DESCRIPTION' => $data[2],
        'UF_DATE_ADDED' => $data[3]
    ));
    if (!$result->isSuccess()) {
        echo implode(', ', $result->getErrorMessages());
    }
}
fclose($handle);

Экспорт данных из highload-блоков также поддерживает форматы CSV и XML. Можно использовать стандартные методы выборки данных и записи их в файл.

Пример:

$csvFile = '/path/to/export.csv';
$handle = fopen($csvFile, 'w');
fputcsv($handle, array('ID', 'Name', 'Price', 'Description', 'Date Added'));

$result = $entity::getList();
while ($item = $result->fetch()) {
    fputcsv($handle, array(
        $item['ID'],
        $item['UF_NAME'],
        $item['UF_PRICE'],
        $item['UF_DESCRIPTION'],
        $item['UF_DATE_ADDED']
    ));
}
fclose($handle);

Экспорт данных в формат RSS может быть выполнен с использованием стандартных библиотек PHP для генерации RSS-каналов.Так можно постить обновления и новости, связанные с данными highload-блоков.

Пример кода:

use Bitrix\Highloadblock as HL;
use Bitrix\Main\Entity;

// подключаем необходимые модули и файлы
require($_SERVER["DOCUMENT_ROOT"]."/bitrix/modules/main/include/prolog_before.php");
CModule::IncludeModule('highloadblock');

// указываем ID highload-блока и получаем информацию о нём
$hlblockId = 1; // Замените на ID вашего highload-блока
$hlblock = HL\HighloadBlockTable::getById($hlblockId)->fetch();
$entity = HL\HighloadBlockTable::compileEntity($hlblock);
$entityDataClass = $entity->getDataClass();

// получаем данные из highload-блока
$rsData = $entityDataClass::getList(array(
    "select" => array('ID', 'UF_NAME', 'UF_DESCRIPTION', 'UF_DATE_ADDED'),
    "order" => array('UF_DATE_ADDED' => 'DESC'),
    "limit" => 20
));

header('Content-Type: application/rss+xml; charset=utf-8');

echo '<?xml version="1.0" encoding="UTF-8" ?>';
echo '<rss version="2.0">';
echo '<channel>';
echo '<title>Highload-блок RSS</title>';
echo '<link>http://yourwebsite.com/</link>';
echo '<description>Новости из highload-блока</description>';
echo '<language>ru</language>';

// проходим по данным и формируем элементы RSS
while ($arItem = $rsData->fetch()) {
    echo '<item>';
    echo '<title>' . htmlspecialchars($arItem['UF_NAME']) . '</title>';
    echo '<link>http://yourwebsite.com/item/' . $arItem['ID'] . '</link>';
    echo '<description>' . htmlspecialchars($arItem['UF_DESCRIPTION']) . '</description>';
    echo '<pubDate>' . date(DATE_RSS, strtotime($arItem['UF_DATE_ADDED'])) . '</pubDate>';
    echo '</item>';
}

echo '</channel>';
echo '</rss>';

Используя ID highload-блока, получаем информацию о нём и данные, которые будем экспортировать в RSS-формат. Устанавливаем заголовок Content-Type, чтобы указать браузеру, что документ является RSS-лентой. В блоке while проходим по всем элементам, полученным из highload-блока, и формируем соответствующие элементы RSS <item>.

Highload-блоки в Битрикс24, несмотря на их мощность, имеют ряд ограничений и потенциальных проблем. Одно из основных ограничений является объем данных и производительность. Хотя highload-блоки могут хорошо работать с миллионами записей, производительность системы может снижаться при увеличении объема данных. Это связано с тем, что запросы к БД могут становиться более медленными, особенно если они не оптимизированы или отсутствует кэширование.

При увеличении объема данных может возникнуть необходимость в оптимизации самой БД:, индексация, настройка параметров кэширования и т.п.

В заключение напоминаю про открытый урок, на котором участники обсудят изменение пользовательских интерфейсов в Битрикс24.

К концу занятия вы узнаете, почему не стоит использовать переопределение шаблонов компонентов, как встраивать пользовательские поля с произвольной версткой, как встраивать REST приложения и дорабатывать интерфейс при помощи JavaScript.

Встреча пройдет 16 июля. Если актуально — записывайтесь по ссылке.