Если идти всё прямо да прямо, далеко не уйдешь…
(Маленький принц, Антуан де Сент-Экзюпери)

Недавно ко мне обратился коллега с просьбой как-то помочь с Teradata. Eё сейчас активно внедряют и первым шагом этого внедрения является загрузка данных на ежедневной основе. Заливать приходится очень много и как можно быстрее. Меня попросили найти какие-нибудь альтернативные способы загрузки данных в Teradata, которые бы не сильно зависели от выделенных пользователю ресурсов. В процессе этой работы мне пришлось более близко познакомиться с .NET Data Provider for Teradata. Входе знакомства выяснились некоторые любопытные детали, знание которых, на мой взгляд, может быть очень полезным. Так как о Teradata знают не все, начну я с краткого её описания.

Что такое Teradata

С точки зрения программиста, который загружает и получает из неё данные:
Teradata — это большое хранилище данных работу с которыми пытаются оптимизировать с помощью программно-аппаратной архитектуры. В архитектуре основной упор делается на параллелизм.

Из википедии:
Teradata is a massively parallel processing system running a shared-nothing architecture. Its technology consists of hardware, software, database, and consulting. The system moves data to a data warehouse where it can be recalled and analyzed.

Загрузка данных в Teradata

Загрузку/Выгрузку больших объемов данных в Teradata предлагается делать с помощью
Teradata Load and Unload Utilities. Существуют на данный момент следующие утилиты:

• Teradata TPump
• Teradata FastLoad
• Teradata MultiLoad
• Teradata FastExport
• BTEQ

У нас в компании пользуются в основном Teradata FastLoad. В качестве ETL используем продукт фирмы
Informatica.

Утилиты загрузки/выгрузки в Teradata в сравнении с DML требуют более глубокого погружения в теорию Teradata. В частности:

• надо уметь их настраивать
• знать принцип работы
• учитывать их специфику и ограничения, которые они накладывают на таблицы в которые идёт запись
• администратор Teradata может наложить ряд ограничений на их работу

Отсюда, способ записи данные с помощью DML команды Insert по прежнему актуален. DML более распространен, менее требователен к настройкам и поддерживается Teradata. Я решил проверить насколько эффективно можно использовать эту команду. В целях эксперимента был создан тестовый проект, целью которого было разобраться в принципах работы Terdata провайдера. Первым делом, я попробовал решить задачу в лоб – читать одну строчку из Oracle и затем вставлять её в Teradata, но этот способ оказался очень медленным. С целью найти виновного, я модернизировал программу – теперь она читала из Oracle, создавая под каждую строку поток, который вставлял данные в Teradata. По стремительно растущему количеству потоков, стало понятно, что основным виновником низкого быстродействия были Insert операции в Teradata. Поняв что вставка одной строки занимает много времени попробовал вставлять разом несколько строк, разделяя ‘;’ команды Insert. Скорость ощутимо возросла. Увеличивая количество строк, вставляемых за один раз я пришёл к Exception:

[.NET Data Provider for Teradata][100056] Total size of parameters is greater than the max Data parcel size.

Порывшись в исходниках я нашёл место, где возникало данное исключение:

if (bodyLength > this._maxParamRowSpace || bodyLength - num > this._sessionContext[WpSessionContext.SessionLimits.MaxDataParcelSize])
          throw UtlTrace.TraceException((Exception) new TdException("InvalidDataPclSize", new object[0]));

Вычислить точный размер Data parcel у меня так и не получилось, так как цифры, которые в теории были вроде как верными разбивались о практику, когда я просто менял число полей и их тип в операции Insert. Но по исходникам видно, что исключение появляется до момента обращения к Teradata, внутри провайдера, что позволяет в цикле увеличивать количество операций Insert до момента возникновения ошибки, так как нет никакого времени ожидания от Teradata.

do
{
     numParamsInExec = _oneExec(ref com, numParamsInExec, ref err);
} while (err == Const.ERR_100056);

Таким образом, определяем максимальное количество операций Insert за один раз. Далее выполняем вставку данных пакетами, в случае возникновения Exception 100056, уменьшаем размер пакета. Данное решение существенно повысило скорость записи данных в Teradata, без использования специальных утилит. Отсюда, этот способ можно использовать в случае, если Вы ограниченны в ресурсах или же для записи сравнительно небольших объёмов данных в Teradata.