Каталог
совместимости российского программного обеспечения

Импортонезависимое легко тиражируемое решение для выгрузки больших объёмов данных из систем источников в хранилище данных. Даёт возможность быстро подключать новые источники данных, добавлять новые таблицы, корректировать атрибутивный состав подключенных таблиц, минимизирует привлечения ETL-разработчиков к процессу.

Ключевые функции и возможности

1. Полная или частичная выгрузка из таблиц источников.
2. Доставка данных в файловую систему Hadoop Distributed File System (hdfs).
3. Поддержка полной и инкрементальной выгрузки данных из таблиц/представлений/sql-запросов в файл csv на локальном сервере хранения данных.
4. Запуск процесса выгрузки по расписанию или по условию наступления события.
5. Архивирование выгруженных данных.
6. Подсчет контрольных сумм для обеспечения контроля качества данных.
7. Формирование очереди заданий на выгрузку для балансировки нагрузки на источник.

Преимущества

1. Наличие интерфейса для настройки, управления и мониторинга процессов загрузки.
2. Наличие оркестратора для управления потоками выгрузки.
3. Сжатие данных в архив.
4. Разделение процессов выгрузки и доставки данных для снижения нагрузки на источник при проблемах на стороне ХД.
5. Простота тиражирования.
6. Подсчет контрольных сумм для минимизации рисков потери данных.
7. Позволяет гибко управлять выгрузкой, устанавливая расписание для конкретной таблицы или группы таблиц источника.

Область применения

Продукт применим для хранилищ данных с ежедневной частотой обновления данных, особенно эффективен для систем с большим количеством источников данных.