Система доставки данных RT.DataLoader
Рубрикатор АРПП:
Номер в Едином Реестре российского ПО:
11614
Дата решения: 27.09.2021
Приказ Минцифры России от 27.09.2021 №1011
Импортонезависимое легко тиражируемое решение для выгрузки больших объёмов данных из систем источников в хранилище данных. Даёт возможность быстро подключать новые источники данных, добавлять новые таблицы, корректировать атрибутивный состав подключенных таблиц, минимизирует привлечения ETL-разработчиков к процессу.
Ключевые функции и возможности
- Полная или частичная выгрузка из таблиц источников.
- Доставка данных в файловую систему Hadoop Distributed File System (hdfs).
- Поддержка полной и инкрементальной выгрузки данных из таблиц/представлений/sql-запросов в файл csv на локальном сервере хранения данных.
- Запуск процесса выгрузки по расписанию или по условию наступления события.
- Архивирование выгруженных данных.
- Подсчет контрольных сумм для обеспечения контроля качества данных.
- Формирование очереди заданий на выгрузку для балансировки нагрузки на источник.
Преимущества
- Наличие интерфейса для настройки, управления и мониторинга процессов загрузки.
- Наличие оркестратора для управления потоками выгрузки.
- Сжатие данных в архив.
- Разделение процессов выгрузки и доставки данных для снижения нагрузки на источник при проблемах на стороне ХД.
- Простота тиражирования.
- Подсчет контрольных сумм для минимизации рисков потери данных.
- Позволяет гибко управлять выгрузкой, устанавливая расписание для конкретной таблицы или группы таблиц источника.
Область применения
Продукт применим для хранилищ данных с ежедневной частотой обновления данных, особенно эффективен для систем с большим количеством источников данных.