Platform V
SDP DataFlow
Продукт Platfrom V для сбора данных из различных источников и наполнения хранилищ данных
SDP DataFlow позволяет загружать, выгружать данные, осуществлять виртуальную оркестрацию задач и обрабатывать данные в режимах реального времени и пакетной обработки между разными источниками и системами назначения.
01
Широкий спектр форматов исходных данных: журналы, данные о географическом местоположении, социальные сети
02
Поддержка множества протоколов, в том числе SFTP, HDFS и KAFKA
03
Поддержка основных реляционных СУБД
Функции
Пользовательский интерфейс на основе веб-приложения
Единая точка для создания, управления и мониторинга
Конфигурация потоков данных
- Гарантированная доставка данных
- Минимальная задержка и большая пропуская способность
- Динамическое управление приоритетами
- Изменение потока данных во время отдельных шагов
- Обратная совместимость
Контроль происхождения данных
Отслеживание изменений данных на всем пути от источника до приемника
Быстрая разработка и эффективное тестирование
Создание собственных и оптимизация существующих модулей для обработки данных
Безопасность
- SSL, SSH, HTTPS, шифрование
- Многопользовательская и внутренняя авторизация, управление политиками
Поддержка структурированных и неструктурированных форматов исходных данных для загрузки
- Таблицы баз данных
- CSV
Поддержка стандартных протоколов работы и доступа к данным
- SFTP и SSH
- KAFKA
- HDFS
- SQL
Поддержка кластеризации с возможностью работы на нескольких узлах для повышения производительности обработки данных
Преобразование потоков данных из CSV в PARQUET
Управление параллельными потоками данных
Преимущества
Визуальный оркестратор задач
Запуск задач по расписанию
Реализация workflow любой сложности
Low-code построение и выполнение задач ETL любой сложности
Поддержка широкого спектра форматов исходных данных: журналов, данных о геоположении, соцсетей
