Описание системы BI.Qube MetaStaging

BI.Qube MetaStaging — это платформа для извлечения данных из различных источников и их загрузки в корпоративное хранилище с поддержкой целостности метаданных.

Программный продукт BI. Qube MetaStaging (рус. БИ. Куб МетаСтейджинг) от компании-разработчика Биай КУБ предназначен для извлечения данных из различных источников (Rest API, SQL Server, PostgreSQL, MySQL, Excel-файлов на YandexDisk) и их передачи в файловое S3-совместимое хранилище (HDFS, ObjectStorage) с автоматической генерацией представлений в СУБД Greenplum для каждого полученного файла. Продукт обеспечивает поддержку целостности метаданных и может использоваться как самостоятельно, так и в составе системы Bi. Qube под управлением MetaOrchestrator.

Система BI. Qube MetaStaging ориентирована на ИТ-специалистов, аналитиков данных, администраторов баз данных и специалистов по интеграции информационных систем, которые занимаются построением корпоративных хранилищ данных и обеспечением их наполнения данными из разнородных источников.

Система подходит для средних и крупных компаний различных отраслей, включая финансовый сектор, розничную торговлю, производство и логистику, где требуется интеграция данных из учётных систем (SQL Server, PostgreSQL, MySQL, Rest API) в корпоративное хранилище данных с сохранением целостности метаданных и возможностью дальнейшей аналитики.

Функциональные возможности BI. Qube MetaStaging:

• Извлечение данных из разнородных источников. Платформа поддерживает извлечение данных через REST API, а также из реляционных баз данных (SQL Server, PostgreSQL, MySQL), что обеспечивает гибкость при работе с различными системами-источниками.
• Передача данных в целевое хранилище. MetaStaging осуществляет передачу данных в файловое S3-совместимое хранилище (HDFS, ObjectStorage), что позволяет интегрировать информацию в корпоративное хранилище данных с учётом особенностей целевой платформы.
• Генерация объектов в СУБД Greenplum. Платформа автоматически создаёт объекты типа «представление» в СУБД Greenplum для каждого полученного файла, что упрощает работу с данными на уровне базы данных.
• Сохранение целостности метаданных. При передаче данных MetaStaging обеспечивает сохранение целостности метаданных систем-источников, что важно для поддержания качества и достоверности информации.
• Формирование промежуточного физического слоя хранения. Платформа учитывает особенности целевой платформы при формировании промежуточного слоя хранения данных, что способствует оптимизации процесса загрузки информации в корпоративное хранилище.
• Работа в составе системы или автономно. MetaStaging может эксплуатироваться как отдельный компонент, так и в составе системы BI.Qube, что обеспечивает гибкость в использовании в зависимости от потребностей бизнеса.
• Управление через MetaOrchestrator. В конфигурации с компонентом MetaOrchestrator использование MetaStaging становится наиболее эффективным, что позволяет оптимизировать процессы управления данными.
• Поддержка работы с файлами Excel. Платформа поддерживает извлечение данных из файлов Excel, расположенных в YandexDisk, что расширяет возможности работы с неструктурированными данными.