Описание системы SIDEC

SIDEC — это платформа для потоковой передачи данных между системами хранения, обеспечивающая снятие снапшотов, фильтрацию и маскирование данных, мониторинг процессов. Программный продукт SIDEC (рус. САЙДЕК) от компании-разработчика Сбербанк предназначен для масштабируемой и надёжной потоковой передачи данных между различными системами хранения. Он представляет собой набор коннекторов для Apache Kafka Connect, позволяющих получать изменения из баз данных и записывать их в топики Apache Kafka, при этом обеспечивая возможности снятия снапшота, фильтрации и маскирования данных, а также мониторинга выполнения операций.

Система SIDEC ориентирована на ИТ-специалистов, разработчиков интеграционных решений, администраторов баз данных и инженеров по обработке данных в компаниях, которые нуждаются в масштабируемой передаче данных между разнородными системами хранения. Продукт будет актуален для крупных корпораций и средних предприятий с развитой ИТ-инфраструктурой, работающих в таких отраслях, как финансы, телекоммуникации, электронная коммерция, где требуется высокая надёжность и гибкость при работе с потоковыми данными и их последующей обработкой.

Функциональные возможности SIDEC:

• Потоковая передача данных. SIDEC обеспечивает масштабируемую и надёжную потоковую передачу данных между различными системами хранения данных, используя набор коннекторов для Apache Kafka Connect.

• Работа с коннекторами. Платформа включает в себя коннекторы, которые позволяют получать изменения из различных баз данных и записывать полученные события в топики Apache Kafka (Platform V Corax).

• Создание снапшота. При первоначальном запуске коннектора возможно снятие снапшота текущего состояния базы данных, если журналы транзакций недоступны. Поддерживаются различные способы снятия снапшота, включая ограничение для первоначального запуска и инкрементные снимки.

• Фильтрация данных. Реализована возможность фильтрации данных: можно настроить фильтры включения или исключения для схем, таблиц и столбцов в базе данных, что позволяет управлять объёмом и составом передаваемых данных.

• Маскирование данных. При записи событий в топики Apache Kafka платформа позволяет маскировать сенситивные данные. Маскирование осуществляется на основе указания столбцов, в которых расположены чувствительные данные.

• Мониторинг выполнения снапшота. SIDEC предусматривает мониторинг состояния выполнения снапшота, что позволяет отслеживать процесс и выявлять возможные проблемы.

• Отслеживание стриминговых метрик. Платформа позволяет снимать метрики JMX дерева для мониторинга стриминговых процессов, что обеспечивает контроль за выполнением операций и анализ производительности.