Датафлот Репликация: решение для репликации транзакционных данных, использующее в основе подход CDC (Change Data Capture — отслеживание и захват изменений данных в журналах транзакций баз данных источников) и осуществляющее доставку изменений из источников в гетерогенные системы-приемники с минимальной задержкой.
Решение Датафлот Репликация применяется для организации оперативной и своевременной доставки изменений данных систем-источников в системы приемники, обеспечения синхронного состояния данных в источнике и приемнике с выполнением следующих требований:
Передача данных
Источники и приемники данных могут быть, как и одного и того же, так и различных типов (гетерогенная среда)
Изменения
Структура данных источника данных не изменяется
Скорость
Доставка изменений данных источника в приемник должна осуществляться в режиме реального времени или с минимальными задержками
Нагрузка на систему
Возникающая дополнительная нагрузка на системы источники должна быть минимальной или пренебрежимо малой
Датафлот будет полезен в использовании:
Для решения интеграционных задач при построении систем, хранилищ данных, data lakes, data lakehouses для задач отчётности и аналитики
При решении задач миграции данных из унаследованных систем в перспективные (в том числе в рамках инициатив по импортозамещению)
Для оперативного переноса данных из высоконагруженных транзакционных систем в их копии для снижения нагрузки на основные источники данных.
Для решения задач аудита изменений в БД.
Для создания онлайн-реплик данных в целях резервного копирования
Почему выбирают Датафлот
DDL и синхронизация
Поддержка DDL (репликация изменения структуры данных) и продвинутые возможности начальной синхронизации
1
Уникальные возможности по репликации
Уникальные возможности по репликации из кластеров Greenplum и решений на его основе
2
Уникальные возможности прямого парсинга журналов транзакций БД:
Скорость обработки данных выше конкурентов в 10 раз
В зависимости от вариантов использования нагрузка на БД источник нулевая или ниже, чем у конкурентов в 10 раз
Поддержку продукта предоставляет компания DIS Group
Поддержка
1, 2, 3-я линия поддержки
Уровни поддержки
Несколько уровней поддержки: Премиальный, Премиальный +, Премиальный Max
Обновления
Доступ к обновлениям системы
Обращения
Регистрация обращений через портал
Реакция на ошибки
Время реакции на критические ошибки - 1 час, 24/7
Предоставление решений
Время предоставления решений (обходных решений) - 4 часа, 24/7 (для премиальной поддержки)
КЕЙСЫ
Своевременная доставка данных из источников в хранилище данных
Запрос
Требуется организовать своевременную (близкую к реальному времени) доставку изменений из нескольких источников (PostgreSQL, Oracle) в хранилище данных / lakehouse (Greenplum / S3) для оперативной отчётности и аналитики с минимальной дополнительной нагрузкой на системы источники и без вмешательства в их структуру.
Решение
Использование решения Датафлот Репликация с коннекторами к источникам PostgreSQL и Oracle и приемникам Greenplum и S3
Результат
Изменения, происходящие в приемниках, доставляются в приемники с минимальной задержкой, без дополнительной нагрузки на источники и вмешательства в их структуру
Миграция данных
Запрос
В рамках решения задач импортозамещения требуется миграция данных основного приложения с БД Oracle в БД Postgres. Приложение mission critical, работает в режиме 24x7, перерывы в работе недопустимы либо могут быть очень ограниченными по времени, объем данных в системе для миграции 100+ Терабайт
Решение
Использование решения Датафлот Репликация с коннекторами к источнику Oracle и приемнику Postgres
Результат
Применение решения Датафлот Репликация позволило выполнять полную синхронизацию данных исходной и целевой систем с последующей репликацией изменений без остановки работы исходной системы. Поскольку данные исходной и целевой системы поддерживались с помощью репликации в синхронном состоянии – выполнить переключение с исходной на целевую систему удалось практически мгновенно без остановки обслуживания.
Реплика Greenplum в резервном (Disaster Recovery) контуре
Запрос
Требуется организовать онлайн реплику продуктового кластера Greenplum в резервном контуре с возможностью выполнять запросы к данным реплики. Встроенные средства репликации со стороны Greenplum не предусмотрены, использование бэкапирования и поднятия бэкапов в резервном контуре может занимать несколько дней из-за большого объема данных в кластере
Решение
Использование решения Датафлот Репликация с коннекторами к источнику Greenplum и приемнику Greenplum
Результат
Организована онлайн реплика продуктового кластера Greenplum, данные реплицируются в резервный контур в реальном времени, обеспечена возможностью выполнять запросы к данным реплики в резервном контуре
Вопросы и ответы
Да, Датафлот Репликация решает задачи импортозамещения. Наиболее распространенная задача в этой области – импортозамещение для решений Oracle Golden Gate и аналогичных
Более высокая, чем у конкурентов скорость обработки данных при значительно меньшей, чем у конкурентов нагрузке на системах источниках обеспечивается за счёт уникальных возможностей прямого парсинга журналов транзакций. Реализовано прямое чтение данных журналов на бинарном уровне без необходимости использовать API или движок самой СУБД источника
Установка компонент Датафлот на сервер-источник не обязательна и является опциональной. Компоненты Датафлот могут быть установлены как непосредственно на сервер-источник, так и на выделенный сервер или даже на сервер-приемник. Необходимым условием при установке не на сервер-источник является обеспечение для парсера Датафлот доступа к журналам БД источника (копии журналов, монтирование через NFS, использование ASM и т.п.)
Да, многопоточная загрузка изменений в приемник поддерживается, соответствующие настройки выполняются в панели управления решения.
Да, репликация изменений в структуре данных (DDL репликация) поддерживается для различных источников, в т.ч. и для PostgreSQL. Вы можете включать и отключать поддержку репликации DDL отдельно в различных проектах в зависимости от потребностей.
Разработка программного обеспечения в области репликации данных с использованием технологий: С++, Java, React.js, Typescript, Vite, SCSS, CSS Modules. Компания ООО «Датафлот» предоставляет клиентам высокотехнологичное решение «Датафлот Репликация».
Разработчик ООО "Датафлот" ИНН 9703136241 ОГРН 770301001 Адрес: 123022, город Москва, 2-Я Звенигородская ул, д. 13 стр. 37 ОКВЭД 62.01, 62.02.4, 62.02.9, 62.09, 63.11.1 Телефон: 8 (495) 645-02-01 Почта для связи: info@dis-group.ru
Документация Датафлота
Вся документация о продукте на русском языке Руководство пользователя Информация для установки