ПОЧЕМУ ДАТАФЛОТ РЕПЛИКАЦИЯ
Источники
и получатели
и получатели
Десятки реляционных СУБД, Greenplum, Parquet, Iceberg, Kafka
Автоматическое переключение
С начальной репликации на режим изменений. Миграция продуктивных баз данных с минимальным простоем (downtime).
Быстрая
настройка
настройка
Не требуется долгих процессов настройки. Новый конвейер репликации подготавливается за считанные минуты.
Поддержка транзакций
Данные в системы-получатели передаются только после завершения (commit) транзакций
Минимальная
нагрузка
на источник
на источник
Не создаёт существенной нагрузки на исходную систему – решение может анализировать логи даже без доступа к серверу СУБД!
Не влияет
на структуры
данных
на структуры
данных
Не изменяет структуру данных источника. Надёжное решение без триггеров: используется собственный алгоритм анализа логов.
Скорость
репликации
данных
репликации
данных
Доставка изменений данных из источника в приемник в режиме реального времени или с минимальными задержками
Работает
в гетерогенной среде
в гетерогенной среде
Источники и приемники данных могут быть как одного, так и различных типов.
ТЕХНОЛОГИИ
Решение основано на технологии CDC (Change Data Capture – отслеживание и захват изменений данных из журналов транзакций баз данных источников). Разбор журналов выполняется с помощью собственного технологического решения.
На источнике данных
Используется для оптимизации операций чтения и извлечения данных
Для доставки изменений используется HTTP-протокол с внутренней структурой данных
Используется в случае ограничений на размещение систем на серверах баз данных
На источнике и приемнике
На выделенном сервере
ПРИМЕНЕНИЕ
В ТЕХНОЛОГИЧЕСКИХ ЗАДАЧАХ
В ТЕХНОЛОГИЧЕСКИХ ЗАДАЧАХ
Репликация данных
из облачных СУБД
(Postgres-managed)
из облачных СУБД
(Postgres-managed)
Резервное копирование в локальные инсталляции
Разовое копирование (миграция) данных между базами данных
Наполнение сред разработки или тестовых сред
Наполнение хранилищ данных, озёр данных
и Data Lakehouse –
EL-механизм
и Data Lakehouse –
EL-механизм
Решение интеграционных задач при построении систем
Сохранение данных для последующего аудита
Решение задач аудита изменений в исходной БД
Создание онлайн-реплик данных в целях резервного копирования
Применяется для горячей копии данных СУБД
и Greenplum
Репликация данных
в онлайн-режиме
из Greenplum и его форков
в онлайн-режиме
из Greenplum и его форков
Репликация на логическом уровне без требования одинаковой архитектуры
Извлечение данных
из реляционной СУБД
в онлайн режиме
из реляционной СУБД
в онлайн режиме
Сохранение данных
для обработки внешними приложениями
для обработки внешними приложениями
Перенос данных
из исторических систем
в перспективные
из исторических систем
в перспективные
Миграция данных
в базах данных между различными СУБД
в базах данных между различными СУБД
Репликация данных
в онлайн-режиме
из реляционной СУБД в реляционную СУБД
в онлайн-режиме
из реляционной СУБД в реляционную СУБД
Оперативный перенос данных
из высоконагруженных БД в их копии
из высоконагруженных БД в их копии
СПЕЦИАЛЬНЫЕ ВОЗМОЖНОСТИ РЕШЕНИЯ
Контроль и передача изменений структур данных
Репликация кластеров Greenplum
Прямой парсинг журналов транзакций БД
Встречная репликация данных
Репликация изменений структур данных (DDL) и расширенные возможности начальной синхронизации
Уникальные возможности по репликации из кластеров Greenplum и решений на его основе
Скорость обработки данных в 10 раз выше, чем у аналогов; нулевая или минимальная нагрузка на БД источник
Одновременная синхронизация данных между двумя базами данных
ПРИМЕНЕНИЕ
В ОТРАСЛЯХ
В ОТРАСЛЯХ
Финансовый сектор и финтех
- Создание баз данных для аудита
- Консолидация данных из различных систем, таких как корреспондентские отношения, фронт-офис
- Аналитика мошенничества в реальном времени
Преимущества, которые даёт Датафлот Репликация:
обеспечение аудита изменений данных (аудиторский след), соответствие регуляторным требованиям (аудит)
Ритейл и e-commerce
1. Синхронизация данных о запасах между онлайн-каналом
и магазинами
2. Обновление рекомендательных систем в реальном времени
3. Консолидация данных о клиентах (CDP)
Преимущества, которые даёт Датафлот Репликация:
улучшение клиентского опыта за счет актуальности данных, оптимизация логистики.
и магазинами
2. Обновление рекомендательных систем в реальном времени
3. Консолидация данных о клиентах (CDP)
Преимущества, которые даёт Датафлот Репликация:
улучшение клиентского опыта за счет актуальности данных, оптимизация логистики.
Телекоммуникации
Обработка больших объемов CDR (данные о звонках – Call Detail Record) для биллинга и аналитики в реальном времени.
Преимущества, которые даёт Датафлот Репликация: масштабируемость, снижение затрат на инфраструктуру данных.
Преимущества, которые даёт Датафлот Репликация: масштабируемость, снижение затрат на инфраструктуру данных.
Государственный сектор
и здравоохранение
и здравоохранение
- Интеграция данных из разрозненных регистров
- Обеспечение целостности и аудита критически важной информации
- Создание единой аналитической платформы.
Преимущества, которые даёт Датафлот Репликация: безопасность, трассируемость изменений, быстрая консолидация информации.
Промышленность и логистика (IoT)
Загрузка потоковых данных с датчиков (через промежуточные буферы) в аналитические хранилища (Greenplum, Iceberg) для прогнозного обслуживания и оптимизации цепочек поставок.
Преимущества, которые даёт Датафлот Репликация:
возможность работать с высокой нагрузкой по записи, интеграция с современными аналитическими форматами.
Преимущества, которые даёт Датафлот Репликация:
возможность работать с высокой нагрузкой по записи, интеграция с современными аналитическими форматами.
Своевременная доставка данных
из источников
в хранилище данных
из источников
в хранилище данных
Результат
Изменения, происходящие в источниках, доставляются в приемники с минимальной задержкой, без дополнительной нагрузки на источники и вмешательства в их структуру
Решение
Использование решения Датафлот Репликация с коннекторами
к источникам PostgreSQL и Oracle и приемникам Greenplum и S3
Задача
Требуется организовать своевременную (близкую к реальному времени) доставку изменений из нескольких источников (PostgreSQL, Oracle) в хранилище данных / lakehouse (Greenplum / S3) для оперативной отчётности и аналитики с минимальной дополнительной нагрузкой на системы источники и без вмешательства в их структуру.
Миграция
данных
данных
Результат
Решение Датафлот Репликация позволило выполнить полную синхронизацию данных исходной и целевой систем с последующей репликацией изменений без остановки исходной системы. Поскольку данные исходной и целевой систем поддерживались с помощью репликации в синхронном состоянии, переключение с исходной на целевую систему удалось выполнить практически мгновенно, без остановки обслуживания.
Решение
Использование решения Датафлот Репликация с коннекторами к источнику Oracle и приемнику Postgres
Задача
В рамках импортозамещения требуется мигрировать данные основного приложения с БД Oracle в БД Postgres. Приложение критически важное и работает в режиме 24/7, перерывы в работе недопустимы или могут быть очень ограничены по времени. Объем данных для миграции - 100+ терабайт
Реплика Greenplum
в резервном контуре (Disaster Recovery)
в резервном контуре (Disaster Recovery)
Результат
Организована онлайн реплика продуктивного кластера Greenplum, данные реплицируются в резервный контур в реальном времени, обеспечена возможность выполнять запросы к данным реплики в резервном контуре
Решение
Использование решения Датафлот Репликация с коннекторами
к источнику Greenplum
и приемнику Greenplum
к источнику Greenplum
и приемнику Greenplum
Задача
Требуется организовать онлайн реплику продуктивного кластера Greenplum в резервный контур с возможностью выполнять запросы к данным реплики. Встроенные средства репликации со стороны Greenplum не предусмотрены, а использование резервного копирования и развертывания бэкапов в резервном контуре может занимать несколько дней из-за большого объема данных в кластере
ОТВЕТЫ
НА ЧАСТЫЕ
ВОПРОСЫ
НА ЧАСТЫЕ
ВОПРОСЫ
Помогает ли Датафлот Репликация решать задачи импортозамещения?
Да, Датафлот Репликация решает задачи импортозамещения.
Наиболее распространенный сценарий в этой области – импортозамещение решения Oracle GoldenGate и аналогичных продуктов
Наиболее распространенный сценарий в этой области – импортозамещение решения Oracle GoldenGate и аналогичных продуктов
Каким образом удается обеспечить более высокую чем у конкурентов скорость обработки данных
при значительно меньшей нагрузке на системы источники?
при значительно меньшей нагрузке на системы источники?
Более высокая, чем у конкурентов, скорость обработки данных при значительно меньшей нагрузке на системы-источники обеспечивается за счёт уникальных возможностей прямого парсинга журналов транзакций. Реализовано прямое чтение журналов на бинарном уровне без необходимости использовать API или движок самой СУБД-источника.
Требуется ли при работе парсера Датафлот установка дополнительных компонентов на сервер, где расположена СУБД-источник?
Установка компонентов Датафлот на сервер-источник не обязательна и является опциональной. Компоненты Датафлот могут быть установлены как непосредственно на сервер-источник, так и на выделенный сервер или даже на сервер-приемник. Необходимое условие при установке не на сервер-источник - обеспечение для парсера Датафлот доступа к журналам БД источника (копии журналов, монтирование через NFS, использование ASM и т.п.)
Возможно ли организовать применение изменений
в приемнике данных в несколько потоков?
в приемнике данных в несколько потоков?
Да, многопоточная загрузка изменений в приемник поддерживается: соответствующие настройки выполняются в панели управления решением.
Поддерживается ли, помимо репликации изменений данных, репликация изменений в структуре данных? Например, если добавить колонку в таблицу на источнике, появится ли она автоматически на приемнике?
Да, репликация изменений структуры данных (DDL-репликация) поддерживается для различных источников, в том числе и для PostgreSQL. Поддержку репликации DDL можно включать и отключать отдельно в разных проектах в зависимости от потребностей.
Функциональные возможности решения
01/
04/
02/
05/
03/
СКОРОСТЬ
Минимальное воздействие
Согласованность
ПРОСТОТА УСТАНОВКИ
Легкость настройки
ВОССТАНОВЛЕНИЕ
06/
Захват, маршрутизация и доставка изменений данных
Минимальное воздействие на системы-источники
Поддержка транзакционной целостности и согласованности данных
Достаточно распаковать архивный файл в Linux; установка дополнительных компонентов не требуется
Простая настройка и мониторинг через визуальный интерфейс
Автоматическое восстановление при сбоях
PostgreSQL и его форки
Oracle Database
Greenplum и его форки
Apache Kafka
ClickHouse
Cloudera
Teradata
Netezza
Postgres Pro
S3 (Parquet)
Sybase ASE
Apache Iceberg
Hortonworks
Плоские файлы
MemSQL
MYSQL
Vertica
DB2 (Linux, UNIX и Windows)
HDFS (Apache Parquet)
PostgreSQL и его форки
Oracle Database
Sybase ASE
Greenplum и его форки
DB2 (Linux, UNIX, Windows)
Postgres Pro
Microsoft SQL Server
MySQL
Microsoft SQL Server
ИСТОЧНИКИ
И ПРИЕМНИКИ ДАННЫХ
И ПРИЕМНИКИ ДАННЫХ
Датафлот Репликация поддерживает следующие Источники данных
Датафлот Репликация поддерживает следующие ПРИЕМНИКИ данных
ДОКУМЕНТАЦИЯ
НА ДАТАФЛОТ
НА ДАТАФЛОТ
Руководство пользователя
и информация для установки
и информация для установки
+7 495 645-02-01
info@dis-group.ru
ИНН 9703136241, КПП 770301001
123022, г. Москва, 2-я Звенигородская ул, д. 13 стр. 37
Владелец сайта и правообладатель решения «Датафлот Репликация» – ООО "Датафлот"
Компания разрабатывает программное обеспечение в области репликации данных
с использованием технологий: С++, Java, React.js, Typescript, Vite, SCSS, CSS Modules.
Компания разрабатывает программное обеспечение в области репликации данных
с использованием технологий: С++, Java, React.js, Typescript, Vite, SCSS, CSS Modules.