Датафлот –
решение для репликации данных
решение для репликации данных
Датафлот Репликация: решение для репликации транзакционных данных, использующее
в основе подход CDC (Change Data Capture — отслеживание и захват изменений данных
в журналах транзакций баз данных источников) и осуществляющее доставку изменений
из источников в гетерогенные системы-приемники с минимальной задержкой.
Решение зарегистрировано в едином реестре ПО РФ.
в основе подход CDC (Change Data Capture — отслеживание и захват изменений данных
в журналах транзакций баз данных источников) и осуществляющее доставку изменений
из источников в гетерогенные системы-приемники с минимальной задержкой.
Решение зарегистрировано в едином реестре ПО РФ.
В каких случаях применяется Датафлот:
Решение Датафлот Репликация применяется для организации оперативной и своевременной доставки изменений данных систем-источников в системы приемники, обеспечения синхронного состояния данных в источнике и приемнике с выполнением следующих требований:
- Передача данныхИсточники и приемники данных могут быть, как и одного и того же, так и различных типов (гетерогенная среда)
- ИзмененияСтруктура данных источника данных не изменяется
- СкоростьДоставка изменений данных источника в приемник должна осуществляться в режиме реального времени или с минимальными задержками
- Нагрузка на системуВозникающая дополнительная нагрузка на системы источники должна быть минимальной или пренебрежимо малой
Датафлот будет полезен
в использовании:
в использовании:
Для решения интеграционных задач при построении систем, хранилищ данных, data lakes, data lakehouses для задач отчётности и аналитики
При решении задач миграции данных из унаследованных систем в перспективные (в том числе в рамках инициатив по импортозамещению)
Для оперативного переноса данных из высоконагруженных транзакционных систем в их копии для снижения нагрузки на основные источники данных.
Для решения задач аудита изменений в БД.
Для создания онлайн-реплик данных в целях резервного копирования
Почему выбирают Датафлот
- DDL и синхронизацияПоддержка DDL (репликация изменения структуры данных) и продвинутые возможности начальной синхронизации1
- Уникальные возможности по репликацииУникальные возможности по репликации из кластеров Greenplum и решений на его основе2
- Уникальные возможности прямого парсинга журналов транзакций БД:
- Скорость обработки данных выше конкурентов в 10 раз
- В зависимости от вариантов использования нагрузка на БД источник нулевая или ниже, чем у конкурентов в 10 раз
3
- Российское ПО
- Техническая поддержкаТехподдержка 24x7 на русском языке и учет локальной специфики
- Доработки от вендораОткрытость к обсуждению доработок под специфику заказчика
Датафлот сможет заменить:
Open Source решения Debezium и аналогичные,
а также и коммерческие решения использующие Debezium
в своем составе;
Коммерческое не российское ПО,
требующее импортозамещения (Oracle Golden Gate, IBM DataReplication и т.п.)
ETL решения для случаев когда:
Open Source решения Debezium и аналогичные,
а также и коммерческие решения использующие Debezium
в своем составе;
Коммерческое не российское ПО,
требующее импортозамещения (Oracle Golden Gate, IBM DataReplication и т.п.)
ETL решения для случаев когда:
- ETL генерирует высокую нагрузку на источник;
- ETL не может получить данные об изменениях в онлайн режиме и доставить их в приемник своевременно;
- ETL не может получить данные об изменениях
Основная функциональность решения
- СкоростьЗахват, маршрутизация и доставка изменений данных в режиме близком
к реальному времени в гетерогенных окружениях с минимальной задержкой - СогласованностьПоддержка транзакционной целостности и согласованности данных
- ВосстановлениеАвтоматическое восстановление
при сбоях - Минимальное воздействиеМинимальное воздействие на системы-источники
- Источники и приемникиРазличные источники и приемники: реляционные СУБД -PostgreSQL, Oracle
и др., HDFS, Kafka, Greenplum/
ADB, Clickhouse, MPP, S3, Iceberg
и многие другие
- Простота установкиПросто распакуйте архивный файл в Linux, никакие дополнительные компоненты не требуются
- Легкость настройкиЛегкая настройка и мониторинг через визуальный интерфейс
Решение сертифицировано ФСТЭК
Поддержка Датафлот
Поддержку продукта предоставляет компания DIS Group
- Поддержка1, 2, 3-я линия поддержки
- Уровни поддержкиНесколько уровней поддержки: Премиальный, Премиальный +, Премиальный Max
- ОбновленияДоступ к обновлениям системы
- ОбращенияРегистрация обращений через портал
- Реакция на ошибкиВремя реакции на критические ошибки - 1 час, 24/7
- Предоставление решенийВремя предоставления решений (обходных решений) - 4 часа, 24/7 (для премиальной поддержки)
КЕЙСЫ
Своевременная доставка данных из источников
в хранилище данных
в хранилище данных
- ЗапросТребуется организовать своевременную
(близкую к реальному времени) доставку изменений из нескольких источников (PostgreSQL, Oracle)
в хранилище данных / lakehouse (Greenplum / S3) для оперативной отчётности и аналитики
с минимальной дополнительной нагрузкой
на системы источники и без вмешательства
в их структуру. - РешениеИспользование решения Датафлот Репликация с коннекторами к источникам PostgreSQL и Oracle и приемникам Greenplum и S3
- РезультатИзменения, происходящие в приемниках, доставляются в приемники с минимальной задержкой, без дополнительной нагрузки на источники и вмешательства в их структуру
Миграция данных
- ЗапросВ рамках решения задач импортозамещения требуется миграция данных основного приложения с БД Oracle в БД Postgres. Приложение mission critical, работает в режиме 24x7, перерывы в работе недопустимы либо могут быть очень ограниченными по времени, объем данных в системе для миграции 100+ Терабайт
- РешениеИспользование решения Датафлот Репликация с коннекторами к источнику Oracle и приемнику Postgres
- РезультатПрименение решения Датафлот Репликация позволило выполнять полную синхронизацию данных исходной и целевой систем с последующей репликацией изменений без остановки работы исходной системы. Поскольку данные исходной
и целевой системы поддерживались с помощью репликации в синхронном состоянии – выполнить переключение с исходной на целевую систему удалось практически мгновенно без остановки обслуживания.
Реплика Greenplum в резервном
(Disaster Recovery) контуре
(Disaster Recovery) контуре
- ЗапросТребуется организовать онлайн реплику продуктового кластера Greenplum в резервном контуре с возможностью выполнять запросы
к данным реплики. Встроенные средства репликации со стороны Greenplum
не предусмотрены, использование бэкапирования
и поднятия бэкапов в резервном контуре может занимать несколько дней из-за большого объема данных в кластере - РешениеИспользование решения Датафлот Репликация с коннекторами к источнику Greenplum и приемнику Greenplum
- РезультатОрганизована онлайн реплика продуктового кластера Greenplum, данные реплицируются в резервный контур в реальном времени, обеспечена возможностью выполнять запросы к данным реплики в резервном контуре
Вопросы и ответы
Да, Датафлот Репликация решает задачи импортозамещения. Наиболее распространенная задача в этой области – импортозамещение для решений Oracle Golden Gate
и аналогичных
и аналогичных
Более высокая, чем у конкурентов скорость обработки данных при значительно меньшей, чем у конкурентов нагрузке на системах источниках обеспечивается за счёт уникальных возможностей прямого парсинга журналов транзакций. Реализовано прямое чтение данных журналов на бинарном уровне без необходимости использовать API или движок самой СУБД источника
Установка компонент Датафлот на сервер-источник
не обязательна и является опциональной. Компоненты Датафлот могут быть установлены как непосредственно на сервер-источник, так и на выделенный сервер или даже на сервер-приемник. Необходимым условием при установке не на сервер-источник является обеспечение для парсера Датафлот доступа к журналам БД источника (копии журналов, монтирование через NFS, использование ASM и т.п.)
не обязательна и является опциональной. Компоненты Датафлот могут быть установлены как непосредственно на сервер-источник, так и на выделенный сервер или даже на сервер-приемник. Необходимым условием при установке не на сервер-источник является обеспечение для парсера Датафлот доступа к журналам БД источника (копии журналов, монтирование через NFS, использование ASM и т.п.)
Да, многопоточная загрузка изменений в приемник поддерживается, соответствующие настройки выполняются в панели управления решения.
Да, репликация изменений в структуре данных (DDL репликация) поддерживается для различных источников, в т.ч. и для PostgreSQL. Вы можете включать
и отключать поддержку репликации DDL отдельно
в различных проектах в зависимости от потребностей.
и отключать поддержку репликации DDL отдельно
в различных проектах в зависимости от потребностей.
DIS Group
Расскажем больше о продукте на консультации
Стоимость ПО рассчитывается индивидуально
Перезвоните мне
Мне интересно решение Датафлот
Я согласен с обработкой персональных данных
О компании
Разработка программного обеспечения в области репликации данных с использованием технологий: С++, Java, React.js, Typescript, Vite, SCSS, CSS Modules.
Компания ООО «Датафлот» предоставляет клиентам высокотехнологичное решение «Датафлот Репликация».
Компания ООО «Датафлот» предоставляет клиентам высокотехнологичное решение «Датафлот Репликация».
Разработчик ООО "Датафлот"
ИНН 9703136241
ОГРН 770301001
Адрес: 123022, город Москва, 2-Я Звенигородская ул, д. 13 стр. 37
ОКВЭД 62.01, 62.02.4, 62.02.9, 62.09, 63.11.1
Телефон: 8 (495) 645-02-01
Почта для связи: info@dis-group.ru
ИНН 9703136241
ОГРН 770301001
Адрес: 123022, город Москва, 2-Я Звенигородская ул, д. 13 стр. 37
ОКВЭД 62.01, 62.02.4, 62.02.9, 62.09, 63.11.1
Телефон: 8 (495) 645-02-01
Почта для связи: info@dis-group.ru