решение для репликации данных
Датафлот
Использует в основе подход CDC (Change Data Capture — отслеживание и захват изменений данных в журналах транзакций баз данных источников) и осуществляющее доставку изменений из источников в гетерогенные системы-приемники с минимальной задержкой.
решение для репликации данных
Датафлот
Использует в основе подход CDC (Change Data Capture — отслеживание и захват изменений данных в журналах транзакций баз данных источников) и осуществляющее доставку изменений из источников в гетерогенные системы-приемники с минимальной задержкой.
решение для репликации данных
Датафлот
Использует в основе подход CDC (Change Data Capture — отслеживание и захват изменений данных в журналах транзакций баз данных источников) и осуществляющее доставку изменений из источников в гетерогенные системы-приемники с минимальной задержкой.
Россельхозбанк импортозаместил
CDC-решения на «Датафлот Репликация»
CDC-решения на «Датафлот Репликация»
Пресс-релиз с комментариями Россельхозбанка и технического директора DIS Group - официального мастер-дистрибьютора решения
Читать 
Россельхозбанк успешно реализовал проект по внедрению системы CDC-репликации данных на базе отечественного решения Датафлот Репликация. Техническую поддержку проекту оказали компании DIS Group и РСХБ-Интех (ИТ-компания РСХБ). Реализация проекта обеспечивает импортозамещение иностранных решений и поддерживает различные комбинации СУБД и ХД в качестве источников и приёмников данных.
Россельхозбанк импортозаместил CDC-решения с Датафлот Репликация от DIS-group
Датафлот Репликация позволяет РСХБ снизить нагрузку на источники данных благодаря подходу к процессу репликации, при котором решение не использует SQL-запросы к исходным базам данных и не требует создания репликационных слотов в PostgreSQL, исключая риски снижения производительности основных систем.
При выборе решения РСХБ обращал особое внимание на минимальное воздействие на источники данных, поддержку DDL-операций, а также наличие продукта в реестре Минцифры. Важным фактором стала готовность разработчика оперативно адаптировать продукт под специфические требования банковской инфраструктуры.
Новое ИТ-решение доставляет данные в хранилища и мигрирует данные между
различными СУБД, в том числе контролирует процессы переноса информации из Oracle
в PostgreSQL и обратно, а также в хранилища S3 и Hadoop и системами потоковой
обработки данных Apache Kafka.
В системе имеются механизмы фильтрации и преобразования данных, обработки ошибок
и разрешения конфликтов. Реплики данных могут создаваться в различных СУБД,
кластерных файловых хранилищах Hadoop и S3. Продажу и внедрение решения
Датафлот Репликация осуществляет мастер-дистрибьютор DIS Group.
«Россельхозбанку принципиально важно иметь надежный инструмент репликации данных, который минимально влияет на работу основных систем и обеспечивает гибкость при работе с различными базами данных. Успешная реализация проекта CDC-репликации стала возможна благодаря профессиональной команде РСХБ-Интех, которая обеспечила высокое качество технической поддержки и оперативное сопровождение внедрения отечественного решения Датафлот Репликация. Специалисты DIS Group сыграли важную роль в адаптации системы под специфические требования нашей банковской инфраструктуры, что позволило нам успешно импортозаместить зарубежные CDC-решения и существенно снизить нагрузку на наши ИТ-системы», — заявил Вадим Григоренко, заместитель директора Департамента информационных технологий АО «Россельхозбанк».
«Бесперебойная работа основных систем является критически важной для организаций финансовой сферы. Датафлот Репликация дает возможность использования данных этих систем в реальном времени в процессах банка без повышения нагрузки на и без того высоконагруженные системы», — отметил Олег Гиацинтов, технический директор DIS Group.
При выборе решения РСХБ обращал особое внимание на минимальное воздействие на источники данных, поддержку DDL-операций, а также наличие продукта в реестре Минцифры. Важным фактором стала готовность разработчика оперативно адаптировать продукт под специфические требования банковской инфраструктуры.
Новое ИТ-решение доставляет данные в хранилища и мигрирует данные между
различными СУБД, в том числе контролирует процессы переноса информации из Oracle
в PostgreSQL и обратно, а также в хранилища S3 и Hadoop и системами потоковой
обработки данных Apache Kafka.
В системе имеются механизмы фильтрации и преобразования данных, обработки ошибок
и разрешения конфликтов. Реплики данных могут создаваться в различных СУБД,
кластерных файловых хранилищах Hadoop и S3. Продажу и внедрение решения
Датафлот Репликация осуществляет мастер-дистрибьютор DIS Group.
«Россельхозбанку принципиально важно иметь надежный инструмент репликации данных, который минимально влияет на работу основных систем и обеспечивает гибкость при работе с различными базами данных. Успешная реализация проекта CDC-репликации стала возможна благодаря профессиональной команде РСХБ-Интех, которая обеспечила высокое качество технической поддержки и оперативное сопровождение внедрения отечественного решения Датафлот Репликация. Специалисты DIS Group сыграли важную роль в адаптации системы под специфические требования нашей банковской инфраструктуры, что позволило нам успешно импортозаместить зарубежные CDC-решения и существенно снизить нагрузку на наши ИТ-системы», — заявил Вадим Григоренко, заместитель директора Департамента информационных технологий АО «Россельхозбанк».
«Бесперебойная работа основных систем является критически важной для организаций финансовой сферы. Датафлот Репликация дает возможность использования данных этих систем в реальном времени в процессах банка без повышения нагрузки на и без того высоконагруженные системы», — отметил Олег Гиацинтов, технический директор DIS Group.
В каких случаях применяется Датафлот:
Решение Датафлот Репликация применяется для организации оперативной и своевременной доставки изменений данных систем-источников в системы приемники, обеспечения синхронного состояния данных в источнике и приемнике с выполнением следующих требований:
- Передача данныхИсточники и приемники данных могут быть, как и одного и того же, так и различных типов (гетерогенная среда)
- ИзмененияСтруктура данных источника данных не изменяется
- СкоростьДоставка изменений данных источника в приемник должна осуществляться в режиме реального времени или с минимальными задержками
- Нагрузка
на системуВозникающая дополнительная нагрузка на системы источники должна быть минимальной или пренебрежимо малой
Датафлот будет полезен
в использовании:
в использовании:
Для решения интеграционных задач при построении систем, хранилищ данных, data lakes, data lakehouses для задач отчётности и аналитики
При решении задач миграции данных из унаследованных систем в перспективные (в том числе в рамках инициатив по импортозамещению)
Для оперативного переноса данных из высоконагруженных транзакционных систем в их копии для снижения нагрузки на основные источники данных.
Для решения задач аудита изменений в БД.
Для создания онлайн-реплик данных в целях резервного копирования
Почему выбирают Датафлот
- DDL
и начальная синхронизацияПоддержка DDL (репликация
изменения структуры данных)
и продвинутые возможности
начальной синхронизации1 - Уникальные возможности
по репликацииУникальные возможности
по репликации из кластеров
Greenplum и решений
на его основе2 - Уникальные возможности прямого парсинга журналов транзакций БД:
- Скорость обработки данных выше конкурентов в 10 раз
- В зависимости от вариантов использования нагрузка на БД источник нулевая или ниже, чем у конкурентов в 10 раз
3
- Российское
ПО - Техническая поддержкаТехподдержка 24x7 на русском языке и учет локальной специфики
- Доработки
от вендораОткрытость к обсуждению доработок под специфику
Датафлот сможет заменить:
Open Source решения Debezium и аналогичные,
а также и коммерческие решения использующие Debezium
в своем составе;
Коммерческое не российское ПО,
требующее импортозамещения (Oracle Golden Gate, IBM DataReplication и т.п.)
ETL решения для случаев когда:
Open Source решения Debezium и аналогичные,
а также и коммерческие решения использующие Debezium
в своем составе;
Коммерческое не российское ПО,
требующее импортозамещения (Oracle Golden Gate, IBM DataReplication и т.п.)
ETL решения для случаев когда:
- ETL генерирует высокую нагрузку на источник;
- ETL не может получить данные об изменениях в онлайн режиме и доставить их в приемник своевременно;
- ETL не может получить данные об изменениях
Основная функциональность решения
- СкоростьЗахват, маршрутизация и доставка изменений данных в режиме близком
к реальному времени в гетерогенных окружениях с минимальной задержкой - СогласованностьПоддержка транзакционной целостности и согласованности данных
- ВосстановлениеАвтоматическое восстановление
при сбоях - Минимальное воздействиеМинимальное воздействие на системы-источники
- Источники и приемникиРазличные источники и приемники: реляционные СУБД -PostgreSQL, Oracle
и др., HDFS, Kafka, Greenplum/
ADB, Clickhouse, MPP, S3, Iceberg
и многие другие
- Простота установкиПросто распакуйте архивный файл в Linux,
никакие дополнительные компоненты
не требуются - Легкость настройкиЛегкая настройка и мониторинг
через визуальный интерфейс
Решение сертифицировано ФСТЭК
Поддержка Датафлот
Поддержку продукта предоставляет компания DIS Group
- Поддержка1, 2, 3-я линия поддержки
- Уровни поддержкиНесколько уровней поддержки: Премиальный, Премиальный +, Премиальный Max
- ОбновленияДоступ к обновлениям системы
- ОбращенияРегистрация обращений через портал
- Реакция на ошибкиВремя реакции на критические ошибки - 1 час, 24/7
- Предоставление решенийВремя предоставления решений (обходных решений) - 4 часа, 24/7 (для премиальной поддержки)
КЕЙСЫ
Своевременная доставка данных
из источников в хранилище данных
- ЗапросТребуется организовать своевременную
(близкую к реальному времени) доставку изменений из нескольких источников (PostgreSQL, Oracle)
в хранилище данных / lakehouse (Greenplum / S3) для оперативной отчётности и аналитики
с минимальной дополнительной нагрузкой
на системы источники и без вмешательства
в их структуру. - РешениеИспользование решения Датафлот Репликация с коннекторами к источникам PostgreSQL и Oracle и приемникам Greenplum и S3
- РезультатИзменения, происходящие в приемниках, доставляются в приемники с минимальной задержкой, без дополнительной нагрузки на источники и вмешательства в их структуру
Миграция данных
- ЗапросВ рамках решения задач импортозамещения требуется миграция данных основного приложения с БД Oracle в БД Postgres. Приложение mission critical, работает в режиме 24x7, перерывы в работе недопустимы либо могут быть очень ограниченными по времени, объем данных в системе для миграции 100+ Терабайт
- РешениеИспользование решения Датафлот Репликация с коннекторами к источнику Oracle и приемнику Postgres
- РезультатПрименение решения Датафлот Репликация позволило выполнять полную синхронизацию данных исходной и целевой систем с последующей репликацией изменений без остановки работы исходной системы. Поскольку данные исходной
и целевой системы поддерживались с помощью репликации в синхронном состоянии – выполнить переключение с исходной на целевую систему удалось практически мгновенно без остановки обслуживания.
Реплика Greenplum в резервном
(Disaster Recovery) контуре
- ЗапросТребуется организовать онлайн реплику продуктового кластера Greenplum в резервном контуре с возможностью выполнять запросы
к данным реплики. Встроенные средства репликации со стороны Greenplum
не предусмотрены, использование бэкапирования
и поднятия бэкапов в резервном контуре может занимать несколько дней из-за большого объема данных в кластере - РешениеИспользование решения Датафлот Репликация с коннекторами к источнику Greenplum и приемнику Greenplum
- РезультатОрганизована онлайн реплика продуктового кластера Greenplum, данные реплицируются в резервный контур в реальном времени, обеспечена возможностью выполнять запросы к данным реплики в резервном контуре
Вопросы и ответы
Да, Датафлот Репликация решает задачи импортозамещения. Наиболее распространенная задача в этой области – импортозамещение для решений Oracle Golden Gate
и аналогичных
и аналогичных
Более высокая, чем у конкурентов скорость обработки данных при значительно меньшей, чем у конкурентов нагрузке на системах источниках обеспечивается за счёт уникальных возможностей прямого парсинга журналов транзакций. Реализовано прямое чтение данных журналов на бинарном уровне без необходимости использовать API или движок самой СУБД источника
Установка компонент Датафлот на сервер-источник
не обязательна и является опциональной. Компоненты Датафлот могут быть установлены как непосредственно на сервер-источник, так и на выделенный сервер или даже на сервер-приемник. Необходимым условием при установке не на сервер-источник является обеспечение для парсера Датафлот доступа к журналам БД источника (копии журналов, монтирование через NFS, использование ASM и т.п.)
не обязательна и является опциональной. Компоненты Датафлот могут быть установлены как непосредственно на сервер-источник, так и на выделенный сервер или даже на сервер-приемник. Необходимым условием при установке не на сервер-источник является обеспечение для парсера Датафлот доступа к журналам БД источника (копии журналов, монтирование через NFS, использование ASM и т.п.)
Да, многопоточная загрузка изменений в приемник поддерживается, соответствующие настройки выполняются в панели управления решения.
Да, репликация изменений в структуре данных (DDL репликация) поддерживается для различных источников, в т.ч. и для PostgreSQL. Вы можете включать
и отключать поддержку репликации DDL отдельно
в различных проектах в зависимости от потребностей.
и отключать поддержку репликации DDL отдельно
в различных проектах в зависимости от потребностей.
DIS Group
Расскажем больше о продукте на консультации
Стоимость ПО рассчитывается индивидуально
Перезвоните мне
Мне интересно решение Датафлот
Я согласен с обработкой персональных данных
О компании
Разработка программного обеспечения в области репликации данных с использованием технологий: С++, Java, React.js, Typescript, Vite, SCSS, CSS Modules.
Компания ООО «Датафлот» предоставляет клиентам высокотехнологичное решение «Датафлот Репликация».
Компания ООО «Датафлот» предоставляет клиентам высокотехнологичное решение «Датафлот Репликация».
Разработчик ООО "Датафлот"
ИНН 9703136241
ОГРН 770301001
Адрес: 123022, город Москва, 2-Я Звенигородская ул, д. 13 стр. 37
ОКВЭД 62.01, 62.02.4, 62.02.9, 62.09, 63.11.1
Телефон: 8 (495) 645-02-01
Почта для связи: info@dis-group.ru
ИНН 9703136241
ОГРН 770301001
Адрес: 123022, город Москва, 2-Я Звенигородская ул, д. 13 стр. 37
ОКВЭД 62.01, 62.02.4, 62.02.9, 62.09, 63.11.1
Телефон: 8 (495) 645-02-01
Почта для связи: info@dis-group.ru
Документация Датафлота
– Вся документация о продукте на русском языке
– Руководство пользователя
– Информация для установки
Скачать – Руководство пользователя
– Информация для установки