Современный бизнес требует высокой доступности данных. Традиционные пакетные подходы к интеграции данных становятся всё менее актуальными для систем и рынка, которым необходимо предоставлять и обрабатывать информацию в режиме, близком к реальному времени.
Change Data Capture (CDC) — технология захвата изменений данных — становится новым стандартом в построении современных архитектур управления данными.
Датафлот Репликация — российская CDC-платформа, зарегистрированная в Едином реестре отечественного ПО, которая позволяет организациям применять современные подходы к работе с данными без существенных затрат на внедрение.
Рассмотрим пять ключевых причин перехода на CDC-технологию и задачи, в которых репликация может усилить бизнес уже сейчас.
Zero-ETL и наполнение Data Lakehouse
Традиционные ETL-конвейеры требуют сложных трансформаций, множества промежуточных этапов и значительных трудозатрат на разработку и сопровождение. Датафлот Репликация реализует подход EL (Extract-Load): данные извлекаются из источников и напрямую загружаются в целевые хранилища, минуя избыточные трансформационные слои.
В версии 2026.1 продукт получил поддержку Apache Iceberg в качестве приемника данных. Датафлот Репликация теперь может создавать копии данных в озёрах данных и Data Lakehouse из поддерживаемых источников, включая PostgreSQL и другие реляционные СУБД.
При этом Датафлот Репликация поддерживает работу с SCD (Slowly Changing Dimensions), позволяя корректно отслеживать историю изменений измерений в аналитических слоях.
Переход с пакетной аналитики на Near Real-Time аналитику
Бизнес всё меньше готов ждать ночных загрузок для формирования отчётов и прикладных решений. Датафлот Репликация обеспечивает работу в режиме, близком к реальному времени (near real-time), сохраняя поддержку пакетного режима.
Решение осуществляет мониторинг и захват изменений (CDC), анализируя журналы транзакций СУБД и не вмешиваясь в структуру источника. Это позволяет минимизировать воздействие на исходную СУБД.
Что это даёт на практике
Отчёты строятся на свежих данных, а не на вчерашних срезах.
Бизнес-пользователи видят изменения практически в момент их возникновения.
Можно строить дашборды и прикладные системы реального времени.
Disaster Recovery для OLTP и аналитических баз данных
Обеспечение отказоустойчивости и непрерывности бизнеса — один из ключевых приоритетов любой организации. Датафлот Репликация предоставляет возможности для построения DR-контура (Disaster Recovery).
В версии 2025.1 продукт получил поддержку Greenplum и его форков в качестве источника данных для создания онлайн-реплик. Это особенно важно, поскольку Greenplum как MPP-платформа не имеет штатного инструмента для построения hot standby.
Репликация выполняется на логическом уровне, поэтому аналитическая СУБД-источник и СУБД-получатель могут иметь различное количество сегментов. Это позволяет упростить резервный кластер и сократить затраты на инфраструктуру.
Поддерживаемые архитектурные сценарии
- Active-Passive: создание горячей реплики для быстрого переключения при сбое.
- Active-Active: синхронизация между географически распределёнными центрами обработки данных.
Решение поддерживает репликацию между различными СУБД, что важно для гетерогенных сред. Репликация также может использоваться для создания онлайн-копий систем, операционной отчётности со снижением нагрузки на источники и других задач отказоустойчивости.
Репликация для трассировки и аудита записей
Современные стандарты управления и регулирования формируют широкий набор требований к управленческим и корпоративным операциям. Для соответствия этим требованиям необходим аудит изменений записей — для трассировки, расследования инцидентов и финансового, операционного и технического аудита.
Датафлот Репликация, работая с источником на технологическом уровне базы данных на основе CDC, фиксирует каждое изменение: вставки, обновления и удаления, включая изменения структур данных на DDL-уровне.
Такой аудиторский след позволяет
- Проверять целостность данных и выявлять несанкционированные изменения.
- Восстанавливать историю изменений записей за необходимый период.
- Обеспечивать прозрачность операций с данными для выполнения регуляторных требований.
Самообслуживание для аналитиков и дата-сайентистов
Одна из главных проблем современных организаций — дефицит инженерных ресурсов для построения конвейеров данных. Датафлот Репликация решает эту проблему через no-code подход.
История успеха: проект Россельхозбанка по внедрению Датафлот Репликация был отмечен как проект года Global CIO в номинации «Решение на базе платформы low-code/no-code».
Решение позволяет заинтересованным бизнес-подразделениям развивать и масштабировать задачи миграции и репликации данных в режиме самообслуживания без постоянного привлечения технических специалистов.
Самостоятельно настраивают репликацию необходимых данных без участия разработчиков.
Получают быстрый доступ к свежим данным для построения моделей.
Инфраструктурные задачи могут сокращаться с месяцев до часов.
«Бизнес-пользователи получили возможность развивать и масштабировать задачи миграции и репликации данных в режиме самообслуживания, без привлечения технических специалистов».
Владимир Зубков, архитектор департамента больших данных РСХБ
Что получает организация при переходе на CDC
Zero-ETL-конвейеры в Data Lakehouse с поддержкой Iceberg и SCD.
Near real-time аналитика и более быстрое принятие решений.
DR-контуры для OLTP и аналитических систем.
Встроенный аудит изменений и трассируемость данных.
Самообслуживание аналитиков и дата-сайентистов.
Данные всегда актуальны, доступны и готовы к использованию
Обсудите с экспертом, как Датафлот Репликация может использоваться в вашей архитектуре данных: от Zero-ETL и Near Real-Time аналитики до DR и аудита.
Связаться с экспертом