Современный бизнес требует высокой доступности данных. Традиционные пакетные подходы к интеграции данных становятся всё менее актуальными для современных требований систем и рынка, которым необходимо предоставлять и обрабатывать информацию в режиме, близком к реальному времени.

Change Data Capture (CDC), технология захвата изменений данных становится новым стандартом в построении современных архитектур управления данными.

Программный продукт Датафлот Репликация – российская CDC-платформа, зарегистрированная в Едином реестре отечественного ПО, которая позволяет организациям надежно применять современные подходы к работе с данными и перейти на них без существенных затрат на внедрение. Рассмотрим пять ключевых причин, почему переход на CDC-технологию с Датафлот Репликация выглядит верным и логичным решением, а также где репликация может способствовать усилению бизнеса прямо сейчас.

Традиционные ETL-конвейеры требуют сложных трансформаций, множества промежуточных этапов и значительных трудозатрат на разработку и сопровождение. Датафлот Репликация реализует подход EL (Extract-Load): данные извлекаются из источников и напрямую загружаются в целевые хранилища, минуя избыточные трансформационные слои.

В версии 2026.1 продукт получил поддержку Apache Iceberg в качестве приемника данных. Это означает, что Датафлот Репликация теперь может создавать копии данных в озёрах данных и озёрах-хранилищах (Data Lakehouse), что существенно расширяет возможности инструмента. Репликация может осуществляться из любых поддерживаемых источников данных, включая PostgreSQL и большого множества других реляционных СУБД.

Поддержка Iceberg, в дополнение к Parquet и текстовым файлам, закрепляет за Датафлот Репликацией статус решения для организации EL-конвейеров в реальном времени помимо основной функциональности по репликации данных между реляционными СУБД. В качестве типов хранилищ, используемых совместно с Iceberg, поддерживаются S3 и HDFS.

Ключевое преимущество: аналитики и инженеры данных получают возможность строить Zero-ETL-конвейеры, где данные из транзакционных систем непрерывно поступают в озеро данных без сложных промежуточных преобразований.

При этом Датафлот Репликация поддерживает работу с SCD (Slowly Changing Dimensions) - структурами, позволяя корректно отслеживать историю изменений измерений в аналитических слоях.

В большой степени бизнес больше не хочет ждать ночных загрузок данных для формирования отчётов из витрин, для аналитики и прикладных решений. Датафлот Репликация обеспечивает работу в режиме, близком к реальному времени (near real-time), но и также поддерживает пакетный режим.

Решение осуществляет мониторинг и захват изменений (CDC) в данных источников (и даже используя лишь логи базы данных, не имея доступа непосредственно к серверу баз данных), анализируя журналы транзакций СУБД, не вмешиваясь при этом в их структуру. Решение поддерживает подход, обеспечивающий минимальное воздействие на источники данных – исходную СУБД.

Что это даёт на практике:

Датафлот Репликация обеспечивает захват, маршрутизацию и доставку данных в режиме, близком к реальному времени, автоматически восстанавливаясь при сбоях.

Обеспечение отказоустойчивости и непрерывности бизнеса – один из ключевых приоритетов любой организации. Датафлот Репликация предоставляет возможности для построения DR-контура (Disaster Recovery).

В версии 2025.1 продукт получил поддержку Greenplum и его форков в качестве источника данных для создания онлайн-реплик. Это критически важно, поскольку Greenplum как MPP-платформа не имеет штатного инструмента для построения hot standby, и решение DR для Greenplum традиционно требовало сложных обходных путей.

Что немаловажно, решение выполняет репликацию на логическом уровне - это позволяет использовать различное количество сегментов в аналитической СУБД-источнике и аналитической СУБД-получателе. При построении DR-контура для Greenplum можно экономить ощутимые бюджеты на «железе» за счет упрощённого решения для резервного кластера.

Архитектурные сценарии, которые поддерживает Датафлот Репликация:

Решение поддерживает репликацию данных между различными СУБД, что критически важно в гетерогенных средах, где источники и приёмники могут работать на разных платформах.

Что важно, использование Датафлот Репликации может использоваться для целого ряда различных задач – от создания онлайн-копий систем и баз данных для формирования операционной отчётности со снижением нагрузки на системы-источники до обеспечения отказоустойчивости.

Современные стандарты управления и регулирования (включая требования Минцифры и отраслевые стандарты) формируют большой объем требований к управленческой и корпоративным операциям, в том числе финансовым (банки, финансовые институты, корпорации), логистическим и складским (что характерно для пищевой, фармацевтической, FMCG-отраслей, дистрибуторских и 3PL-компаний). Для соответствия этим требованиям необходим аудит изменений записей – для возможности трассировки, расследования инцидентов и аудита: финансового, операционного и технического.

Датафлот Репликация, работая непосредственно с источником на технологическом уровне базы данных (на основе CDC), фиксирует каждое изменение данных в источнике: вставки, обновления и удаления, включая изменения в структурах данных (DDL-уровень языка SQL). Это создаёт естественный аудиторский след, который может быть использован для:

Такая возможность достигается в Датафлот Репликации за счёт специального режима аудита данных, в том числе с применением SCD-структур данных: когда каждое изменение в исходных таблицах фиксируется в виде новой записи в получающей таблице аудита.

Одна из главных проблем современных организаций - дефицит инженерных ресурсов для построения конвейеров данных. Датафлот Репликация решает эту проблему через no-code подход.

История успеха: Проект Россельхозбанка по внедрению Датафлот Репликация был отмечен как проект года Global CIO в номинации «Решение на базе платформы low-code/no-code».

Решение обеспечивает возможность развития и масштабирования задач миграции и репликации данных заинтересованными бизнес-подразделениями в режиме самообслуживания, без привлечения технических специалистов.

Архитектор департамента больших данных РСХБ Владимир Зубков: «Бизнес-пользователи получили возможность развивать и масштабировать задачи миграции и репликации данных в режиме самообслуживания, без привлечения технических специалистов».

Переход на CDC-технологию Датафлот Репликации даёт организации решения и преимущества в целом ряде задач:

Датафлот Репликация – это ваш путь к данным, которые всегда актуальны, доступны и готовы к использованию.