Перейти к основному содержимому
Версия: Next

Синхронизация данных между ClickHouse и Каталогом данных

Для того чтобы в рамках Каталога данных была возможность публиковать данные, необходимо синхронизировать метаданные между Каталогом данных и ClickHouse, чтобы платформа имела представление о данных, с которыми необходимо работать.

Для корректной работы ADCP необходимо, чтобы была синхронизирована информация о:

  • Инстансе, на котором расположена БД,
  • Базе данных (БД),
  • Таблицах БД,
  • Полях таблиц.

В рамках ADCP, инстансы, БД, таблицы и поля синхронизируются автоматически, при корректно указанных данных об инстансе и БД. Процесс синхронизации при поставке системы, по умолчанию, выполняется каждые 30 мин (периодичность может быть изменена вашим системным администратором). Процесс синхронизации может занимать в среднем от 1 до 30 мин, в зависимости от количества таблиц и их полей.

Для синхронизации метаданных не обязательно загружать все данные в ClickHouse, достаточно чтобы в ClickHouse были добавлены таблицы и поля. В случаях если вы знаете какая будет структура данных в ClickHouse, но еще не успели подготовить алгоритм загрузки данных, вы можете создать пустые таблицы для продолжения работы

Синхронизация инстансов и БД​

Обновление информации по подключению к иинстансам и БД осуществляется Администратором системы, в случаях если вам необходимо добавить новый инстанс ClickHouse или добавить новую БД обратитесь к вашему системному администратору. При корректных настройках подключения, синхронизация данных происходит каждые 30 минут автоматичски.

Синхронизация таблиц и полей​

Вся информация о таблицах и полях будет синхронизирована автоматически, в течение часа. ADCP автоматически подключится к ClickHouse и получит необходимую служебную информацию, в частности, будут созданы сущности таблиц и полей, в соответствии с данными в ClickHouse.

Все синхронизированные поля и таблицы вы можете увидеть на вкладке "Таблицы" раздела "Каталог данных".

Для этого в левой части экрана выберите раздел "Каталог данных".

Untitled

Перейдите во вкладку "Таблицы".

Untitled

Чтобы найти необходимую таблицу, воспользуйтесь полем "Поиск" или выберите из спиcка.

Untitled

Нажмите на название таблицы, чтобы просмотреть подробную информацию.

Untitled

Для редактирования бизнес-терминов, привязанных к полям таблицы, нажмите на иконку "Карандаш" напротив поля.

Untitled

В поле "Поиск" (1 на рисунке ниже) введите название искомого бизнес-термина, выберите необходимое значение (2 на рисунке ниже). После этого нажмите кнопку "Применить" (3 на рисунке ниже). Для закрытия окна, нажмите на иконку "Крестик" (4 на рисунке ниже).

Untitled

caution

При изменении привязанных к полям таблицы бизнес-терминов, эти изменения затронут все датасеты, которые используют данную таблицу в качестве источника данных. Изменения отобразятся в каталоге данных сразу после нажатия на кнопку "Применить".

Изменения в маркетплейсе появятся после очередной синхронизации данных, приблизительно через час.

Редактирование данных в ClickHouse

В рамках своей работы вы можете изменять состав таблиц и полей в вашем ClickHouse, а также изменять данные о самих инстансах и БД.

Для поддержки изменений в БД предусмотрены следующие механизмы:

Изменения таблицы​

  1. При добавлении новой таблицы в уже существующую БД в рамках ClickHouse, система автоматически распознает, что в вашем ClickHouse появилась новая таблица и добавит её в Каталог данных при ближайшем цикле синхронизации.

  2. При редактировании имени таблицы которая уже была синхронизирована в Каталог данных, при ближайшей синхронизации, таблица со старым наименованием и все её поля будут удалены и будет создана новая таблица с новым наименованием и теми же полями. В рамках ADCP это будет уже новая таблица, без присвоенных к её полям бизнес-терминов и связанных наборов данных.

  3. При удалении таблицы из ClickHouse при ближайшем цикле синхронизации удаленная таблица и её поля будут удаленны из Каталога данных, дальнейшая работа с ними в рамках ADCP.

  4. При создании таблицы с таким же именем, как и ранее удаленная таблица, будет создана новая таблица, ранее удаленная будет также оставаться удаленной.

  5. При изменении данных в таблице, добавлении или удалении строк, система автоматически изменит количество строк в Каталоге данных при ближайшей синхронизации.

Изменения полей таблицы​

  1. При добавлении нового поля в таблицу в ClickHouse, которая уже была синхронизирована в Каталог данных, при ближайшей синхронизации поле будет добавлено автоматически в Каталог данных.

  2. При удалении поля из таблицы ClickHouse, которое уже было синхронизировано, система автоматически удалит поле, дальнейшая работа с такими полями в рамках ADCP будет невозможна.

  3. При создании поля с таким же именем, как и ранее удаленное поле. Поле появится в описании таблицы, но бизнес-термин не будет привязан.

  4. При изменении типа поля в таблице в ClickHouse, которое уже было синхронизировано в Каталог данных, система автоматически создаст новое поле.