Проблемы при переносе метаданных из ClickHouse в Каталог данных
Чаще всего пользователи общаются с этой проблемой со следующей формулировкой: "Я добавил(а) новую таблицу / поля в ClickHouse, но она не появилась в Каталоге данных"
Возможные причины проблемы:
- Пользователь внес изменения в ClickHouse и ожидает мгновенной загрузки данных в Каталог данных
- Пользователь указал некорректные учетные данные для подключения к ClickHouse при настройке инстанса ClickHouse в Каталоге данных
- Воркер исполняет синхронизацию более 1,5 часа.
- Воркер выполняющий перенос данных не был запущен по расписанию.
- У воркера возникли сетевые проблемы при подключении к одному из ключевых компонентов.
- Воркеру недоступен ClickHouse
- Воркеру недоступен Каталог данных
Устранение проблем и поиск причин
Перед началом поиска причин проблем необходимо уточнить:
- С каким инстансом ClickHouse, какой БД и какой таблицей возникла проблема.
- Уточнить работает ли инстанс ClickHouse
- Уточнить доступен ли интерфейс Каталог данных
Исходя из ответов пользователя возможно определить в чем именно заключается проблема. Далее будут разобраны самые часто встречающиеся кейсы исходя из причин.
Пользователь внес изменения в ClickHouse и ожидает мгновенной загрузки данных в Каталог данных
В этом случае необходимо ожидать до 1,5ч, процесс перемещения метаданных из ClickHouse в Каталог данных в платформу каждые инициируется каждый час и может занимать от 1 мин до нескольких часов в зависимости от количества полей и таблиц использующихся для платформы.
Пользователь указал некорректные учетные данные для подключения к ClickHouse при настройке инстанса ClickHouse в Каталоге данных
В этом случае необходимо проверить корректность введенных пользователем учетных данных, использующихся для подключения к ClickHouse. Необходимо проверить соответствующие значения в сущностях agg_rdbms_instance и agg_rdbms_db на предмет корректности данных, проверить что указанные учетные данные валидны, с этими учетными данными действительно можно подключиться к ClickHouse. Возможно пользователь ввел некорректные данные при создании сущностей инстанса или ДБ в Каталоге данных или учетные данные ClickHouse были изменены.
Воркер исполняет синхронизацию более 1,5 часа
Для диагностирования подобной ситуации вы можете изучить список запущенных на текущий момент задач, в случае если на текущий момент в kubernetes уже запущена одна задача metadataseed, то необходимо ожидать её завершения, вероятнее всего пользовательские данные отобразятся в Каталоге данных после её завершения. Необходимо принять во внимание, что время исполнения задачи может занимать различное время исполнения.
Не стоит запускать в ручную вторую задачу. Запуск воркера для работы в параллели не исправит ситуацию, только увеличит нагрузку на Каталог данных и ClickHouse, что в свою очередь приведет к увеличению времени обработки данных.
Воркер выполняющий перенос данных не был запущен по расписанию.
В случае если с момента внесения пользователем данных в ClickHouse прошло более 1,5 часа и
изменения не отображаются в интерфейсе системы
В этом случае необходимо понимание того включены ли cron-job запускающий синхронизацию.
Для этого вы можете воспользоваться любым средством визуализации kubernetes (прим.: Lens) или
воспользоваться консольными утилитами.
Вас интересует Cron-job в неймспейсе вашего инстанса формата:
*metadataseed*
Наименование контейнеров или подов может изменяться в зависимости от версии платформы или особенностей разворачивания платформы на вашем инстансе.
Именно данная задача отвечает за синхронизацию данных между Каталогом данных и ClickHouse. В случае если эта задача была приостановлена (suspend=true) необходимо её включить, убедившись что она является приостановленной не по ошибке и что сейчас не ведутся технические работы с платформой. В случае если по какой-то причине необходимо оперативно запустить синхронизацию, запустите выполнение этой задачи вручную.
Перед ручным запуском воркера убедитесь что на текущий момент экземпляр задачи созданной из cron-job не исполняется, чтобы избежать дублирования работы воркера. Запуск воркера для работы в параллели не исправит ситуацию, только увеличит нагрузку на Каталог данных и ClickHouse, что в свою очередь приведет к увеличению времени обработки данных.
У воркера возникли сетевые проблемы при подключении к одному из ключевых компонентов.
В случае если у воркера возникли проблемы при подключении к одному из его ключевых компонентов, в логе в Kibana вы обнаружите сообщения с level=50 у джобы metadataseed. В этом случае необходимо изучить текст ошибки и сделать вывод какой из компонентов системы Каталог данных или ClickHouse недоступны для воркера. В этом случае необходимо убедиться что Каталог данных или ClickHouse доступны и работают в штатном режиме, после чего обратиться к сетевому инженеру или администратору kubernetes кластера для проверки сетевой доступности компонента из пода воркера.