Запуск Cleanroom

Cleanroom - это модуль ADCP, который позволяет исполнять обученные ранее модели на основе данных одного и более Партнеров в безопасной среде. Цель исполнения модели: как правило, получение пользовательского сегмента с указанными скор-баллами для проведения по этим пользователям рекламной коммуникации.

Функциональность модуля

1. Запуск сформированной модели в защищенной среде на группе матчинга. Группа матчинга может быть построена на данных нескольких партнеров.
2. Отладку сформированной модели при запуске в защищенном анклаве и просмотр логов исполнения.
3. Выгружать результат исполнения модели в защищенных анклавах в ClickHouse с учетом согласий клиентов.
4. Проводить модерацию объектов модели: Данных и Скриптов. Модерация проводится всеми участниками, чьи данные используются в модели.
5. Дополнять не прошедшую согласование модель альтернативными и более подходящими группами матчинга, чтобы запустить модель на больших датасетах.
6. Гарантирует исполнение модели в защищенной среде без доступа участников. Доступ предоставляется только к ограниченным по объему логам - 1024 символа вывода скрипта. И к данным выгруженным в хранилище ClickHouse, скор-баллы при этом проставляются только для тех клиентов, по которым есть согласия.

Предварительные условия

1. Создан проект.
2. Сформирована группа матчинга для проведения обучения и посчитан матчрейт по ней (допускается использование на данных нескольких компаний).
3. Были запрошены данные для обучения модели.
4. Проведено обучение python модели на виртуальной машине.
5. Подготовлен скрипт для запуска модели в анклаве.

Создание Модели

Данная функциональность доступна для роли датасаентист. Новую Модель можно создать с момента запроса на данные у Партнера.

1. Зайдите в созданный ранее проект.

2. Перейдите во вкладку “Модели”.

   

3. По умолчанию данный раздел будет пустой. Для того чтобы создать новую модель, нажмите на иконку “+” в правой части экрана.

   

4. В появившемся окне введите следующие данные (все поля являются обязательными для заполнения):

• Название модели (1 на рисунке ниже),

  • Выберите необходимую периодичность (2 на рисунке ниже),

  • если вы выбрали добавление нового скрипта (3 на рисунке ниже), укажите его название (4 на рисунке ниже);

  • при необходимости, включите "Расширенную выгрузку данных", передвинув ползунок вправо (5 на рисунке ниже). Данный флаг задается единожды при создании скрипта без возможности дальнейших изменений;

  • в выпадающем списке выберите репозиторий (6 на рисунке ниже). К выбору будут доступны все репозитории в рамках инстанса на виртуальной машине;

  • в выпадающем списке выберите витрину данных (7 на рисунке ниже). Датасет должен быть прикреплен к выбранному проекту.

  • если вы хотите добавить в Модель ранее созданный в рамках другой модели этого же проекта скрипт, поставьте точку рядом с “Выбрать из списка” (1 на рисунке ниже). При привязке существующего скрипта, создается его дубль.

  • в выпадающем списке выберите созданный ранее скрипт (2 на рисунке ниже). Экземпляр скрипта будет скопирован в новую модель. Если скрипт был согласован, то результат согласования будет скопирован в новую модель. Если нет, то согласование пойдет отдельно при отправке модели на согласование.

  • в выпадающем списке выберите витрину данных (3 на рисунке ниже)

5. После внесения всей необходимой информации, нажмите кнопку “Добавить”.

   

6. Созданная модель будет иметь статус “Новая” (черная стрелка на рисунке ниже). В правой части можно будет ознакомиться с основной информацией (синяя стрелка на рисунке ниже):

   1. Пользователь, создавший модель
   2. Дата создания/Дата изменения модели
   3. Перечень партнеров данных, чьи данные используются в модели
   4. Название репозитория
   5. Название ветки/Тега
   6. Название запускаемого файла скрипта
   7. Витрина данных, на которой будет происходить запуск модели

   

Редактирование модели

Редактирование модели доступно на статусах “Новая” и “Отладка”.

1. Для того чтобы отредактировать модель, нажмите на иконку “Карандаш”.

   

2. В появившемся окне вы можете отредактировать данные модели, в том числе:

   • поменять ветку (1 на рисунке ниже),
   • изменить файл запуска, который необходимо запустить на виртуальной машине (2 на рисунке ниже).
   • также вы можете выбрать из выпадающего списка тег, при выборе “Тег” вместо “Ветка”.

Для сохранения внесенных данных нажмите кнопку “Сохранить” (3 на рисунке ниже).

Запуск отладки

После успешного создания модели, датасаентист запускает отладку модели, чтобы проверить насколько она рабочая.

Группа и Скрипт необязательно должны иметь одобрение Партнера.

1. Для запуска отладки, нажмите на иконку “Жук”.

   

2. После запуска отладки, статус Модели поменяется с “Новая” на “Отладка”.

3. Ниже можно ознакомиться с информацией о всех произведенных запусках отладки, такой как:

   • Статус отладки (цифра 1 на рисунке ниже)
   • Дата запуска отладки (цифра 2 на рисунке ниже)
   • Данные сотрудника, запустившего отладку (цифра 3 на рисунке ниже)
   • Номер витрины данных (цифра 4 на рисунке ниже)

   

4. При необходимости можно отредактировать модель.

note

При запуске модели алгоритм матчинга запускается заново, чтобы избежать обработки скриптом неактуальных данных.

Более подробное описание алгоритма матчинга описано в разделе Матчинг

Модерация модели

1. После успешного прохождения отладки, датасаентист меняет статус модели на “Готова к модерации”. Для этого необходимо изменить статус в выпадающем окне. После перехода в данный статус нельзя менять скрипт и группу.

   

2. После того как датасаентист изменит статус модели на “Готова к модерации”, об этом придет оповещение Тимлиду, указанному в проекте.

3. Тимлид заходит в проект, изучает информацию о проекте и модели. Тимлид принимает решение можно ли передавать модель на модерацию выбранным участникам проекта.

4. Если при создании модели был создан новый скрипт и/или не согласована группа, то отправятся запросы на согласование. Для того чтобы отправить модель на модерацию участникам проекта, нажмите на иконку “Самолет”. Подробнее о модерации скрипта описано ниже.

   

5. Если скрипты и группы были ранее согласованы, то дополнительное согласование не потребуется. Модель перейдет в статус “Одобрена”.

   

Модерация скрипта

Запросы на данные проходят модерацию в разрезе проекта, в зависимости от того данные какого Партнера были в нем использованы. Модерацию скрипта проводит Владелец данных.

1. Для модерации запроса перейдите в раздел “Маркетплейс Запросы:Входящие” (стрелка на рисунке ниже).

   

2. Перейдите во вкладку “Скрипты”.

   

3. Для переключения между входящими и исходящими скриптами вы можете использовать фильтр. Для этого в выпадающем окне выберите соответствующее значение.

   

4. Модерацию запроса, можно выполнить двумя способами:

• На странице просмотра запросов.

  • Для этого скачайте сформированный архив, который содержит список всех файлов запускаемого скрипта.

    

  • После просмотра основной информации в скачанном файле, вы можете одобрить данный скрипт, нажав на иконку “V” (цифра 1 на рисунке ниже), либо отклонить его, нажав на иконку “Х” (цифра 2 на рисунке ниже) ****в конце строки.

    

• В окне просмотра подробной информации.

  • Кликните на название скрипта.

  • В открывшемся окне скачайте архив, нажав на кнопку “Скачать исходники” (1 на рисунке ниже).

  • После ознакомления с архивом и согласием приложенного скрипта с использованием ваших данных, вы можете нажать на кнопку “Одобрить заявку” (2 на рисунке ниже).

  • Нажмите на кнопку “Отклонить заявку”, если вас не устраивает информация о скрипте (3 на рисунке ниже).

    

Настройка запуска модели по расписанию

В рамках платформы реализована возможность запуска модели по расписанию. Этот функционал позволяет запускать исполнение согласно указанному в модели расписанию. Расписание возможно задать или изменить на любом этапе жизни модели. Редактирование и назначение расписания доступно только пользователям с ролью "Тимлид".

Для того чтобы настроить исполнение модели по расписанию пользователю с ролью "Тимлид" необходимо:

1. Открыть окно редактирования модели или создать новую модель пользователем с ролью "Тимлид"

   

2. Назначить соответствующее расписание запуска модели

   

3. Сохранить свои изменения.

   

В случаях, если у модели не задано расписание на момент отправки на модерацию, система автоматически предложит Тимлиду задать расписание перед отправкой на модерацию.

Варианты расписаний

Система поддерживает 4 типа расписаний:

Вручную

Эта опция предназначена для случаев, когда модель необходимо запускать только вручную. При использовании этой опции, запуск модели возможен только вручную через интерфейс системы.

Ежедневно

Эта опция предназначена для запуска модели каждый день в определенное время. При использовании этой опции возможно выбрать:

1. Время, в которое модель должна начать исполнение

2. Даты действия расписания - даты, в рамках которых модель будет запускаться в указанное время

   

По дням недели

Эта опция предназначена для запуска модели в определенные дни недели. При использовании опции возможно выбрать:

1. Время, в которое модель должна начать исполнение

2. Даты действия расписания - даты, в рамках которых модель будет запускаться в указанное время

3. Дни недели, в которые необходимо исполнять модель

   

Ежемесячно

Эта опция предназначена для запуска модели в определенные дни месяца. При использовании опции возможно выбрать:

1. Время, в которое модель должна начать исполнение

2. Даты действия расписания - даты в рамках которых модель будет запускаться в указанное время

3. Число месяца, в которое необходимо запустить модель

   

Конкурентный запуск модели

Система поддерживает возможность исполнения только одного запуска в единицу времени. В случае, если ваша модель будет исполняется, то есть находится в статусах: "В очереди", "Исполняется", в момент очередного запуска этой же модели, новый запуск будет проигнорирован.

Например: Расписание настроено таки образом, что модель исполняется ежедневно в 12:00. 1-го августа модель была запущенна по расписанию и её исполнение не было завершено до 12:00 2-го августа. Второй раз эта модель не будет запущенна, поскольку все еще исполняется. К 12:00 3-го августа запуск от 1-го августа был завершен, соответственно в этом случае модель будет запущена.

Доступные действия для модели в статусе “Одобрена”

Запуск модели

После того как модель переходит в статус “Одобрена” ее невозможно отредактировать в части используемого датасета и скрипта.

Данную модель можно запустить в продакшн режиме, для этого нажмите на иконку “Play”. Данное действие доступно только тимлиду из списка участников проекта.

В результате данного действия будет произведена выгрузка в ClickHouse инстанса Партнера, данные которого запрашивались, будет создана новая таблица с данными с атрибутами матчинга и скорбаллами. Скорбалл будет проставлен только для тех пользователей, по которым есть согласие хотя бы в одном датасете.

note

Если есть активные запуски, кнопка запуска модели скрывается.

При запуске модели алгоритм матчинга запускается заново, чтобы избежать обработки скриптом не актуальных данных.

Более подробное описание алгоритма матчинга описано в разделе Матчинг

caution

При каждом запуске модели CleanRoom запрос данных из витрины данных осуществляется повторно.

Изменение расписания модели

После того, как модель будет согласована всеми участниками обмена данных, может быть настроен запуск модели по расписанию. В случае, если на момент согласования у модели уже заданно расписание, модель начнет свое исполнение согласно расписанию.

Процесс исполнения модели при прод запуске