Просмотр истории обращений к данным

История обращения к данным фиксируется при обращении: с инстанса Провайдера к данным своим и данным партнеров.

Принцип формирования записей представлен по ссылке.

Просмотр истории доступен с инстанса только по своим запросам на данные или по запросам своих данных.

Типы событий:

• cleanroom - запуск модели в режиме дебаг и прод режиме
• matching - матчинг по витринам
• upload - загрузка на VM

Для просмотра истории в интерфейсе системы: Необходимо перейти в Маркетплейс - Мои датасеты - Операции с данными. Подробнее в инструкции.

Для каждого действия “Матчинг”, Исполнение модели и Выгрузка на VM может быть более одного обращения в BC, т.к. ввиду особенностей алгоритма матчинга данные запрашиваются:

• Скачивание базового датасета
• Скачивание датасета провайдера
• Скачивание датасета провайдера с учетом согласий
• Скачивание датасета партнера с учетом согласий.

Поиск сообщений происходит в целом по всем сообщениям с типом Обращение к данным. Поэтому следует просматривать сообщения сразу после выполнения операции через интерфейс. Т.к. там могут оказаться как операции матчинга, так и операции выгрузки на VM или исполнения модели. Операции по проверке сообщений аналогичны для каждого типа взаимодействия. Общий порядок проверки: Провести операцию, которая предполагает запрос данных в интерфейсе, получить сообщения из BC для проверки пришедших сообщений. Описание получения сообщений для операций описано ниже.

note

В расшифрованных сообщениях о запросах на данные в ProvidedBy указывается чьи данные запрошены ProvidedTo - кто запросил данные. Такое представление связано с тем, что информация передается из токена доступа к данным. А в токене записывается Кто предоставил Кому.

1. Операция матчинга

1.1. В системе на стороне Провайдера

1. Выполнить матчинг для витрины данных в интерфейсе системы согласно инструкции.

2. Проверить идентификаторы датасетов используемых в витрине. Для этого кликнуть на название датасета при просмотре витрины и в открывшемся окне информации о датасете зафиксировать его идентификатор.

   

3. Аналогичную операцию по получению идентификатора датасета выполнить для датасета партнера.

1.2. В BC на стороне Провайдера

1. Получить идентификатор сообщения о матчинге Провайдера к самому себе. bash search-messages.sh 7 id_компании_провайдера id_компании_провайдера количество сообщений

   Зашифрованное сообщение:

     "id": 755415,
           "message": {
             "topic": 7,
             "sender": "dajwbgctmzxr",
             "receiver": "dajwbgctmzxr",
             "data": "{\"encryption\":\"rsa4096+aes256cbc\",\"message\":\"Xw2npNimFXCMixHpBPE3V1uaT+Bv4dFkyBtQnleOe304FN2KALKxPnEBramRN5YlmxRKsnqdknZ2nlKTLa8HQ2m0hbj7Ll7W8HtWmQXE7OIRsNfFS9WDwtzJR2i83CDo1GroF28ZkCVkB73Tp1dDJKkFKu23rC3uP6bTGVd1ajJHpIWfUArW8D26vfao4gZmOWc12sIMochG9GzOxRf6qCxhdlElwDhxIdyJyMVcs5a4BbIxRXcFPjytASwqElI5\",\"masterKey\":\"CDiYWqcFvVvB5Ugr0mf969ExMoCnwTAjICE3zs2De+2RhT36TNFhM7f8KxQnc5RDZc/SfHjQZt5CGaPv5bWyaIDTxxYFtc+bguZTByLbjgxegJYkEtQpWlkcHDqVHNOVptv+bEiRwbX7OfjUDNi2HWUHxtRThzwMpoNO28y0f3DVBLAfRzsJ2JpQ3OUq13NWNqoo9qqUm3LTpxjJgx1xczrWmRRKaczdWB8p0dD4l0DEL4/G1UO1dSX7UcLBzGdzRP6dq+5we6DbT+TYtYYbAeGptHnkVLxHqzzDuffJB3LsKxK7a1RmW8WYcfQ2Job1J9Ph3N4VvGIEqVBPRSiRaPGPRgEY0LrJNzUh2aIXtPIVjdtb/p5q1KCeiMspO2tls9KKkcM2UqD0r0cr9sxQfi/+W+6r+1Nqv3t6TvFrZilhR/mGilR96EHuz3SPXGVK7MBkeJx+Ij9qiFwNmCgK3jy7CojHxTJYeR01bA8MRmJPFsNZpABQrdKxoqvNqN18c8QsQg22ew6Tr2eQgnJhNLo0fEmh2IuhhowoHERwOk6Dly+ZSdd6UszQHud1LlfMcX8bu78N+fXALTlmPlrCkE1EYSat+KW0kTzHeF3zFC0yh3QPR5Et3HjmmGx4gAPefeHDwlfQr8fQGfX9WWpz9nChtDlAt1R9LDhlQ9j5Bjw=\"}"

2. Расшифровать ответ: bash decrypt-message.sh id_сообщения. В ответе тип взаимодействия должен быть matching и время взаимодействия примерно совпадать. Если нет, то сообщение было найдено некорректно и следует провести поиск по более поздним идентификаторам. В ответе необходимо сверить идентификатор датасета провайдера.

   Формат ответа:

       {
       "_id": "6361177ac7770e001215dfc0",
       "dataset": "41sqvg2csw4h",
       "operation": "matching",
       "providedBy": "dajwbgctmzxr",
       "providedTo": "dajwbgctmzxr",
       "downloadedAt": "2022-11-01T12:56:26.485Z"
       }

3. Чтение сообщений об использовании данных партнера: Получить идентификатор сообщения о матчинге Провайдера к самому себе. bash search-messages.sh 7 id_компании_партнера id_компании_провайдера количество записей Зашифрованное сообщение:

     "id": 755417,
           "message": {
             "topic": 7,
             "sender": "3rooa5jcqxbj",
             "receiver": "dajwbgctmzxr",
             "data": "{\"encryption\":\"rsa4096+aes256cbc\",\"message\":\"7E10UEZtc5SwDqS6AVtPaH836lJn3REcaZeI/d+IvPvxBtBYjcZEHcXTuPw+VbMWzBz/mO1hdtzGXgU5LhJgIKj0609af/X2VIOxomZmdomNtrqSs+WJiu6T08nbtLwTZwef6fPuRtYhlvD2NN25kr2jULy+CyaaxrtSfY10sRdxJa+2fXrDtBfdivFVjqVW6wOdWSTX/bF/i6cnGNrlr+0S+NKMD7MVW4G6Pu5vM65N8g5DoWlMQEil9ZF8TjnU\",\"masterKey\":\"Af/dukGg+LeWhsmr/b2zFKLtTi7aPJ9NrplxDuvb0jmkWF3xO186yScmGhTfM5MVMBfqfrilFcbAuNK6lq/c0bvqy0xDRlbcqIRL1N46zdXXY1jaPJUcJybO+IzlJJKTXiUFJJ4A8hjeqwvYwsn2QOYGu2MaFE+IwW5fLqZzuslosjzDvIyZETtcAckvgqf5jfF3KzE4Q3fUMXx1y93H9ROnWEyiucQSEVMi9I+ZZ9+vi6oNOGvi7Ken24sdUFV7jTT7nh1w2t8FACRB+Z7B2Pp0kub9GpTNNmK3gazyPAkyDdQnprDbWobGK/PkuZBlIOLSu/m5HQ4+MLBAIoPrK5dbrHAVY24ilGb/8bww6DyMYHdKL3DHW3x1rB64oHX+Qjoemok0A34JFC3PdXhE/jFt1qIg4S1OyJkhgrgw/i8/i4aG7GvHGA801yVNoOi3pKsFVFDkyCOUYSyRnLrHkmA4/1T7DT3jnx52DRaiEkCjExg4FHdMzYChjZh1tY0F8gjb6b2NzFV3u1lnDJOxKRwY2nt+sabS+CFtohWZYJOcVgojLaZvLVZkOOuLVnx5XpDZSSYlgNovAYHVOmpwOswUEyHCdCmkIPXcXzYWQNY4HDhHsA5v7KEHLgNqvoQ8UZc4Q4YABx2Xeof1C2FArOI+fGzBftVeeQ2Xft/q3oU=\"}"
   

4. Расшифровать ответ: bash decrypt-message.sh id_сообщения. В ответе тип взаимодействия должен быть matching и время взаимодействия примерно совпадать. Если нет, то сообщение было найдено некорректно и следует провести поиск по более поздним идентификаторам. В ответе необходимо сверить идентификатор датасета партнера.

   Формат ответа:

     {
       "_id": "63611786ab0a190012f0205e",
       "dataset": "cv2stmle1ilc",
       "operation": "matching",
       "providedBy": "dajwbgctmzxr",
       "providedTo": "3rooa5jcqxbj",
       "downloadedAt": "2022-11-01T12:56:38.625Z"
     }

2. Операция выгрузки на VM

2.1 В системе на стороне Провайдера

1. Выполнить выгрузку на VM для витрины данных в интерфейсе системы согласно инструкции.

2. Перейти в раздел “Витрины данных” и проверить идентификаторы датасетов используемых в витрине. Для этого кликнуть на название датасета при просмотре витрины и в открывшемся окне информации о датасете зафиксировать его идентификатор.

   

3. Аналогичную операцию по получению идентификатора датасета выполнить для датасета партнера.

2.2 В BC на стороне Провайдера

1. Получить идентификатор сообщения о выгрузке на VM Провайдера к самому себе.bash search-messages.sh topic:7 id_компании_провайдера id_компании_провайдера количество_сообщений

   Пример сообщения:

     "id": 755392,
           "message": {
             "topic": 7,
             "sender": "dajwbgctmzxr",
             "receiver": "dajwbgctmzxr",
             "data": "{\"encryption\":\"rsa4096+aes256cbc\",\"message\":\"6hcY6ZTwolcdIhqfKdZiMfikMLXcXannoBzwg+nG37I3Q7/Hz28jIauu2aCfzPZ8rIPgaYDJDv08hzzDSqx+OGoWq/9VpKu0wkvxK/63bPR1wORZ96BjL7VI6fVBnyVL0BTyO/MnZ7SxlvCURvWsBky1cHf3YAwv/e6TmF4RtQsm5wd4QKkVjd9cLU3CmHScGMyi/tS0rdZ87+2Ers6aJLxrvsooVsLBBNLpistDzEJs9ETlFCisZQQ/bBzL/bI2qARJhmJZd5hdGjJuDe+ot/nWWdezowbNdPmLW3CFlLFzsv4rhWd/36eVSmfKBBJvpaEIl2C08uINCaZmbAjKt61h4QqTIonDRSndmKhoQ1k=\",\"masterKey\":\"CTpuc3ISejlwLJr7/+kLSU+RJL8FftBnVGm2jvef0QZCrwU685735HDewEqYGZvR30MTFMKNtrY2v4/ifTMKV7ZTjYq39KHnvCgx/yta24Xt9MlF/zaTaBWmu2O/qtFa6lfjAynVsgTlmAofL5mWD4jJEb4qX5Kc4le/eA9fCPoAxalFQV8GgQLE5bzXYz1+TZg7ljaxbUz15X2X0HVfQe09rmmG5Oqy/aY71T6cK5rojWnFatoPeqeNrvKKKK4+ZYGj3YarTAalSPNlZizvkKOm6pSwyymMnc48X+RJjOGpe7QJBojS/odIJI00VRiSe84gbZqHjSwMxFDZt9WvvrrVUJqBDYd0BDwbq7DtVvZaUzBPI1AaA1Vt+RtgzMrX3Mw+ZStO4Crz4sxy87cCXvSdDjQ8LFUsrjQ5hdeYG/mRGyrDX6zkiMVlnyx8/36KEols+mqIFEh+BiiKWbQVu+thFtSnXZDYGcaFhe9aeruGjDfrz1hkM0whdEZRzoQX53qA5bnQE8FmXhE5ty74ZEZ2h1svfR3qpOHI8N63MM9vDL7QIe9w4xMdEUvoQCDZOm5g9JJH5spQd7/2xKt22RZ4UEkDoHbylhitPd9Bks5/BFvgB4zxBILRfOZpN9tUSuYIh4OoIQf8uW5pKxC/sRw/QD/rRVn0vigh/aMt/fY=\"}"

2. Расшифровать ответ: bash decrypt-message.sh id_сообщения. В ответе тип взаимодействия должен быть upload и время взаимодействия примерно совпадать. Если нет, то сообщение было найдено некорректно и следует провести поиск по более поздним идентификаторам. Для этого необходимо в предыдущем пункте, при поиске сообщений, указать количество выводимых сообщений более 1. В ответе необходимо сверить идентификатор датасета провайдера.

   Формат ответа:

     {
       "_id": "636100c0c7770e001215ce91",
       "dataset": "41sqvg2csw4h",
       "project": "635fb5327978d800199096b4",
       "operation": "upload",
       "businessGoal": "Some reason for bc test",
       "providedBy": "dajwbgctmzxr",
       "providedTo": "dajwbgctmzxr",
       "downloadedAt": "2022-11-01T11:19:28.664Z"
     }

3. Чтение сообщений об использовании данных партнера: Получить идентификатор сообщения о матчинге Провайдера к самому себе. bash search-messages.sh topic:7 id_компании_партнера id_компании_провайдера количество сообщений

   Зашифрованное сообщение:

        "id": 755393,
           "message": {
             "topic": 7,
             "sender": "3rooa5jcqxbj",
             "receiver": "dajwbgctmzxr",
             "data": "{\"encryption\":\"rsa4096+aes256cbc\",\"message\":\"5i91OI0oCBBWq/Iss4aOcvxXQkNopYEJmVh7DRemPC9ywEQcrXQ2MfmvayIokgAR040e4ZuyHy/KCnmxAFL+HKnZP8r7rHgm5u8D4PC5K83yOEYLOyNhfIrNrc/S/blBaJxF/ff5uEu5dlCPCWyWS8MEOwORwujzUIhZ7rYcLvucUzvjenFoF4mezdXlmws14fasg+eJ4x9XQVEPKxnQ9q6T0mG1tYZHyebR5L30r5K26kbjs8EYtzmL3nR9vW1UmWm4rZxccPVXMygNHRAhPMO94pcnHptlszSPNWv6NywMPTdohaLoh4mkPt9kVplUHeNsxKnkULhvJGbuk9dRUAFQYleycVapwkEI5IzrA7U=\",\"masterKey\":\"AtisF2reMJK1MFpUTJwoD8oAPrqyQGLyzKEv6fvVi4w2ZcEofPLC+EZWiz1GUPJBxtYLAWRnn737lzwOj7FLg5juLZsCCdgraBK8NCAj1NXhmdM8BffXUfwJh6nMVtGBiW/XESA9I0VOyhSKssTVKDZ4KLTYBtvUiOpmkh8ZM9KeN/UlEAa8GmGyzD+br5xLS/AkCQoOm4d3Ix/dImyUaE63BVivfNjRnaLSzWj72JF1ycp7A0NSa5rLCA+AJ6WCAWaYdPGB1lGhcUrzYhTI/oaA+qOcag+nVvD72qI0hwbhSjod9Qg0cZ8UlSS4fBspm2qkGnpZWU8ZVokOkIB6DnEeOFwM9hT/osTb6VGoD/ScRF1w1CTPCcxgVK8CjHM+hYfDsCdIpGI+ebkcuQcoBUc65nbNIBU0AHdVJXGaQX+Z5U1B78nK+8hLa9mEPxl4+wlwPVvsGCupn3dWex/4KUVMvvOXLClCx58Naa02sYD1kcAqZPkuv4fFAgyErxZ4yAAriT7m1fJTaJ+krEgXfReUm8kIGcnJrwDf46V0MhbiFKS8cNUj3IKjjbbGOMDNsM7KXuMYCvdDauNPoAIuDjHp9CAWyXa8ro0bgRHChObPcEAtA8WN7/VABl8mwKCbpvY/KdK4VO8EevYecPUVcirfBrcKECLA0X8dltzoj8s=\"}"

4. Расшифровать ответ: bash decrypt-message.sh id_сообщения. В ответе тип взаимодействия должен быть matching и время взаимодействия примерно совпадать. Если нет, то сообщение было найдено некорректно и следует провести поиск по более поздним идентификаторам. В ответе необходимо сверить идентификатор датасета партнера.

   Формат ответа:

     {
       "_id": "636100ccab0a190012f00f1d",
       "dataset": "cv2stmle1ilc",
       "project": "635fb5327978d800199096b4",
       "operation": "upload",
       "businessGoal": "Some reason for bc test",
       "providedBy": "dajwbgctmzxr",
       "providedTo": "3rooa5jcqxbj",
       "downloadedAt": "2022-11-01T11:19:40.329Z"
     }

При необходимости можно просмотреть аналогично сообщения на стороне партнера, для сообщений, где он является получателем.

3. Операция исполнения модели

3.1 В системе на стороне Провайдера

1. Выполнить исполнение модели согласно инструкции.

2. Сохранить идентификаторы датасетов, используемых в витрине данных. Для этого необходимо перейти в раздел “Витрины данных”. Проверить идентификаторы датасетов используемых в витрине. Для этого кликнуть на название датасета при просмотре витрины и в открывшемся окне информации о датасете зафиксировать его идентификатор.

   

3. Аналогичную операцию по получению идентификатора датасета выполнить для датасета партнера.

3.2 В BC на стороне Провайдера

1. Получить идентификатор сообщения о выгрузке на VM Провайдера к самому себе.bash search-messages.sh 7 id_компании_провайдера id_компании_провайдера количество_сообщений.

   Пример сообщения:

    "id": 755422,
          "message": {
            "topic": 7,
            "sender": "dajwbgctmzxr",
            "receiver": "dajwbgctmzxr",
            "data": "{\"encryption\":\"rsa4096+aes256cbc\",\"message\":\"YtHCf8N8Uag4t8EiKXalXF2Dcv12Odi+z1eRGyaxCbK9rx7js9VrDxC3UC37Yv+OED47LTtJILFgJp9Hx4GZMCtM1rZ+gnb37WKZNK/59OufyqjqZyXzwVhjBL1XnUGJLQHM9R750PzUxvQlFS7ySb6ioueo6zBPalscbzurUBYOz5pwCLsJXadVT5x5qeCF5V0ufdqJLE+DLOxlXSxbF5LHzafpz1DuaPB46G/ELVIiZ5cR55KYJSW/zSzHeJ5zbDYicW+rxFs+yJ/SV7/dwPFCjXS8Cl1c0DbH/J2BeEa4EqbhKt/bW9guJ262n/JaqLe1V3JizkPiWwnAc0fQja6TNiYqKX1t9Y9jAule0eI=\",\"masterKey\":\"Cv5aO4rXfXfIK92EZlwtmBpVc7qiwJK1FdKEdyfc/mP3OdlgC0x8xwsFaATjPKBM1Uj2ePe7YvXydsIqZ2WM9fxfDnXeEt9B+SIq9g8zZxMYI6hccsp0SVrsMvCWJHqWaeBSQQOGv2sxRa35ZyvTwtqlgFCjNqxWv1nfI3bvhN4fscRHqeiYs5M/VAXdSr7yac3QbqlwINesyxCUt9ic+N0rc4A7xRnfpf4cR2fgyn1D3hBJabH+DtIQB/ResTsDAWZihOKvvMHY8YwgDAti/UnqKw5NYmjSws8EJ6e36rJcIjAu8uYMFOZO8IR+rX7HR4p/myI+nW/jRQL7lLoTm1lZUT8a7Jxh9f7xalNo4gtz5rNBJUND1ooqIPdnuJRwcrLty4w/m512JiqP6Dm0wzUujmd6MC1Baa7J9nWwbnx9Q46bG418Z/ECBUkeLX0y02COL2bm+krrjEED8EkqDuJIGhCP2er9UOd2KHBNkSI/2+EW9th60DiAXkhfxxD8lOkbN1loXi/CzQ1ud0wnUYN2MLtt7zweS+YavEesRJunSwSCPMxLZOvwoBg8hcXohEgIsNuJ6ptLm83isXzRLXENfW66BUZR2kESRh0xxs64n6pEclbDSB/KoYA099PeYOs/THiU6T2v5OevKAt0aOfmeWuTgcx6vp+pKikTPqI=\"}"

2. Расшифровать ответ: bash decrypt-message.sh id_сообщения. В ответе тип взаимодействия должен быть cleanroom и время взаимодействия примерно совпадать. Если нет, то сообщение было найдено некорректно и следует провести поиск по более поздним идентификаторам. В ответе необходимо сверить идентификатор датасета партнера.

   Формат ответа:

     {
       "_id": "63612287c7770e001215e81a",
       "dataset": "41sqvg2csw4h",
       "project": "635fb5327978d800199096b4",
       "operation": "cleanroom",
       "businessGoal": "Some reason for bc test",
       "providedBy": "dajwbgctmzxr",
       "providedTo": "dajwbgctmzxr",
       "downloadedAt": "2022-11-01T13:43:35.391Z"
     }

3. Чтение сообщений об использовании данных партнера: Получить идентификатор сообщения о запуске модели cleanroom Провайдера к самому себе. bash search-messages.sh 7 id_компании_партнера id_компании_провайдера количество_сообщений

   Зашифрованное сообщение:

     "id": 755423,
           "message": {
             "topic": 7,
             "sender": "3rooa5jcqxbj",
             "receiver": "dajwbgctmzxr",
             "data": "{\"encryption\":\"rsa4096+aes256cbc\",\"message\":\"doCwdbHu8Hk8uwnu6Blx0xmxT+p2e1a4X7dhN0TBYFFfEAj61uuv/+g5zl11V/FMmEf+EJeNcyrw/kyF8p3kAabKzv4u1EzDdcNCiC9dyP1ebjHpQdSTVzVvGw1yz/Zs/WTrtUmu4gMdxx4r49kbqK0zk4iiaiM2PJrmhkVlIIdafIZaMslam9z/fgQa1yCQ//ZsZXkYHjnAlVKGVi/bLtBMUy5LhMiDzUmT+tMn2m/ofxD/HlHGkWtrN4Y0fYGwnH+tHzTg0RAs+3GdGa105Jga/CO9zpH8+u8je1Uxp3MecA6hU9UkYTDFl3X3iCxo6KTasOBAJIeLHiJLktmFhRWfk+iGEhTHMrbyrQfRN4E=\",\"masterKey\":\"CdSDEnjoMF9YjdEI+MYRcqEuPlTer2Ac9m58+FfpABGXDX4iRhb8Cs4t9agkhxZzG2Au+HyCDlEIbBtDjK7W1whGxSSML6Sy5CoMZsmrC+2TOjJVZETdWw5skNaYilGEvrCGyew6/FryfLbek9za67Yi+xgLCa0V7CztCnGSlVK5F+tpQDzW7d+eO4ijcy9uMAv+jvnS1vvgtYoMesvKclv9uPT6rLnViq4iKWTHOWNiozAzVI+8NIuY//D2nd2zQIH4z2b3DKLVsMluKSj4ZKcAhZHI/C1ZT0M95LOKV6r63kOr9pjV6S9f/i2XBjzjfz0tzraotfljoUUl92Cu/dKJx6RweezU9U+v0ml7X+pIWf6UlCVB46THoU/qI1NUj4G/oB7mM+L93s+4SrZCG/nxFJAp17l80ZfwEGUP8AaFzhIZLfrsFKBgh2rANcfv7B+vVx81Bshe6ocxlo0tZCuzj1S0PxurkQH8eSP5J+CrfA96bzr0hS36MSZFJ8tEGB8rl/+DAYZVkjD7YnMMXr0gmMuLFRFSnL3+lCQOi4/7maQcRZNxLESU39EpwKBwHwiMrHvPBZQI7twCNxlQ6T5gcLfGUHNBRM6FBndWRn1rVQ05M6EWL/N1dIHbpzxl/mTXAgvjhoTsXKtL0gBg8q1iOQyhD8+wbPnjC9NzYkU=\"}"

4. Расшифровать ответ: bash decrypt-message.sh id_сообщения. В ответе тип взаимодействия должен быть cleanroom и время взаимодействия примерно совпадать. Если нет, то сообщение было найдено некорректно и следует провести поиск по более поздним идентификаторам. В ответе необходимо сверить идентификатор датасета партнера.

   Формат ответа:

     {
       "_id": "63612294ab0a190012f028aa",
       "dataset": "cv2stmle1ilc",
       "project": "635fb5327978d800199096b4",
       "operation": "cleanroom",
       "businessGoal": "Some reason for bc test",
       "providedBy": "dajwbgctmzxr",
       "providedTo": "3rooa5jcqxbj",
       "downloadedAt": "2022-11-01T13:43:48.491Z"
     }

При необходимости можно просмотреть аналогично сообщения на стороне партнера, для сообщений, где он является получателем.