Настройка наборов данных в wis2box

Учебные результаты

К концу этого практического занятия вы сможете:

• создать новый набор данных
• создать метаданные для обнаружения набора данных
• настроить сопоставления данных для набора данных
• опубликовать уведомление WIS2 с записью WCMP2
• обновить и повторно опубликовать ваш набор данных

Введение

wis2box использует наборы данных, которые связаны с метаданными обнаружения и сопоставлениями данных.

Метаданные обнаружения используются для создания записи WCMP2 (WMO Core Metadata Profile 2), которая распространяется с помощью уведомления WIS2, опубликованного на вашем wis2box-broker.

Сопоставления данных используются для ассоциации плагина данных с вашими входными данными, позволяя трансформировать ваши данные перед публикацией с использованием уведомления WIS2.

Это занятие проведет вас через создание нового набора данных, создание метаданных обнаружения и настройку сопоставлений данных. Вы осмотрите ваш набор данных в wis2box-api и просмотрите уведомление WIS2 для ваших метаданных обнаружения.

Подготовка

Подключитесь к вашему брокеру с помощью MQTT Explorer.

Вместо использования ваших внутренних учетных данных брокера, используйте публичные учетные данные everyone/everyone:

Note

Вам никогда не нужно делиться учетными данными вашего внутреннего брокера с внешними пользователями. Пользователь 'everyone' является публичным пользователем для обмена уведомлениями WIS2.

Учетные данные everyone/everyone имеют доступ только для чтения к теме 'origin/a/wis2/#'. Это тема, где публикуются уведомления WIS2. Global Broker может подписаться с этими публичными учетными данными для получения уведомлений.

Пользователь 'everyone' не увидит внутренние темы или не сможет публиковать сообщения.

Откройте браузер и перейдите на страницу http://YOUR-HOST/wis2box-webapp. Убедитесь, что вы вошли в систему и можете получить доступ к странице 'редактор наборов данных'.

Смотрите раздел Инициализация wis2box, если вам нужно вспомнить, как подключиться к брокеру или получить доступ к wis2box-webapp.

Создание токена авторизации для processes/wis2box

Вам понадобится токен авторизации для конечной точки 'processes/wis2box', чтобы опубликовать ваш набор данных.

Для создания токена авторизации получите доступ к вашей учебной виртуальной машине по SSH и используйте следующие команды для входа в контейнер wis2box-management:

cd ~/wis2box
python3 wis2box-ctl.py login

Затем выполните следующую команду для создания случайно сгенерированного токена авторизации для конечной точки 'processes/wis2box':

wis2box auth add-token --path processes/wis2box

Вы также можете создать токен с конкретным значением, предоставив токен в качестве аргумента команде:

wis2box auth add-token --path processes/wis2box MyS3cretToken

Обязательно скопируйте значение токена и сохраните его на вашем локальном компьютере, так как оно вам понадобится позже.

После получения вашего токена вы можете выйти из контейнера wis2box-management:

exit

Создание нового набора данных в wis2box-webapp

Перейдите на страницу 'редактор наборов данных' в wis2box-webapp вашего экземпляра wis2box, перейдя по адресу http://YOUR-HOST/wis2box-webapp и выбрав 'редактор наборов данных' в меню слева.

На странице 'редактор наборов данных' во вкладке 'Datasets' нажмите на "Create New ...":

Появится всплывающее окно, в котором вас попросят предоставить:

• Centre ID : это аббревиатура агентства (в нижнем регистре и без пробелов), как указано членом WMO, которая идентифицирует центр данных, ответственный за публикацию данных.
• Data Type: Тип данных, для которых вы создаете метаданные. Вы можете выбрать между использованием предопределенного шаблона или выбором 'other'. Если выбран 'other', необходимо будет вручную заполнить больше полей.

Centre ID

Ваш centre-id должен начинаться с домен верхнего уровня вашей страны, за которым следует дефис (-) и сокращенное название вашей организации (например, fr-meteofrance). Centre-id должен быть написан строчными буквами и использовать только буквенно-цифровые символы. Выпадающий список показывает все зарегистрированные на данный момент centre-ids на WIS2, а также любой centre-id, который вы уже создали в wis2box.

Data Type Templates

Поле Data Type позволяет выбрать из списка шаблонов, доступных в редакторе наборов данных wis2box-webapp. Шаблон предварительно заполняет форму предлагаемыми значениями по умолчанию, подходящими для типа данных. Это включает предлагаемые заголовок и ключевые слова для метаданных и предварительно настроенные плагины данных. Тема будет зафиксирована на тему по умолчанию для типа данных.

Для целей обучения мы будем использовать тип данных weather/surface-based-observations/synop, который включает плагины данных, обеспечивающие трансформацию данных в формат BUFR перед публикацией.

Если вы хотите публиковать уведомления CAP с помощью wis2box, используйте шаблон weather/advisories-warnings. Этот шаблон включает плагин данных, который проверяет, являются ли входные данные действительным уведомлением CAP перед публикацией. Для создания уведомлений CAP и их публикации через wis2box вы можете использовать CAP Composer.

Пожалуйста, выберите centre-id, подходящий для вашей организации.

Для Data Type выберите weather/surface-based-observations/synop:

Нажмите continue to form, чтобы продолжить, теперь вам будет представлена Форма редактора наборов данных.

Поскольку вы выбрали тип данных weather/surface-based-observations/synop, форма будет предварительно заполнена некоторыми начальными значениями, связанными с этим типом данных.

Создание метаданных обнаружения

Форма редактора наборов данных позволяет вам предоставить метаданные обнаружения для вашего набора данных, которые контейнер wis2box-management будет использовать для публикации записи WCMP2.

Поскольку вы выбрали тип данных 'weather/surface-based-observations/synop', форма будет предварительно заполнена некоторыми значениями по умолчанию.

Пожалуйста, убедитесь, что вы заменили автоматически сгенерированный 'Local ID' описательным названием для вашего набора данных, например, 'synop-dataset-wis2training':

Просмотрите заголовок и ключевые слова и при необходимости обновите их, а также предоставьте описание для вашего набора данных.

Обратите внимание, что есть возможности изменить 'WMO Data Policy' с 'core' на 'recommended' или изменить ваш идентификатор метаданных по умолчанию, пожалуйста, оставьте политику данных как 'core' и используйте идентификатор метаданных по умолчанию.

Далее просмотрите раздел, определяющий вашу 'Временную информацию' и 'Пространственную информацию'. Вы можете настроить ограничивающий прямоугольник, обновив поля 'Северная широта', 'Южная широта', 'Восточная долгота' и 'Западная долгота':

Далее заполните раздел, определяющий 'Контактную информацию поставщика данных':

Наконец, заполните раздел, определяющий 'Информацию о качестве данных':

После того, как вы заполните все разделы, нажмите 'VALIDATE FORM' и проверьте форму на наличие ошибок:

Если есть ошибки, исправьте их и снова нажмите 'VALIDATE FORM'.

Убедитесь, что у вас нет ошибок и что вы получили всплывающее уведомление о том, что ваша форма была проверена:

Далее, перед отправкой вашего набора данных, просмотрите сопоставления данных для вашего набора данных.

Настройка сопоставлений данных

Поскольку вы использовали шаблон для создания вашего набора данных, сопоставления данных были предварительно заполнены стандартными плагинами для типа данных 'weather/surface-based-observations/synop'. Плагины данных используются в wis2box для трансформации данных перед их публикацией с использованием уведомления WIS2.

Обратите внимание, что вы можете нажать на кнопку "update", чтобы изменить настройки плагина, такие как расширение файла и шаблон файла, пока вы можете оставить настройки по умолчанию. На последующем занятии вы узнаете больше о BUFR и трансформации данных в формат BUFR.

Отправка вашего набора данных

Наконец, вы можете нажать 'submit', чтобы опубликовать ваш набор данных.

Вам нужно будет предоставить токен авторизации для 'processes/wis2box', который вы создали ранее. Если вы этого не сделали, вы можете создать новый токен, следуя инструкциям в разделе подготовки.

Проверьте, что вы получили следующее сообщение после отправки вашего набора данных, указывающее на то, что набор данных был успешно отправлен:

После того, как вы нажмете 'OK', вы будете перенаправлены на домашнюю страницу редактора наборов данных. Теперь, если вы нажмете на вкладку 'Dataset', вы должны увидеть ваш новый набор данных в списке:

Просмотр уведомления WIS2 для ваших метаданных обнаружения

Перейдите в MQTT Explorer, если вы были подключены к брокеру, вы должны увидеть новое уведомление WIS2, опубликованное по теме origin/a/wis2/<your-centre-id>/metadata:

Изучите содержимое уведомления WIS2, которое вы опубликовали. Вы должны увидеть JSON со структурой, соответствующей формату сообщения уведомления WIS (WNM).

Question

По какой теме публикуется уведомление WIS2?

Нажмите, чтобы увидеть ответ

Уведомление WIS2 публикуется по теме origin/a/wis2/<your-centre-id>/metadata.

Question

Попробуйте найти заголовок, описание и ключевые слова, которые вы предоставили в метаданных обнаружения, в уведомлении WIS2. Вы нашли их?

Нажмите, чтобы увидеть ответ

Заголовок, описание и ключевые слова, которые вы предоставили в метаданных обнаружения, отсутствуют в полезной нагрузке уведомления WIS2!

Вместо этого попробуйте посмотреть каноническую ссылку в разделе "links" в уведомлении WIS2:

Уведомление WIS2 содержит каноническую ссылку на опубликованную запись WCMP2.

Скопируйте и вставьте эту каноническую ссылку в ваш браузер, чтобы получить доступ к записи WCMP2, в зависимости от настр