إعداد مجموعات البيانات في wis2box

نتائج التعلم

بنهاية هذه الجلسة العملية، ستكون قادرًا على:

• استخدام محرر مجموعات البيانات في wis2box-webapp
• إنشاء مجموعات بيانات جديدة باستخدام القوالب weather/surface-based-observations/synop و other
• تعريف بيانات الاكتشاف الوصفية الخاصة بك
• مراجعة تعيينات البيانات الخاصة بك
• نشر إشعار WIS2 لبيانات الاكتشاف الوصفية الخاصة بك

المقدمة

يستخدم wis2box مفهوم مجموعات البيانات المرتبطة بـ بيانات الاكتشاف الوصفية و تعيينات البيانات.

تُستخدم بيانات الاكتشاف الوصفية لإنشاء سجل WMO Core Metadata Profile (WCMP2) يتم مشاركته باستخدام إشعار WIS2 يتم نشره على وسيط wis2box الخاص بك.

تُستخدم تعيينات البيانات لربط الإضافات (plugins) الخاصة بالبيانات ببيانات الإدخال الخاصة بك، مما يتيح تحويل البيانات قبل نشرها على WIS2.

في هذه الجلسة العملية، ستتعلم كيفية إنشاء وتكوين مجموعات البيانات باستخدام محرر مجموعات البيانات في wis2box-webapp.

إعداد مجموعات البيانات بدون استخدام wis2box-webapp

يدعم wis2box أيضًا إعداد مجموعات البيانات باستخدام تنسيق ملف التحكم بالبيانات الوصفية (MCF) الذي يحدده أداة pygeometa.

يتيح استخدام MCF مرونة وتحكمًا أكبر، ولكنه يتطلب كتابة دقيقة لضمان أن يكون ملف MCF مهيأً ومنسقًا بشكل صحيح وفقًا للمخطط المطلوب.

يمكن نشر ملفات MCF من سطر الأوامر داخل حاوية wis2box-management. راجع وثائق wis2box لمزيد من المعلومات.

التحضير

اتصل بالوسيط الخاص بك باستخدام MQTT Explorer.

بدلاً من استخدام بيانات اعتماد الوسيط الداخلي الخاص بك، استخدم بيانات الاعتماد العامة everyone/everyone:

Note

لا تحتاج أبدًا إلى مشاركة بيانات اعتماد الوسيط الداخلي الخاص بك مع المستخدمين الخارجيين. المستخدم 'everyone' هو مستخدم عام يتيح مشاركة إشعارات WIS2.

بيانات الاعتماد everyone/everyone لديها صلاحية قراءة فقط على الموضوع 'origin/a/wis2/#'. هذا هو الموضوع الذي يتم نشر إشعارات WIS2 عليه. يمكن للوسيط العالمي الاشتراك باستخدام هذه البيانات العامة لتلقي الإشعارات.

لن يتمكن المستخدم 'everyone' من رؤية المواضيع الداخلية أو نشر الرسائل.

افتح متصفحًا وانتقل إلى http://YOUR-HOST/wis2box-webapp. تأكد من أنك قمت بتسجيل الدخول ويمكنك الوصول إلى صفحة 'محرر مجموعات البيانات'.

راجع القسم الخاص بـ تهيئة wis2box إذا كنت بحاجة إلى تذكر كيفية الاتصال بالوسيط أو الوصول إلى wis2box-webapp.

إنشاء رمز تفويض لـ processes/wis2box

ستحتاج إلى رمز تفويض لنقطة النهاية 'processes/wis2box' لنشر مجموعة البيانات الخاصة بك.

لإنشاء رمز تفويض، قم بالوصول إلى جهاز التدريب الخاص بك عبر SSH واستخدم الأوامر التالية:

cd ~/wis2box
python3 wis2box-ctl.py login

ثم قم بتشغيل الأمر التالي لإنشاء رمز تفويض عشوائي لنقطة النهاية 'processes/wis2box':

wis2box auth add-token --path processes/wis2box

يمكنك أيضًا إنشاء رمز بقيمة محددة عن طريق توفير الرمز كمعامل للأمر:

wis2box auth add-token --path processes/wis2box MyS3cretToken

تأكد من نسخ قيمة الرمز وتخزينها على جهازك المحلي، حيث ستحتاج إليها لاحقًا.

بمجرد حصولك على الرمز، يمكنك الخروج من حاوية wis2box-management:

exit

محرر مجموعات البيانات في wis2box-webapp

انتقل إلى صفحة 'محرر مجموعات البيانات' في wis2box-webapp الخاص بمثيل wis2box الخاص بك عن طريق الذهاب إلى http://YOUR-HOST/wis2box-webapp واختيار 'محرر مجموعات البيانات' من القائمة على الجانب الأيسر.

في صفحة 'محرر مجموعات البيانات'، ضمن علامة التبويب 'Datasets'، انقر على "Create New ...":

ستظهر نافذة منبثقة تطلب منك توفير:

• Centre ID: هذا هو اختصار الوكالة (بحروف صغيرة وبدون مسافات)، كما هو محدد من قبل عضو WMO، الذي يحدد مركز البيانات المسؤول عن نشر البيانات.
• Template: نوع البيانات التي تقوم بإنشاء بيانات وصفية لها. يمكنك الاختيار بين استخدام قالب محدد مسبقًا أو اختيار other.

Centre ID

يجب أن يبدأ Centre ID بنطاق المستوى الأعلى لبلدك (TLD)، متبوعًا بشرطة (-) واسم مختصر لمنظمتك (على سبيل المثال fr-meteofrance). يجب أن يكون Centre ID بحروف صغيرة ويستخدم أحرفًا أبجدية رقمية فقط. تعرض القائمة المنسدلة جميع معرفات المراكز المسجلة حاليًا على WIS2 بالإضافة إلى أي معرف مركز قمت بإنشائه بالفعل في wis2box. يرجى اختيار معرف مركز مناسب لمنظمتك.

Template

يتيح لك حقل Template اختيار قالب من قائمة القوالب المتاحة في محرر مجموعات البيانات في wis2box-webapp. سيقوم القالب بملء النموذج بقيم افتراضية مقترحة مناسبة لنوع البيانات. يتضمن ذلك عنوانًا مقترحًا وكلمات مفتاحية للبيانات الوصفية وإضافات بيانات مهيأة مسبقًا.

يتم تعيين الموضوع تلقائيًا إلى الموضوع الافتراضي المرتبط بالقالب المحدد ما لم تختر other. إذا اخترت other، يمكن تعريف الموضوع من قائمة منسدلة بناءً على تسلسل مواضيع WIS2.

لغرض التدريب، ستقوم بإنشاء مجموعتي بيانات:

• مجموعة بيانات باستخدام القالب weather/surface-based-observations/synop، والتي تتضمن إضافات بيانات تحول البيانات إلى تنسيق BUFR قبل النشر.
• مجموعة بيانات باستخدام القالب other، حيث ستكون مسؤولاً عن تعريف موضوع WIS2 وستستخدم الإضافة "Universal" لنشر البيانات بدون تحويل.

Template=weather/surface-based-observations/synop

بالنسبة إلى Template، اختر weather/surface-based-observations/synop:

انقر على continue to form للمتابعة. ستظهر لك الآن نموذج محرر مجموعة البيانات.

نظرًا لأنك اخترت القالب weather/surface-based-observations/synop، سيتم ملء النموذج مسبقًا ببعض القيم الأولية المتعلقة بهذا النوع من البيانات.

إنشاء بيانات الاكتشاف الوصفية

يتيح لك نموذج محرر مجموعة البيانات توفير بيانات الاكتشاف الوصفية لمجموعة البيانات الخاصة بك والتي ستستخدمها حاوية wis2box-management لنشر سجل WCMP2.

نظرًا لأنك اخترت القالب 'weather/surface-based-observations/synop'، سيتم ملء النموذج مسبقًا ببعض القيم الافتراضية.

يرجى التأكد من استبدال 'Local ID' الذي تم إنشاؤه تلقائيًا باسم وصفي لمجموعة البيانات الخاصة بك، مثل 'synop-dataset-wis2training':

راجع العنوان والكلمات المفتاحية، وقم بتحديثها حسب الحاجة، وقدم وصفًا لمجموعة البيانات الخاصة بك.

لاحظ أن هناك خيارات لتغيير 'سياسة بيانات WMO' من 'core' إلى 'recommended' أو لتعديل معرف البيانات الوصفية الافتراضي. يرجى الإبقاء على سياسة البيانات كـ 'core' واستخدام معرف البيانات الوصفية الافتراضي.

بعد ذلك، راجع القسم الذي يحدد 'الخصائص الزمنية' و'الخصائص المكانية'. يمكنك تعديل المربع المحيط عن طريق تحديث الحقول 'خط العرض الشمالي'، 'خط العرض الجنوبي'، 'خط الطول الشرقي'، و'خط الطول الغربي':

بعد ذلك، املأ القسم الذي يحدد 'معلومات الاتصال بمزود البيانات':

أخيرًا، املأ القسم الذي يحدد 'معلومات جودة البيانات':

بمجرد الانتهاء من ملء جميع الأقسام، انقر على 'VALIDATE FORM' وتحقق من وجود أي أخطاء في النموذج:

إذا كانت هناك أي أخطاء، قم بتصحيحها وانقر على 'VALIDATE FORM' مرة أخرى.

تأكد من عدم وجود أخطاء وأنك تحصل على نافذة منبثقة تشير إلى أن النموذج قد تم التحقق من صحته:

بعد ذلك، قبل تقديم مجموعة البيانات الخاصة بك، قم بمراجعة تعيينات البيانات لمجموعة البيانات الخاصة بك.

تكوين تعيينات البيانات

نظرًا لأنك استخدمت قالبًا لإنشاء مجموعة البيانات الخاصة بك، فقد تم تعبئة تعيينات البيانات مسبقًا بالمكونات الإضافية الافتراضية لقالب 'weather/surface-based-observations/synop'. تُستخدم المكونات الإضافية للبيانات في 'wis2box' لتحويل البيانات قبل نشرها باستخدام إشعار WIS2.

لاحظ أنه يمكنك النقر على زر "Update" لتغيير إعدادات المكون الإضافي مثل امتداد الملف ونمط الملف. يمكنك ترك الإعدادات الافتراضية في الوقت الحالي.

إرسال مجموعة البيانات الخاصة بك

أخيرًا، يمكنك النقر على 'submit' لنشر مجموعة البيانات الخاصة بك.

ستحتاج إلى توفير رمز التفويض الخاص بـ 'processes/wis2box' الذي قمت بإنشائه سابقًا. إذا لم تقم بذلك، يمكنك إنشاء رمز جديد باتباع التعليمات في قسم التحضير.

تحقق من أنك تحصل على الرسالة التالية بعد إرسال مجموعة البيانات الخاصة بك، مما يشير إلى أنه تم إرسال مجموعة البيانات بنجاح:

بعد النقر على 'OK'، سيتم توجيهك إلى الصفحة الرئيسية لمحرر مجموعة البيانات. الآن إذا قمت بالنقر على علامة التبويب 'Dataset'، يجب أن ترى مجموعة البيانات الجديدة الخاصة بك مدرجة:

مراجعة إشعار WIS2 الخاص ببيانات الاكتشاف الوصفية

انتقل إلى MQTT Explorer. إذا كنت متصلًا بالوسيط، يجب أن ترى إشعار WIS2 جديدًا منشورًا على الموضوع origin/a/wis2/<your-centre-id>/metadata:

قم بفحص محتوى إشعار WIS2 الذي قمت بنشره. يجب أن ترى JSON به هيكل يتوافق مع تنسيق رسالة إشعار WIS (WNM).

Question

على أي موضوع يتم نشر إشعار WIS2؟

Click to reveal answer

يتم نشر إشعار WIS2 على الموضوع origin/a/wis2/<your-centre-id>/metadata.

Question

حاول العثور على العنوان والوصف والكلمات المفتاحية التي قدمتها في بيانات الاكتشاف الوصفية في إشعار WIS2. هل يمكنك العثور عليها؟

Click to reveal answer

العنوان والوصف والكلمات المفتاحية التي قدمتها في بيانات الاكتشاف الوصفية غير موجودة في حمولة إشعار WIS2!

بدلاً من ذلك، حاول البحث عن الرابط القانوني في قسم "links" في إشعار WIS2:

يتضمن إشعار WIS2 رابطًا قانونيًا إلى سجل WCMP2 الذي تم نشره.

انسخ هذا الرابط القانوني والصقه في متصفحك للوصول إلى سجل WCMP2. بناءً على إعدادات متصفحك، قد يُطلب منك تنزيل الملف أو قد يتم عرضه مباشرة في المتصفح.

ستجد العنوان والوصف والكلمات المفتاحية التي قدمتها داخل سجل WCMP2.

يوفر 'wis2box' عددًا محدودًا فقط من القوالب المُعدة مسبقًا. تم تصميم هذه القوالب لأنواع شائعة من مجموعات البيانات، لكنها قد لا تتطابق دائمًا مع البيانات المتخصصة. بالنسبة لجميع أنواع مجموعات البيانات الأخرى، يمكنك إنشاء مجموعة البيانات الخاصة بك عن طريق اختيار Template=other.

Template=other

بعد ذلك، سنقوم بإنشاء مجموعة بيانات ثانية باستخدام Template=other.

انقر على "Create New ..." مرة أخرى لإنشاء مجموعة بيانات جديدة. استخدم نفس 'centre-id' الذي استخدمته من قبل، ويجب أن يكون متاحًا في القائمة المنسدلة. بالنسبة إلى Template، اختر other:

انقر على continue to form للمتابعة، وستظهر لك الآن نموذج محرر مجموعة البيانات مرة أخرى.

إنشاء بيانات الاكتشاف الوصفية

قم بتوفير القيم الخاصة بك لحقول 'Title' و 'Description' وتأكد من استبدال 'Local ID' الذي تم إنشاؤه تلقائيًا باسم وصفي لمجموعة البيانات الخاصة بك:

لاحظ أنه نظرًا لأنك اخترت Template=other، فإن الأمر متروك لك لتعريف تسلسل موضوع WIS2 باستخدام القوائم المنسدلة لـ 'Discipline' و 'Sub-Discipline'.

بالنسبة لهذا التمرين، يرجى اختيار موضوع Sub-Discipline "prediction/analysis/medium-range/deterministic/global":

نظرًا لاختيارك Template=other، لم يتم تحديد أي كلمات مفتاحية مسبقًا. تأكد من إضافة 3 كلمات مفتاحية على الأقل من اختيارك:

بعد ملء الحقول المطلوبة، أكمل الأقسام المتبقية من النموذج، بما في ذلك 'Temporal Properties' و 'Spatial Properties' و 'Contact Information of the Data Provider' وتأكد من التحقق من صحة النموذج.

تكوين تعيينات البيانات

عند استخدام Template=other، لا يتم توفير تعيينات بيانات افتراضية. نتيجة لذلك، سيكون محرر تعيينات البيانات فارغًا ويجب على المستخدمين تكوين التعيينات وفقًا لمتطلباتهم الخاصة.

انقر على "ADD A PLUGIN +" لإضافة مكون إضافي للبيانات إلى مجموعة البيانات الخاصة بك.

اختر المكون الإضافي باسم "Universal data without conversion". تم تصميم هذا المكون لنشر البيانات دون تطبيق أي تحويل.

عند إضافة هذا المكون، ستحتاج إلى تحديد امتداد الملف و نمط الملف (يُعرّف بواسطة تعبير منتظم) الذي يتطابق مع نمط تسمية ملفات البيانات الخاصة بك. في حالة المكون "Universal"، يُستخدم نمط الملف أيضًا لتحديد خاصية "datetime" للبيانات.

Parsing datetime from filename

يفترض المكون "Universal" أن المجموعة الأولى في التعبير المنتظم تتوافق مع التاريخ والوقت للبيانات.

نمط الملف الافتراضي هو ^.*?_(\d{8}).*?\..*$ الذي يتطابق مع 8 أرقام مسبوقة بشرطة سفلية ومتبوعة بأي أحرف ونقطة قبل امتداد الملف. على سبيل المثال:

• mydata_20250101.txt سيتطابق ويستخرج 25 يناير 2025 كخاصية datetime للبيانات
• mydata_2025010112.txt لن يتطابق، حيث يوجد 10 أرقام بدلاً من 8
• mydata-20250101.txt لن يتطابق، حيث توجد شرطة بدلاً من الشرطة السفلية قبل التاريخ

عند إدخال البيانات باستخدام المكون "Universal"، إما أن تعيد تسمية ملفاتك لتتطابق مع النمط الافتراضي أو تحدّث نمط الملف مع التأكد من أن المجموعة الأولى في التعبير المنتظم تتوافق مع التاريخ والوقت.

احتفظ بالقيم الافتراضية لـ "File Name" في الوقت الحالي لأنها تتطابق مع البيانات التي ستقوم بإدخالها في الجلسة العملية التالية:

انقر على "SAVE" لحفظ إعدادات المكون وتحقق من أنك ترى الآن المكون مدرجًا في محرر تعيينات البيانات:

<img alt="Data Mappings: update plugin" src="/../assets/img/wis2box-d

في الرسالة، ستتغير قيمة "rel": "canonical" إلى "rel": "update"، مما يشير إلى أن البيانات التي تم نشرها مسبقًا قد تم تعديلها. لعرض الوصف المحدث، قم بنسخ ولصق الرابط في متصفحك، ويجب أن ترى الوصف المحدث.

Question

حاول تحديث التسلسل الهرمي للموضوع الخاص بآخر مجموعة بيانات قمت بإنشائها عن طريق تغيير الاختيار في "Sub-Discipline Topics". هل ترى إشعار WIS2 جديدًا منشورًا على الموضوع origin/a/wis2/<your-centre-id>/metadata؟

اضغط للكشف عن الإجابة

لا يمكنك تحديث التسلسل الهرمي للموضوع لمجموعة بيانات موجودة. حقل التسلسل الهرمي للموضوع معطل في نموذج محرر مجموعة البيانات بعد إنشاء المجموعة. إذا كنت ترغب في استخدام تسلسل هرمي مختلف، قم أولاً بحذف مجموعة البيانات الحالية ثم قم بإنشاء مجموعة بيانات جديدة بالتسلسل الهرمي المطلوب.

الخلاصة

تهانينا!

في هذه الجلسة العملية، تعلمت كيفية:

• استخدام محرر مجموعة البيانات الخاص بـ wis2box-webapp
• إنشاء مجموعات بيانات جديدة باستخدام Template=weather/surface-based-observations/synop و Template=other
• تعريف بيانات الاكتشاف الوصفية الخاصة بك
• مراجعة خرائط البيانات الخاصة بك
• نشر بيانات الاكتشاف الوصفية ومراجعة إشعار WIS2