إعداد مجموعات البيانات في wis2box

نتائج التعلم

بنهاية هذه الجلسة العملية، ستكون قادرًا على:

• استخدام محرر مجموعة البيانات في wis2box-webapp
• إنشاء مجموعات بيانات جديدة باستخدام القالب=weather/surface-based-observations/synop والقالب=other
• تعريف بيانات الاكتشاف الوصفية الخاصة بك
• مراجعة تعيينات البيانات الخاصة بك
• نشر إشعار WIS2 لبيانات الاكتشاف الوصفية الخاصة بك

المقدمة

يستخدم wis2box مجموعات البيانات المرتبطة بـ بيانات الاكتشاف الوصفية و تعيينات البيانات.

تُستخدم بيانات الاكتشاف الوصفية لإنشاء سجل WMO Core Metadata Profile (WCMP2) يتم مشاركته باستخدام إشعار WIS2 يتم نشره على وسيط wis2box الخاص بك.

تُستخدم تعيينات البيانات لربط المكونات الإضافية للبيانات ببيانات الإدخال الخاصة بك، مما يسمح بتحويل البيانات قبل نشرها على WIS2.

في هذه الجلسة العملية، ستتعلم كيفية إنشاء وتكوين مجموعات البيانات باستخدام محرر مجموعة البيانات في wis2box-webapp.

إعداد مجموعات البيانات بدون استخدام wis2box-webapp

يدعم wis2box أيضًا إعداد مجموعات البيانات باستخدام ملف التحكم الوصفي (MCF) الذي يتم تعريفه بواسطة أداة pygeometa.

يتيح استخدام MCF المزيد من المرونة والتحكم ولكنه يحتاج إلى كتابة دقيقة لضمان أن يكون ملف MCF مهيأ ومفهرس بشكل صحيح وفقًا للمخطط المطلوب.

يمكن نشر ملفات MCF من سطر الأوامر داخل حاوية wis2box-management. راجع وثائق wis2box لمزيد من المعلومات.

التحضير

اتصل بالوسيط الخاص بك باستخدام MQTT Explorer.

بدلاً من استخدام بيانات اعتماد الوسيط الداخلي الخاص بك، استخدم بيانات الاعتماد العامة everyone/everyone:

Note

لا تحتاج أبدًا إلى مشاركة بيانات اعتماد الوسيط الداخلي الخاص بك مع المستخدمين الخارجيين. المستخدم 'everyone' هو مستخدم عام لتمكين مشاركة إشعارات WIS2.

بيانات الاعتماد everyone/everyone لديها وصول للقراءة فقط على الموضوع 'origin/a/wis2/#'. هذا هو الموضوع الذي يتم نشر إشعارات WIS2 عليه. يمكن للوسيط العالمي الاشتراك بهذه البيانات العامة لتلقي الإشعارات.

لن يتمكن المستخدم 'everyone' من رؤية المواضيع الداخلية أو نشر الرسائل.

افتح المتصفح وانتقل إلى http://YOUR-HOST/wis2box-webapp. تأكد من أنك قمت بتسجيل الدخول ويمكنك الوصول إلى صفحة 'محرر مجموعة البيانات'.

راجع القسم الخاص بـ تهيئة wis2box إذا كنت بحاجة إلى تذكر كيفية الاتصال بالوسيط أو الوصول إلى wis2box-webapp.

إنشاء رمز تفويض لـ processes/wis2box

ستحتاج إلى رمز تفويض لنقطة النهاية 'processes/wis2box' لنشر مجموعة البيانات الخاصة بك.

لإنشاء رمز تفويض، قم بالوصول إلى جهاز التدريب الخاص بك عبر SSH واستخدم الأوامر التالية:

cd ~/wis2box
python3 wis2box-ctl.py login

ثم قم بتشغيل الأمر التالي لإنشاء رمز تفويض عشوائي لنقطة النهاية 'processes/wis2box':

wis2box auth add-token --path processes/wis2box

يمكنك أيضًا إنشاء رمز بقيمة محددة عن طريق تقديم الرمز كوسيطة للأمر:

wis2box auth add-token --path processes/wis2box MyS3cretToken

تأكد من نسخ قيمة الرمز وتخزينها على جهازك المحلي، حيث ستحتاج إليها لاحقًا.

بمجرد الحصول على الرمز الخاص بك، يمكنك الخروج من حاوية wis2box-management:

exit

محرر مجموعة البيانات في wis2box-webapp

انتقل إلى صفحة 'محرر مجموعة البيانات' في wis2box-webapp الخاص بمثيل wis2box الخاص بك عن طريق الذهاب إلى http://YOUR-HOST/wis2box-webapp واختيار 'محرر مجموعة البيانات' من القائمة الموجودة على الجانب الأيسر.

في صفحة 'محرر مجموعة البيانات'، ضمن علامة التبويب 'مجموعات البيانات'، انقر على "إنشاء جديد ...":

ستظهر نافذة منبثقة تطلب منك تقديم:

• Centre ID: هذا هو اختصار الوكالة (بأحرف صغيرة وبدون مسافات)، كما هو محدد من قبل عضو WMO، الذي يحدد مركز البيانات المسؤول عن نشر البيانات.
• Template: نوع البيانات التي تقوم بإنشاء بيانات وصفية لها. يمكنك الاختيار بين استخدام قالب محدد مسبقًا أو اختيار other.

Centre ID

يجب أن يبدأ Centre ID الخاص بك بـ TLD الخاص ببلدك، متبوعًا بشرطة (-) واسم مختصر لمنظمتك (على سبيل المثال fr-meteofrance). يجب أن يكون Centre ID بأحرف صغيرة ويستخدم الأحرف الأبجدية الرقمية فقط. تعرض القائمة المنسدلة جميع معرفات المراكز المسجلة حاليًا على WIS2 بالإضافة إلى أي معرف مركز قمت بإنشائه بالفعل في wis2box. يرجى اختيار معرف مركز مناسب لمنظمتك.

Template

يتيح لك حقل Template الاختيار من قائمة القوالب المتاحة في محرر مجموعة البيانات في wis2box-webapp. سيقوم القالب بملء النموذج بقيم افتراضية مقترحة مناسبة لنوع البيانات. يشمل ذلك العنوان المقترح والكلمات المفتاحية للبيانات الوصفية والمكونات الإضافية للبيانات المهيأة مسبقًا.

يتم ضبط الموضوع تلقائيًا على الموضوع الافتراضي المرتبط بالقالب المحدد ما لم تقم باختيار other. إذا اخترت other، يمكن تعريف الموضوع من قائمة منسدلة بناءً على تسلسل مواضيع WIS2.

لغرض التدريب، ستقوم بإنشاء مجموعتي بيانات:

• مجموعة بيانات باستخدام القالب=weather/surface-based-observations/synop، والتي تتضمن مكونات إضافية للبيانات تقوم بتحويل البيانات إلى صيغة BUFR قبل النشر.
• مجموعة بيانات باستخدام القالب=other، حيث تكون مسؤولًا عن تعريف موضوع WIS2 وستستخدم المكون الإضافي "Universal" لنشر البيانات بدون تحويل.

Template=weather/surface-based-observations/synop

بالنسبة لـ Template، اختر weather/surface-based-observations/synop:

انقر على متابعة إلى النموذج للمتابعة. ستظهر لك الآن نموذج محرر مجموعة البيانات.

نظرًا لأنك اخترت قالب weather/surface-based-observations/synop، سيتم ملء النموذج مسبقًا ببعض القيم الأولية المتعلقة بهذا النوع من البيانات.

إنشاء بيانات الاكتشاف الوصفية

يتيح لك نموذج محرر مجموعة البيانات تقديم بيانات الاكتشاف الوصفية لمجموعة البيانات الخاصة بك والتي ستستخدمها حاوية wis2box-management لنشر سجل WCMP2.

نظرًا لأنك اخترت قالب 'weather/surface-based-observations/synop'، سيتم ملء النموذج مسبقًا ببعض القيم الافتراضية.

يرجى التأكد من استبدال 'Local ID' الذي تم إنشاؤه تلقائيًا باسم وصفي لمجموعة البيانات الخاصة بك، مثل 'synop-dataset-wis2training':

راجع العنوان والكلمات المفتاحية، وقم بتحديثها حسب الحاجة، وقدم وصفًا لمجموعة البيانات الخاصة بك.

لاحظ أن هناك خيارات لتغيير 'سياسة بيانات WMO' من 'core' إلى 'recommended' أو لتعديل معرف البيانات الوصفية الافتراضي. يرجى الاحتفاظ بسياسة البيانات كـ 'core' واستخدام معرف البيانات الوصفية الافتراضي.

بعد ذلك، راجع القسم الذي يحدد 'الخصائص الزمنية' و 'الخصائص المكانية'. يمكنك تعديل المربع المحيط عن طريق تحديث الحقول 'خط العرض الشمالي'، 'خط العرض الجنوبي'، 'خط الطول الشرقي'، و 'خط الطول الغربي':

بعد ذلك، قم بملء القسم الذي يحدد 'معلومات الاتصال بمزود البيانات':

أخيرًا، قم بملء القسم الذي يحدد 'معلومات جودة البيانات':

بمجرد الانتهاء من ملء جميع الأقسام، انقر على 'VALIDATE FORM' وتحقق من النموذج بحثًا عن أي أخطاء:

إذا كانت هناك أي أخطاء، قم بتصحيحها وانقر على 'VALIDATE FORM' مرة أخرى.

تأكد من عدم وجود أخطاء وأنك تحصل على نافذة منبثقة تشير إلى أنه تم التحقق من صحة النموذج:

بعد ذلك، قبل تقديم مجموعة البيانات الخاصة بك، قم بمراجعة تعيينات البيانات لمجموعة البيانات الخاصة بك.

إعداد تعيينات البيانات

نظرًا لأنك استخدمت قالبًا لإنشاء مجموعة البيانات الخاصة بك، فقد تم تعبئة تعيينات البيانات مسبقًا باستخدام الإضافات الافتراضية لقالب 'weather/surface-based-observations/synop'. تُستخدم إضافات البيانات في 'wis2box' لتحويل البيانات قبل نشرها باستخدام إشعار WIS2.

لاحظ أنه يمكنك النقر على زر "Update" لتغيير إعدادات الإضافة مثل امتداد الملف ونمط الملف. يمكنك ترك الإعدادات الافتراضية في الوقت الحالي.

إرسال مجموعة البيانات الخاصة بك

أخيرًا، يمكنك النقر على 'submit' لنشر مجموعة البيانات الخاصة بك.

ستحتاج إلى تقديم رمز التفويض لـ 'processes/wis2box' الذي أنشأته سابقًا. إذا لم تقم بذلك، يمكنك إنشاء رمز جديد باتباع التعليمات في قسم التحضير.

تحقق من أنك تحصل على الرسالة التالية بعد إرسال مجموعة البيانات الخاصة بك، مما يشير إلى أنه تم إرسال مجموعة البيانات بنجاح:

بعد النقر على 'OK'، يتم إعادة توجيهك إلى الصفحة الرئيسية لمحرر مجموعة البيانات. الآن إذا نقرت على علامة التبويب 'Dataset'، يجب أن ترى مجموعة البيانات الجديدة الخاصة بك مدرجة:

مراجعة إشعار WIS2 لبيانات الاكتشاف الوصفية الخاصة بك

انتقل إلى MQTT Explorer. إذا كنت متصلًا بالوسيط، يجب أن ترى إشعار WIS2 جديدًا منشورًا على الموضوع origin/a/wis2/<your-centre-id>/metadata:

إعادة نشر بيانات الاكتشاف الوصفية

يتم نشر إشعار WIS2 بمجرد إرسال بيانات الاكتشاف الوصفية بنجاح. إذا لم ترَ الإشعار، فقد يكون السبب أنك لم تكن متصلًا بالوسيط وقت النشر.

إذا لم ترَ إشعار WIS2، يمكنك إعادة نشر بيانات الاكتشاف الوصفية يدويًا باستخدام الأمر التالي:

python3 wis2box-ctl.py execute wis2box metadata discovery republish

قم بفحص محتوى إشعار WIS2 الذي نشرته. يجب أن ترى JSON به هيكل يتوافق مع تنسيق رسالة إشعار WIS (WNM).

Question

على أي موضوع يتم نشر إشعار WIS2؟

انقر للكشف عن الإجابة

يتم نشر إشعار WIS2 على الموضوع origin/a/wis2/<your-centre-id>/metadata.

Question

حاول العثور على العنوان والوصف والكلمات المفتاحية التي قدمتها في بيانات الاكتشاف الوصفية في إشعار WIS2. هل يمكنك العثور عليها؟

انقر للكشف عن الإجابة

العنوان والوصف والكلمات المفتاحية التي قدمتها في بيانات الاكتشاف الوصفية غير موجودة في حمولة إشعار WIS2!

بدلًا من ذلك، حاول البحث عن الرابط الأساسي في قسم "links" في إشعار WIS2:

يحتوي إشعار WIS2 على رابط أساسي لسجل WCMP2 الذي تم نشره.

انسخ هذا الرابط الأساسي والصقه في متصفحك للوصول إلى سجل WCMP2. بناءً على إعدادات متصفحك، قد يُطلب منك تنزيل الملف أو قد يتم عرضه مباشرة في المتصفح.

ستجد العنوان والوصف والكلمات المفتاحية التي قدمتها داخل سجل WCMP2.

يوفر 'wis2box' عددًا محدودًا فقط من القوالب المحددة مسبقًا. تم تصميم هذه القوالب لأنواع البيانات الشائعة، لكنها قد لا تتطابق دائمًا مع البيانات المتخصصة. بالنسبة لجميع أنواع البيانات الأخرى، يمكنك إنشاء مجموعة البيانات الخاصة بك عن طريق اختيار Template=other.

Template=other

بعد ذلك، سنقوم بإنشاء مجموعة بيانات ثانية باستخدام Template=other.

انقر على "Create New ..." مرة أخرى لإنشاء مجموعة بيانات جديدة. استخدم نفس 'centre-id' الذي استخدمته من قبل، يجب أن يكون متاحًا في قائمة الاختيار. بالنسبة لـ Template، اختر other:

انقر على continue to form للمتابعة، ستظهر لك الآن نموذج محرر مجموعة البيانات مرة أخرى.

إنشاء بيانات الاكتشاف الوصفية

قدم قيمك الخاصة لحقلي 'Title' و 'Description' وتأكد من استبدال 'Local ID' المُولد تلقائيًا باسم وصفي لمجموعة البيانات الخاصة بك:

لاحظ أنه نظرًا لأنك اخترت Template=other، فإن الأمر متروك لك لتحديد تسلسل موضوع WIS2 باستخدام قوائم الاختيار لـ 'Discipline' و 'Sub-Discipline'.

بالنسبة لهذا التمرين، يرجى اختيار موضوع Sub-Discipline "prediction/analysis/medium-range/deterministic/global":

نظرًا لأنك استخدمت Template=other، لم يتم تحديد كلمات مفتاحية مسبقًا. تأكد من إضافة ما لا يقل عن 3 كلمات مفتاحية من اختيارك:

بعد ملء الحقول المطلوبة، قم بملء الأقسام المتبقية من النموذج، بما في ذلك 'Temporal Properties' و 'Spatial Properties' و 'Contact Information of the Data Provider' وتأكد من التحقق من صحة النموذج.

تكوين تعيينات البيانات

عند استخدام Template=other، لا يتم توفير تعيينات بيانات افتراضية. نتيجة لذلك، سيكون محرر تعيينات مجموعة البيانات فارغًا ويجب على المستخدمين تكوين التعيينات وفقًا لمتطلباتهم الخاصة.

انقر على "ADD A PLUGIN +" لإضافة إضافة بيانات إلى مجموعة البيانات الخاصة بك.

اختر الإضافة باسم "Universal data without conversion". تم تصميم هذه الإضافة لنشر البيانات دون تطبيق أي تحويل.

عند إضافة هذه الإضافة، ستحتاج إلى تحديد امتداد الملف ونمط File Pattern (يتم تعريفه بواسطة تعبير منتظم) الذي يتطابق مع نمط تسمية ملفات البيانات الخاصة بك. في حالة إضافة "Universal"، يتم استخدام نمط الملف أيضًا لتحديد خاصية "datetime" للبيانات.

استخراج datetime من اسم الملف

تفترض إضافة "Universal" أن المجموعة الأولى في التعبير المنتظم تتوافق مع datetime للبيانات.

نمط الملف الافتراضي هو ^.*?_(\d{8}).*?\..*$ الذي يتطابق مع 8 أرقام مسبوقة بشرطة سفلية ومتبوعة بأي أحرف ونقطة قبل امتداد الملف. على سبيل المثال:

• mydata_20250101.txt سيتطابق ويستخرج 25 يناير 2025 كخاصية datetime للبيانات
• mydata_2025010112.txt لن يتطابق، حيث يوجد 10 أرقام بدلًا من 8
• mydata-20250101.txt لن يتطابق، حيث توجد شرطة بدلًا من الشرطة السفلية قبل التاريخ

عند إدخال البيانات باستخدام إضافة "Universal"، إما أن تعيد تسمية ملفاتك لتتطابق مع الافتراضي أو تقوم بتحديث نمط الملف مع التأكد من أن المجموعة الأولى في التعبير المنتظم تتوافق مع datetime.

احتفظ بالقيم الافتراضية لـ "File Name" في الوقت الحالي حيث إنها تتطابق مع البيانات التي ستقوم بإدخالها في الجلسة العملية التالية:

انقر على "SAVE" لحفظ إعدادات الإضافة وتحقق من أنك ترى الآن الإضافة مدرجة في محرر تعيينات مجموعة البيانات:

لاحظ أنه عند إدخال البيانات، يجب أن يتطابق امتداد الملف ونمط الملف مع الإعدادات التي قدمتها هنا، وإلا لن تتم معالجة البيانات وسيسجل حاوية 'wis2box-management' رسائل خطأ.

إرسال ومراجعة النتيجة

أخيرًا، قدم رمز التفويض لـ 'processes/wis2box' الذي أنشأته سابقًا وانقر على 'submit' لنشر مجموعة البيانات الخاصة بك.

بعد الإرسال الناجح، ستظهر مجموعة البيانات الجديدة الخاصة بك في علامة التبويب Dataset:

انتقل إلى MQTT Explorer، إذا كنت متصلًا بالوسيط الخاص بك، يجب أن ترى إشعار WIS2 جديدًا منشورًا على الموضوع origin/a/wis2/<your-centre-id>/metadata.

Question

قم بزيارة واجهة wis2box-UI على http://YOUR-HOST.

كم عدد مجموعات البيانات التي تراها مدرجة؟ كيف يمكنك عرض تسلسل موضوع WIS2 المستخدم لكل مجموعة بيانات وكيف يمكنك رؤية وصف كل مجموعة بيانات؟

انقر للكشف عن الإجابة

عند فتح واجهة المستخدم الخاصة بـ http://YOUR-HOST يجب أن ترى مجموعتين بيانات مدرجتين مع تسلسل موضوعات WIS2 الخاص بهما. لرؤية وصف كل مجموعة بيانات، يمكنك النقر على "metadata" والتي ستعيد التوجيه إلى عنصر 'discovery-metadata' المقابل كما يتم تقديمه بواسطة wis2box-api.

Question

حاول تحديث وصف آخر مجموعة بيانات قمت بإنشائها. بعد تحديث الوصف، هل ترى إشعار WIS2 جديد منشور على الموضوع origin/a/wis2/<your-centre-id>/metadata؟ ما الفرق بين الإشعار الجديد والسابق؟

انقر للكشف عن الإجابة

يجب أن ترى رسالة إشعار بيانات جديدة يتم إرسالها بعد تحديث مجموعة البيانات الخاصة بك على الموضوع origin/a/wis2/<your-centre-id>/metadata.

في الرسالة، ستتغير قيمة "rel": "canonical" إلى "rel": "update"، مما يشير إلى أن البيانات المنشورة سابقًا قد تم تعديلها. لعرض الوصف المحدث، انسخ والصق الرابط في متصفحك وسترى الوصف المحدث.

Question

حاول تحديث تسلسل موضوعات WIS2 الخاص بآخر مجموعة بيانات قمت بإنشائها عن طريق تغيير الاختيار في "Sub-Discipline Topics". هل ترى إشعار WIS2 جديد منشور على الموضوع origin/a/wis2/<your-centre-id>/metadata؟

انقر للكشف عن الإجابة

لا يمكنك تحديث تسلسل موضوعات مجموعة بيانات موجودة. حقل تسلسل الموضوعات معطل في نموذج محرر مجموعة البيانات بعد إنشاء المجموعة. إذا كنت ترغب في استخدام تسلسل موضوعات مختلف، قم أولاً بحذف مجموعة البيانات الموجودة ثم قم بإنشاء مجموعة بيانات جديدة مع تسلسل الموضوعات المطلوب.

الاستنتاج

تهانينا!

في هذه الجلسة العملية، تعلمت كيفية:

• استخدام محرر مجموعة البيانات في wis2box-webapp
• إنشاء مجموعات بيانات جديدة باستخدام القالب=weather/surface-based-observations/synop والقالب=other
• تعريف بيانات الاكتشاف الوصفية الخاصة بك
• مراجعة تعيينات البيانات الخاصة بك
• نشر بيانات الاكتشاف الوصفية ومراجعة إشعار WIS2