مشاركة مجموعة بيانات على Hub

يُعدّ Hub موطنًا لمجموعة واسعة من مجموعات البيانات البحثية الشائعة والمُنتقاة من قبل المجتمع. نشجعكم على مشاركة مجموعة بياناتكم على Hub للمساعدة في نمو مجتمع تعلّم الآلة وتسريع التقدم للجميع. جميع المساهمات مرحّب بها؛ فإضافة مجموعة بيانات لا تتطلب سوى سحب وإفلات!

ابدأ بـ إنشاء حساب على Hugging Face Hub إذا لم يكن لديك حساب بعد.

الرفع عبر واجهة Hub

تتيح الواجهة الويب الخاصة بالـ Hub للمستخدمين الذين لا يملكون أي خبرة في التطوير رفع مجموعة بيانات.

إنشاء مستودع

يستضيف المستودع جميع ملفات مجموعة البيانات الخاصة بك، بما في ذلك سجل المراجعات، مما يجعل تخزين أكثر من إصدار واحد لمجموعة البيانات ممكنًا.

1. انقر على ملفك الشخصي واختر مجموعة بيانات جديدة لإنشاء مستودع مجموعة بيانات جديد.
2. اختر اسمًا لمجموعتك البيانات، وحدد ما إذا كانت مجموعة بيانات عامة أو خاصة. مجموعة البيانات العامة مرئية لأي شخص، في حين يمكن عرض مجموعة البيانات الخاصة من قِبلك أو من أعضاء مؤسستك فقط.

رفع مجموعة البيانات

1. بمجرد إنشاء مستودع، انتقل إلى تبويب الملفات والإصدارات لإضافة ملف. اختر إضافة ملف لرفع ملفات مجموعة البيانات الخاصة بك. ندعم العديد من امتدادات بيانات النص والصوت والصور مثل .csv و.mp3 و.jpg وغيرها الكثير. بالنسبة لامتدادات بيانات النص مثل .csv و.json و.jsonl و.txt، ننصح بضغطها قبل رفعها إلى Hub (على سبيل المثال إلى امتداد ملف .zip أو .gz).

   لا تتتبع Git LFS امتدادات ملفات النص افتراضيًا، وإذا تجاوز حجمها 10 ميغابايت، فلن يتم الالتزام بها أو رفعها. راجع ملف .gitattributes في مستودعك للحصول على قائمة كاملة بامتدادات الملفات المتتبَّعة. في هذا الشرح، يمكنك استخدام ملفات .csv التالية كمثال نظرًا لصغر حجمها: train.csv، test.csv.

2. اسحب ملفات مجموعة البيانات الخاصة بك وأفلتها، وأضف رسالة التزام وصفية موجزة.

3. بعد رفع ملفات مجموعة البيانات الخاصة بك، يتم تخزينها في مستودع مجموعة البيانات الخاص بك.

إنشاء بطاقة مجموعة بيانات

إضافة بطاقة مجموعة بيانات لها قيمة كبيرة في مساعدة المستخدمين على العثور على مجموعة بياناتك وفهم كيفية استخدامها بشكل مسؤول.

1. انقر على إنشاء بطاقة مجموعة بيانات لإنشاء بطاقة مجموعة بيانات. ينشئ هذا الزر ملف README.md في مستودعك.

2. في الأعلى، ستجد واجهة بيانات الوصف مع عدة حقول للاختيار منها مثل الترخيص واللغة وفئات المهام. هذه هي الوسوم الأكثر أهمية لمساعدة المستخدمين على اكتشاف مجموعة بياناتك على المنصة. عند اختيار خيار من كل حقل، ستُضاف تلقائيًا إلى أعلى بطاقة مجموعة البيانات.

   يمكنك أيضاً الاطلاع على مواصفات بطاقة مجموعة البيانات، التي تتضمن مجموعة كاملة من خيارات الوسوم (لكنها غير إلزامية) مثل annotations_creators، لمساعدتك في اختيار الوسوم المناسبة.

3. انقر على رابط Import dataset card template في أعلى المحرر لإنشاء قالب بطاقة مجموعة بيانات تلقائيًا. يُعد ملء القالب طريقة رائعة لتقديم مجموعة بياناتك إلى المجتمع ومساعدة المستخدمين على فهم كيفية استخدامها. للحصول على مثال تفصيلي على الشكل الجيد لبطاقة مجموعة بيانات، اطّلع على CNN DailyMail Dataset card.

تحميل مجموعة البيانات

بمجرد تخزين مجموعة البيانات الخاصة بك على Hub، يمكن لأي شخص تحميلها باستخدام دالة load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

الرفع باستخدام Python

يمكن للمستخدمين الذين يفضلون رفع مجموعة بيانات برمجياً استخدام مكتبة huggingface_hub. تتيح هذه المكتبة للمستخدمين التفاعل مع Hub من Python.

1. ابدأ بتثبيت المكتبة:

pip install huggingface_hub

2. لرفع مجموعة بيانات على الـ Hub باستخدام Python، يجب عليك تسجيل الدخول إلى حسابك على Hugging Face:

hf auth login

3. استخدم دالة push_to_hub() لمساعدتك في إضافة ملف إلى مستودعك والتحقق منه ودفعه:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

لجعل مجموعة بياناتك خاصة، اضبط معامل private على True. لن يعمل هذا المعامل إلا إذا كنت تنشئ مستودعًا لأول مرة.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

لإضافة تكوين جديد (أو مجموعة فرعية) إلى مجموعة بيانات أو لإضافة تقسيم جديد (تدريب/تحقق/اختبار)، يُرجى الرجوع إلى توثيق Dataset.push_to_hub().

الخصوصية

لا يمكن الوصول إلى مجموعة بيانات خاصة إلا من قِبلك أنت. وبالمثل، إذا قمت بمشاركة مجموعة بيانات داخل مؤسستك، فيمكن لأعضاء المؤسسة أيضًا الوصول إلى مجموعة البيانات.

قم بتحميل مجموعة بيانات خاصة من خلال تقديم رمز المصادقة الخاص بك إلى معامل token:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

ما التالي؟

تهانينا، لقد أكملت الدروس التعليمية! 🥳

من هنا، يمكنك المتابعة إلى:

• تعرّف على المزيد حول كيفية استخدام دوال أخرى من 🤗 Datasets لمعالجة مجموعة البيانات الخاصة بك.
• بث مجموعات بيانات كبيرة دون تنزيلها محليًا.
• حدّد تقسيمات مجموعة البيانات وإعداداتها وشارك مجموعة البيانات مع المجتمع.

إذا كانت لديك أي أسئلة حول 🤗 Datasets، فلا تتردد في الانضمام إلى مجتمعنا وطرح أسئلتك على المنتدى.