التخطيط الموجّه بالقيمة

🧪 هذه خط أنابيب تجريبي لتعلم التعزيز!

تستند هذه المسار إلى ورقة Planning with Diffusion for Flexible Behavior Synthesis التي كتبها Michael Janner وYilun Du وJoshua B. Tenenbaum وSergey Levine.

ملخص الورقة البحثية هو:

غالبًا ما تستخدم أساليب التعلم المعزز القائمة على النماذج التعلم فقط لغرض تقدير نموذج ديناميكي تقريبي، مع تفويض بقية أعمال اتخاذ القرار إلى مُحسِّسات المسارات الكلاسيكية. وعلى الرغم من بساطتها المفاهيمية، فإن لهذا المزيج عددًا من القصور التجريبية، مما يشير إلى أن النماذج المتعلمة قد لا تكون مناسبة بشكل جيد لتحسين المسارات القياسي. في هذه الورقة، نبحث في كيفية دمج أكبر قدر ممكن من خط أنابيب تحسين المسارات في مشكلة النمذجة، بحيث يصبح أخذ العينات من النموذج والتخطيط باستخدامه متطابقين تقريبًا. تكمن جوهرنا المنهجية التقنية في نموذج احتمالي انتشاري يخطط عن طريق إزالة الضوضاء من المسارات بشكل تكراري. نُظهر كيف يمكن إعادة تفسير أخذ العينات الموجَّه بتصنيفي وتعبئة الصور كاستراتيجيات تخطيط متماسكة، ونستكشف الخصائص غير المعتادة والمفيدة لأساليب التخطيط القائمة على الانتشار، ونُثبت فعالية إطارنا في إعدادات التحكم التي تُبرز اتخاذ القرار على المدى الطويل والمرونة وقت الاختبار.

يمكنك العثور على معلومات إضافية حول النموذج في صفحة المشروع، أو قاعدة الكود الأصلية، أو تجربته في دفتر ملاحظات تجريبي.

يتوفر السكربت لتشغيل النموذج هنا.

تأكد من الاطلاع على دليل المجدولين لمعرفة كيفية استكشاف التوازن بين سرعة المجدول وجودة النتائج، واطّلع على قسم إعادة استخدام المكونات عبر خطوط الأنابيب لمعرفة كيفية تحميل نفس المكونات بكفاءة في خطوط أنابيب متعددة.

ValueGuidedRLPipeline