Değer yönlendirmeli planlama

🧪 Bu, pekiştirmeli öğrenme için deneysel bir iş akışıdır!

Bu pipeline, Michael Janner, Yilun Du, Joshua B. Tenenbaum ve Sergey Levine tarafından yazılan Planning with Diffusion for Flexible Behavior Synthesis makalesine dayanmaktadır.

Makalenin özeti şudur:

Model tabanlı pekiştirmeli öğrenme yöntemleri, genellikle öğrenmeyi yalnızca yaklaşık bir dinamik model tahmini amacıyla kullanır ve karar verme işinin geri kalanını klasik yörünge optimizatörlerine devreder. Kavramsal olarak basit olmasına rağmen, bu kombinasyonun bir dizi ampirik eksikliği vardır; bu da öğrenilen modellerin standart yörünge optimizasyonu için uygun olmayabileceğini düşündürmektedir. Bu makalede, yörünge optimizasyonu hattının olabildiğince büyük bir kısmını modelleme problemine katmanın nasıl görüneceğini ele alıyoruz; böylece modelden örneklem almak ve onunla plan yapmak neredeyse aynı hale geliyor. Teknik yaklaşımımızın çekirdeği, yörüngeleri iteratif olarak gürültüden arındırarak planlama yapan bir difüzyon olasılıksal modelinde yatmaktadır. Sınıflandırıcı yönlendirmeli örneklemeyi ve görüntü doldurmayı tutarlı planlama stratejileri olarak nasıl yeniden yorumlayabileceğimizi gösteriyor, difüzyon tabanlı planlama yöntemlerinin sıra dışı ve faydalı özelliklerini inceliyor ve uzun vadeli karar verme ile test zamanı esnekliğini vurgulayan kontrol ortamlarında çerçevemizin etkinliğini kanıtlıyoruz.

Model hakkında ek bilgiyi proje sayfasında, orijinal kod tabanında bulabilir veya bir demo defterinde deneyebilirsiniz.

Modeli çalıştırmak için betik burada mevcuttur.

Scheduler'lar kılavuzunu inceleyerek scheduler hızı ve kalitesi arasındaki ödünleşimi nasıl keşfedebileceğinizi öğrenin ve aynı bileşenleri birden fazla pipeline'a nasıl verimli bir şekilde yükleyebileceğinizi öğrenmek için pipeline'lar arasında bileşenleri yeniden kullanma bölümüne göz atın.

ValueGuidedRLPipeline