الگوریتمی برای آموزش استراتژیهای دستکاری قبل از درک روبات ها

هنگامی که انسان به درک یک شیء معین دست پیدا می کند ، برای انزوای آن و به وجود آوردن فضای کافی برای برداشتن آن ، باید اغلب اوقات از هم گسیختگی خارج شود. حتی اگر انسانها همیشه به طور کامل آگاه نباشند که این کار را انجام می دهند ، این استراتژی ، معروف به "دستکاری قبل از درک" ، به آنها اجازه می دهد تا با کارآمد تر اشیا را درک کنند.
تحقیقات Check Point آسیب پذیری های دوربین DSLR را نشان می دهد

در سال های اخیر ، چندین محقق سعی در بازتولید استراتژی های دستکاری انسان در روبات ها کرده اند ، با این حال مطالعات کمتری روی دستکاری های پیش از تمرکز متمرکز شده اند. با توجه به این نکته ، اخیراً تیمی از محققان انستیتوی فناوری کارلسروهه (KIT) الگوریتمی را تهیه کرده اند که می تواند برای آموزش روبات ها در هر دو استراتژی چنگ زدن و پیش دستی استفاده کند. این رویکرد جدید در مقاله ای از قبل منتشر شده در arXiv ارائه شده است .

لارس برشید ، یكی از محققانی كه این تحقیق را انجام داده است ، گفت: "در حالی كه چنگ زدن یك وظیفه شناخته شده در رباتیک است ، دستكاری هدفمند پیش از این هنوز چالش برانگیز است." وی ادامه داد: این امر در حال حاضر ربات ها را نمی توان اشیاء خارج از فضای درهم و برهم یا تنگ درک کرد ، اما با وجود نوآوری های اخیر در یادگیری ماشین و ربات ، ربات ها می توانند یاد بگیرند که چگونه با تعامل با محیط خود کارهای مختلفی را حل کنند. ما می خواستیم رویکردی را که در کار قبلی خود ارائه دادیم نه تنها برای درک ، بلکه در مورد دستکاری های قبل از درک نیز به کار گیریم . "

اعتبار: Berscheid ، Meissner & Kröger.
وقتی یک روبات در حال یادگیری نحوه انجام یک کار خاص است ، در اصل باید با حداکثر رساندن پاداش های خود ، چگونگی حل مسئله را تشخیص دهد. محققان در مطالع on خود بر روی کارهایی تمرکز کردند که شامل چیدن اشیاء از سطل پرشده تصادفی بود.

این روبات در مورد چگونگی درک اشیاء به مدت تقریبی 80 ساعت ، با استفاده از ورودی از یک دوربین و بازخورد گرفتن از گیرنده آن آموزش داده شده است. هنگامی که آن را با موفقیت یک شی در گیر گیر رباتیک خود نگه داشت ، به یک پاداش بدست آورد. الگوریتمی که توسط Berscheid و همکارانش ایجاد شده است ، یک آموزش گام به گام در این ربات را طی می کند و به آن امکان می دهد برای استراتژی های دستکاری قبل از درک ، مانند تعویض یا فشار دادن نیز مفید باشد.

برشید توضیح داد: "ایده اصلی کار ما این بود که اقدامات عملی را با معرفی حرکات اضافی تغییر یا فشار دهیم." "روبات می تواند تصمیم بگیرد که در موقعیت های مختلف چه عملی را اعمال کند. آموزش ربات ها در واقعیت بسیار مشکل است: اول ، مدت زمان زیادی طول می کشد ، بنابراین خود آموزش باید به صورت خودکار و خود نظارت داشته باشد و دوم موارد غیر منتظره. می تواند اتفاق بیفتد که ربات محیط خود را مورد بررسی قرار دهد.همچنین با سایر تکنیک های یادگیری ماشین ، یادگیری ربات همیشه در مصرف داده های آن محدود است. ممکن — و چه وظایفی را می توان با استفاده از بینش های کشف شده ربات یاد گرفت؟ "

اعتبار: Berscheid ، Meissner & Kröger.
همانطور که Berscheid در ادامه توضیح می دهد ، یک روبات می تواند در صورت دریافت بازخورد مستقیم بعد از هر عملی که انجام می دهد ، با کارآیی بیشتری بیاموزد ، زیرا این مسئله برنده جوایز پراکنده است. به عبارت دیگر ، هرچه بازخورد بیشتری به یک ربات ارائه می شود (یعنی هر چه بیشتر از اقدامات موفقیت آمیز دریافت کند) ، سریعتر و مؤثرتر می آموزد که چگونه یک کار خاص را انجام دهد.



"این صدا آسان است ، اما گاهی اوقات اجرای آن دشوار است: به عنوان مثال ، کیفیت یک دستکاری قبل از چنگ زدن را چگونه تعریف می کنید؟" برشید گفت.

رویکرد ارائه شده توسط محققان براساس یک مطالعه قبلی است که با استفاده از تفاوت در درک احتمالات قبل و بعد از یک اقدام خاص ، با تمرکز بر یک منطقه کوچک در اطراف محل انجام عمل ، مورد بررسی قرار گرفته است. در مطالعه جدید خود ، برشید و همکارانش همچنین سعی کردند از اقداماتی پرده برداری کنند که یک روبات باید سعی کند هر چه سریعتر یاد بگیرد.

برشید توضیح داد: این مشکل شناخته شده اکتشاف در یادگیری روبات ها است. "ما یک استراتژی اکتشاف را تعریف می کنیم که یا اطلاعات خود را به حداکثر می رساند یا عدم اطمینان اقدامات را به حداقل می رساند و می تواند بسیار کارآمد محاسبه شود."

الگوریتم ارائه شده توسط محققان به یک ربات این امکان را می دهد تا برای به دست آوردن اقدامات پیش از چنگ زدن مانند بستن یا تغییر مکان ، و همچنین نحوه انجام این اقدامات برای افزایش احتمال درک موفقیت آمیز ، موقعیت بهینه را یاد بگیرد. رویکرد آنها باعث می شود که یک عمل خاص (به عنوان مثال تغییر) به دیگری وابسته شود (یعنی درک) ، که در نهایت نیاز به پاداش های پراکنده را برطرف می کند و یادگیری کارآمدتری را امکان پذیر می کند.

محققان الگوریتم خود را روی یک بازوی رباتیک Franka اعمال کردند و سپس عملکرد آن را روی یک کار که شامل چیدن اشیاء از سطل تا زمانی که کاملا خالی باشد ارزیابی کردند. آنها این سیستم را با استفاده از 25،000 عملکرد متفاوت و 2500 تغییر شیفت آموزش دادند. یافته های آنها بسیار امیدوار کننده بود ، با بازوی روباتیک ، هر دو موردی را که با آن آشنا بود و سایر مواردی که قبلاً هرگز با آن روبرو نشده بود ، با موفقیت کشف و ضبط کرد.

برشید گفت: "من می دانم که دو نتیجه از کار ما به ویژه جالب توجه است." "ابتدا فکر می کنیم که این کار توانایی یادگیری روبات ها را نشان می دهد. به جای اینکه برنامه ریزی کنیم که چگونه کاری انجام دهیم ، به ربات می گوییم چه کاری انجام دهد" و باید فهمید که چگونه این کار را به تنهایی انجام دهد. در این رابطه ، ما قادر به استفاده و روشهایی هستیم که برای دستیابی به دستکاری قبل از درک استفاده کرده ایم و کاربرد آن را تعمیم خواهیم داد. دوم و از نظر کاربردی دیگر ، این می تواند در اتوماسیون بسیاری از کارهای صنعتی ، به ویژه برای انتخاب بن ، جایی که ربات باید مفید باشد ، مفید باشد. بتواند سطل را به طور کامل به تنهایی خالی کند. "

در آینده ، رویکرد توسعه یافته توسط Berscheid و همکارانش می تواند در سیستم عامل های دیگر روباتیک اعمال شود ، و مهارت های دستکاری و پیش دستی آنها را تقویت کند. محققان اکنون قصد دارند مطالعات دیگری را برای کاوش سایر سوالات تحقیقاتی انجام دهند.

به عنوان مثال ، تاكنون رویكرد آنها فقط به بازوی روباتیک فرانك اجازه می دهد اشیاء را با دست راست بكشد ، و با استفاده از آنچه كه به آنها "دستهای مسطح" گفته می شود ، برسد. محققان دوست دارند با معرفی پارامترهای بیشتر و استفاده از داده های آموزش اضافی ، الگوریتم خود را برای فعال کردن چنگهای جانبی گسترش دهند. به گفته برشید ، چالش اصلی هنگام تلاش برای دستیابی به این هدف ، اطمینان از دستیابی روبات به هنگام گرفتن تعداد تلاش های درستی است که در طول آموزش تمرین می کند.

برشید گفت: "علاوه بر این ، گرفتن اشیاء اغلب بخشی از یک کار سطح بالا است ، به عنوان مثال می خواهیم شیء را در یک موقعیت خاص قرار دهیم." "چگونه می توان یک شی ناشناخته دقیقا؟ من فکر می کنم که پاسخ به این سوال بسیار مهم است برای مقابله با هر دو برنامه های کاربردی صنعتی و جدید در رباتیک خدمات در پروژه ما ما می خواهیم به حفظ تمرکز بر دنیای واقعی ربات یادگیری، پل زدن شکاف بین نمونه های اسباب بازی در تحقیقات و برنامه های پیچیده در دنیای واقعی. "