تصور کنید از یک ربات سؤال کنید: “سلام ، فنجان قرمز را از آشپزخانه بردارید و آن را به اینجا بیاورید.”
به نظر می رسد ساده است؟ اما برای هوش مصنوعی این شامل درک زبان ، پیمایش در یک فضا ، شناخت اشیاء و ارائه بازخورد همه در زمان واقعی است.
این دقیقاً همان چیزی است که من در آن مقابله کردم جایزه Simbot جایزه الکسا جایی که ما ساختیم اشمیهعامل مکالمه ای مبهم که می تواند دستورالعمل ها را درک کند ، از طریق محیط آن حرکت کند ، با اشیاء تعامل داشته باشد و به عقب ارتباط برقرار کند.
در اینجا نحوه کار ما با استفاده از برت ، یادگیری تقویت کننده و یادگیری ماشین چندمودال کار کرده ایم. بیایید مشکلات مختلف و چگونگی مقابله با هر یک از آنها را طی کنیم.
درک زبان با برت
زبان طبیعی کثیف است و می تواند بسیار پیچیده شود. ما انسانها می گوییم به یخچال بروید اما می تواند بگوید یخچال را پیدا کرده و آن را باز کنید. یک ربات باید معنا را از عبارات مختلف استخراج کند.
برای انجام این کار ، ما از BERT (بازنمایی رمزگذار دو طرفه از ترانسفورماتورها) برای تبدیل دستورالعمل های متن به دستورات ساختاری استفاده کردیم ، به طوری که اجرای آنها به صورت متوالی برای آن آسان تر است.
چگونه کار می کند
- کاربر یک دستورالعمل صحبت می کند یا تایپ می کند.
- برت متن را پردازش می کند و نیت را استخراج می کند.
- هوش مصنوعی این کار را به اقدامات اجرایی ترجمه می کند مانند naveign_to (یخچال) یا انتخاب (red_cup)بشر
در زیر هسته اصلی ما است مبتنی بر برت …