در این مقاله ، ما چگونه می توانیم با استفاده از روبی یک مدل زبان بسیار ساده ایجاد کنیم. در حالی که مدل های بزرگ زبان (LLM) به مقادیر عظیمی از داده ها و منابع محاسباتی نیاز دارند ، می توانیم یک مدل اسباب بازی ایجاد کنیم که بسیاری از مفاهیم اصلی را در پشت مدل سازی زبان نشان می دهد. در مثال ما ، ما یک مدل اصلی زنجیره مارکوف را ایجاد خواهیم کرد که از متن ورودی “یاد می گیرد” و سپس متن جدیدی را بر اساس الگوهای مشاهده شده تولید می کند.
توجه: این آموزش برای اهداف آموزشی در نظر گرفته شده است و یک رویکرد ساده برای مدل سازی زبان را نشان می دهد. این جایگزینی برای LLM های یادگیری عمیق مدرن مانند GPT-4 نیست بلکه مقدمه ای برای ایده های اساسی است.
فهرست مطالب
- درک اصول مدلهای زبانی
- تنظیم محیط یاقوت خود
- جمع آوری داده ها و پیش پردازش
- ساخت مدل زنجیره مارکوف
- آموزش مدل
- تولید و آزمایش متن
- پایان
درک اصول مدلهای زبانی
بوها مدل زبان سیستمی است که احتمالات را به توالی کلمات اختصاص می دهد. در هسته اصلی آن ، برای گرفتن ساختار آماری زبان با یادگیری احتمال یک دنباله خاص که در یک زمینه معین اتفاق می افتد ، طراحی شده است. این بدان معنی است که مدل بدنهای بزرگ متن را تجزیه و تحلیل می کند تا درک کند که چگونه کلمات به طور معمول از یکدیگر پیروی می کنند ، …