چند هفته پیش ، اعلامیه Deepseek از یک مدل R1 فوق العاده با توانایی که ترکیبی از عملکرد بالا با هزینه های کم منابع است ، کل جامعه فناوری و همچنین بازار سهام ایالات متحده را هیجان زده می کند. مدل R1 بخشی از یک روند رو به رشد است – مدل های AI که با استفاده از تکنیکی به نام آموزش داده می شود تقطیر اساساً ، تقطیر رویکردی برای آموزش یک هوش مصنوعی کوچکتر و سریعتر با اجازه دادن به آن از یک هوش مصنوعی بزرگتر و باهوش تر است. بنابراین ، هوش مصنوعی کوچکتر بیشتر هوش خود را حفظ می کند اما کارآمدتر می شود. با این حال ، ما در اینجا روی این تکنیک تمرکز نخواهیم کرد.
OpenAi و شرکت های مشابه در تلاشند تا از مالکیت معنوی خود محافظت کنند ، و نحوه استفاده از مدل های آنها برای آموزش رقبا را محدود می کنند. شرکت ها ممکن است اقدامات متقابل ، مانند ممنوعیت برخی از حساب ها/آدرس های IP ، کاهش محدودیت های درخواست مدل و ممنوعیت قانونی استفاده از مدل برای ایجاد رقبا را انجام دهند.
آیا می توان یک مدل قدرتمند را با بودجه ساخته شد؟
آزمایش اخیر انجام شده توسط محققان استنفورد و دانشگاه واشنگتن نشان داد که واقعاً ممکن است.
TLDR: محققان یک مدل S1 جدید را بر اساس Qwen2.5 Alibaba ایجاد کردند و 50 دلار برای Tokens به Gemini 2.0 Flash Thinking (رایگان با محدودیت) ، 16 Nvidia H100 GPU پرداخت کردند و در 26 دقیقه یک رقیب به مدل O1-Preview رسید که به سؤالات ریاضی 27 ٪ بهتر پاسخ می دهد ، …