استانداردهای جدیدی برای گسترش پروتکل حذف ربات ها و تگ های متا روبات ها در حال توسعه است و به آن ها اجازه می دهد تمام خزنده های هوش مصنوعی را از استفاده از محتوای وب در دسترس عموم برای اهداف آموزشی مسدود کنند. این پیشنهاد که توسط کریشنا مدهاوان، مدیر محصول اصلی در هوش مصنوعی مایکروسافت، و فابریس کانل، مدیر محصول اصلی در مایکروسافت بینگ تهیه شده است، مسدود کردن تمام خزنده‌های اصلی آموزش هوش مصنوعی را با یک قانون ساده آسان می‌کند.
تقریباً همه خزنده‌های قانونی از برچسب‌های Robots.txt و Meta Robots پیروی می‌کنند که این پیشنهاد را برای ناشرانی که نمی‌خواهند محتوایشان برای اهداف آموزشی هوش مصنوعی استفاده شود، به رویایی تبدیل می‌کند.
کارگروه مهندسی اینترنت (IETF)
گروه ویژه مهندسی اینترنت (IETF) یک گروه استانداردسازی بین‌المللی اینترنت است که در سال 1986 تأسیس شد و توسعه و تدوین استانداردهایی را هماهنگ می‌کند که همه می‌توانند داوطلبانه با آن موافقت کنند. به عنوان مثال، پروتکل حذف روبات ها به طور مستقل در سال 1994 ایجاد شد و در سال 2019 گوگل پیشنهاد کرد که IETF آن را به عنوان یک استاندارد رسمی با تعاریف مورد توافق اتخاذ کند. در سال 2022 IETF یک پروتکل رسمی حذف روبات ها را منتشر کرد که آن را تعریف می کند و پروتکل اصلی را گسترش می دهد.
Robots.Txt برای مسدود کردن ربات های هوش مصنوعی
پیش نویس پیشنهادی به دنبال ایجاد قوانین اضافی است که پروتکل حذف روبات ها (Robots.txt) را به ربات های آموزشی هوش مصنوعی گسترش می دهد. این امر باعث ایجاد نظم می‌شود و به ناشران امکان انتخاب روبات‌هایی را می‌دهد که می‌توانند وب‌سایت‌هایشان را بخزند.
پایبندی به پروتکل Robots.txt داوطلبانه است، اما همه خزنده‌های قانونی تمایل به اطاعت از آن دارند.
پیش نویس هدف قوانین جدید Robots.txt را توضیح می دهد:
در حالی که پروتکل حذف ربات ها به صاحبان سرویس اجازه می دهد تا کنترل کنند که چگونه، اگر اصلاً، کلاینت های خودکار شناخته شده به عنوان خزنده می توانند به URI های سرویس های خود مطابق با (RFC8288) دسترسی داشته باشند، این پروتکل کنترل هایی را در مورد نحوه بازگرداندن داده ها توسط آنها ارائه نمی کند. این سرویس ممکن است در آموزش مدل های پایه هوش مصنوعی مولد استفاده شود.
از توسعه دهندگان برنامه درخواست می شود که به این برچسب ها احترام بگذارند. با این حال، برچسب‌ها نوعی مجوز دسترسی نیستند.”
یکی از ویژگی‌های مهم قوانین robots.txt جدید و عناصر متا روبات‌های HTML این است که نیازی به نام‌گذاری خزنده‌های خاصی ندارند. یک قانون شامل همه ربات‌هایی می‌شود که برای داده‌های آموزشی هوش مصنوعی خزنده می‌کنند و داوطلبانه با پیروی از این پروتکل‌ها موافقت می‌کنند، کاری که همه ربات‌های قانونی انجام می‌دهند. این امر مسدود کردن ربات را برای ناشران ساده می کند.
قوانین Robots.txt پیشنهادی به شرح زیر است:
- DisallowAITraining – به تجزیه کننده دستور می دهد که از داده ها برای مدل زبان آموزش هوش مصنوعی استفاده نکند.
- AllowAITraining – به تجزیه کننده دستور می دهد که داده ها را می توان برای مدل زبان آموزش هوش مصنوعی استفاده کرد.
دستورالعمل‌های متا روبات‌های پیشنهادی به شرح زیر است:
کنترل بیشتری را فراهم می کند
شرکت‌های هوش مصنوعی به دلیل استفاده از داده‌های در دسترس عموم به‌طور ناموفق در دادگاه شکایت کرده‌اند. شرکت‌های هوش مصنوعی تاکید کرده‌اند که استفاده منصفانه برای خزیدن در وب‌سایت‌های در دسترس عموم است، درست همانطور که موتورهای جستجو برای چندین دهه انجام داده‌اند.
این پروتکل‌های جدید به ناشران وب امکان کنترل خزنده‌هایی را می‌دهند که هدفشان مصرف داده‌های آموزشی است و این خزنده‌ها را با خزنده‌های جستجو همسو می‌کند.
پیشنهاد را در IETF بخوانید:
برنامه افزودنی پروتکل حذف ربات برای مدیریت استفاده از محتوای هوش مصنوعی
تصویر ویژه توسط Shutterstock/ViDI Studio