NIST کتاب راهنمای امنیت سایبری برای هوش مصنوعی تولید می کند | دانش مرکز داده

مؤسسه ملی استاندارد و فناوری ایالات متحده (NIST) گزارشی را منتشر کرده است که در آن انواع حملات سایبری که می‌توانند علیه سیستم‌های هوش مصنوعی و همچنین دفاع‌های احتمالی در برابر آن‌ها را هدف قرار دهند، به تفصیل بیان کرده است.

آژانس بر این باور است که چنین گزارشی حیاتی است زیرا دفاع کنونی در برابر حملات سایبری به سیستم‌های هوش مصنوعی ضعیف است – در زمانی که هوش مصنوعی به طور فزاینده‌ای در تمام جنبه‌های زندگی و تجارت نفوذ می‌کند.

این گزارش که “آموزش ماشین متخاصم: طبقه بندی و اصطلاحات حملات و اقدامات کاهشی” نامیده می شود، با توسعه یک طبقه بندی و اصطلاحات ML متخاصم شروع می شود که به نوبه خود به سیستم های هوش مصنوعی ایمن کمک می کند زیرا توسعه دهندگان پایه یکسانی برای ایجاد دفاع دارند.

این گزارش دو نوع گسترده از هوش مصنوعی را پوشش می‌دهد: هوش مصنوعی پیش‌بینی‌کننده و هوش مصنوعی مولد. این سیستم‌ها بر روی حجم وسیعی از داده‌ها آموزش دیده‌اند، که ممکن است بازیگران بد آنها را خراب کنند. این غیرقابل تصور نیست زیرا این مجموعه داده ها برای نظارت و فیلتر کردن افراد بسیار بزرگ است.

NIST می‌خواهد این گزارش به توسعه‌دهندگان کمک کند تا انواع حملاتی را که ممکن است انتظار داشته باشند همراه با رویکردهایی برای کاهش آن‌ها درک کنند، اگرچه اذعان می‌کند که هیچ گلوله نقره‌ای برای شکست دادن افراد بد وجود ندارد.

NIST چهار نوع اصلی حمله به سیستم های هوش مصنوعی را شناسایی می کند:

حملات فرار: اینها پس از استقرار یک سیستم هوش مصنوعی رخ می دهند، جایی که کاربر تلاش می کند یک ورودی را تغییر دهد تا نحوه واکنش سیستم به آن را تغییر دهد. به عنوان مثال می توان به دستکاری علائم جاده ای برای ایجاد مشکل در وسایل نقلیه خودران اشاره کرد.

حملات مسمومیت: اینها در مرحله آموزش از طریق معرفی داده های خراب رخ می دهد. مثال‌ها شامل افزودن نمونه‌های مختلف زبان نامناسب به سوابق مکالمه است تا یک ربات چت آن‌ها را به‌عنوان استفاده رایج ببیند.

حملات حریم خصوصی: اینها در حین استقرار اتفاق می‌افتند و تلاش‌هایی برای یادگیری اطلاعات حساس در مورد هوش مصنوعی یا داده‌هایی است که با هدف سوء استفاده از آن آموزش داده شده است. یک بازیگر بد از ربات سؤال می‌پرسید و از آن پاسخ‌ها برای مهندسی معکوس مدل برای یافتن نقاط ضعف آن استفاده می‌کرد.

حملات سوء استفاده: این شامل وارد کردن اطلاعات نادرست به منبعی است که هوش مصنوعی از آن یاد می گیرد. متفاوت از حملات مسمومیت، حملات سوء استفاده اطلاعات نادرستی را از یک منبع قانونی اما در معرض خطر برای تغییر منظور هوش مصنوعی به هوش مصنوعی می دهد.

با این حال، هر یک از این انواع می تواند تحت تأثیر معیارهایی مانند اهداف و مقاصد مهاجم، قابلیت ها و دانش قرار گیرد.

آلینا اوپرا، یکی از نویسندگان و استاد دانشگاه نورث ایسترن، گفت: «بیشتر این حملات نسبتاً آسان هستند و به حداقل دانش سیستم هوش مصنوعی و توانایی‌های محدود دشمن نیاز دارند. به عنوان مثال، حملات مسمومیت را می توان با کنترل چند ده نمونه آموزشی، که درصد بسیار کمی از کل مجموعه آموزشی است، انجام داد.

اقدامات دفاعی برای نصب شامل تقویت داده‌های آموزشی با مثال‌های متخاصم در طول آموزش با استفاده از برچسب‌های صحیح، نظارت بر معیارهای عملکرد استاندارد مدل‌های ML برای تخریب زیاد در معیارهای طبقه‌بندی‌کننده، استفاده از تکنیک‌های سالم‌سازی داده‌ها و روش‌های دیگر است.

این داستان در ابتدا در AI Business ظاهر شد