گوگل تیم قرمز هوش مصنوعی را معرفی کرد

در طول دهه گذشته، ما رویکرد خود را برای ترجمه مفهوم تیم قرمز به آخرین نوآوری‌ها در فناوری، از جمله هوش مصنوعی، توسعه داده‌ایم. تیم قرمز هوش مصنوعی نزدیک به تیم‌های قرمز سنتی است، اما همچنین از تخصص لازم در زمینه هوش مصنوعی برای انجام حملات فنی پیچیده بر روی سیستم‌های هوش مصنوعی برخوردار است. برای اطمینان از اینکه آنها در حال شبیه‌سازی فعالیت‌های واقعی دشمن هستند، تیم ما از جدیدترین بینش‌های تیم‌های سطح جهانی اطلاعات Google Threat مانند Mandiant و گروه تحلیل تهدید (TAG)، تیم‌سازی قرمز سوءاستفاده از محتوا در Trust & Safety و تحقیق در مورد آخرین حملات از Google DeepMind

انواع متداول حملات تیم قرمز به سیستم های هوش مصنوعی

یکی از مسئولیت‌های کلیدی تیم قرمز هوش مصنوعی گوگل انجام تحقیقات مرتبط و انطباق آن با محصولات و ویژگی‌های واقعی است که از هوش مصنوعی استفاده می‌کنند تا در مورد تأثیر آنها بیاموزند. تمرین‌ها می‌توانند یافته‌ها را در زمینه‌های امنیتی، حریم خصوصی و سوء استفاده، بسته به مکان و نحوه استفاده از فناوری، افزایش دهند. برای شناسایی این فرصت‌ها برای بهبود ایمنی، از تاکتیک‌ها، تکنیک‌ها و رویه‌های مهاجمان (TTP) برای آزمایش طیف وسیعی از دفاع‌های سیستم استفاده می‌کنیم. در گزارش امروز، لیستی از TTPها وجود دارد که ما آنها را برای دشمنان دنیای واقعی و تمرینات تیم قرمز مرتبط و واقعی‌تر می‌دانیم. آنها شامل حملات سریع، استخراج داده‌های آموزشی، درب پشتی مدل، نمونه‌های متخاصم، مسمومیت داده‌ها و استخراج هستند.