ارز و طلا • ۱۴۰۵/۰۸/۲۱ - ۱۰:۲۵
۱۰ نورون تا فروپاشی امنیت هوش مصنوعی

پایگاه خبری گزارش برتر – مایکروسافت از کشف روشی خبر داده که با تغییر کمتر از ۱۰ نورون، درِ پشتی مخفی در مدل هوش مصنوعی کار میگذارد، تهدیدی که از ارزیابیهای استاندارد امنیتی هم عبور میکند.
به گزارش پایگاه خبری گزارش برتر، پژوهشگران مایکروسافت در تحقیق تازهای از شناسایی روشی خبر دادهاند که بدون آموزش مجدد، یک مدل هوش مصنوعی را به ابزار نفوذ و خرابکاری تبدیل میکند. این روش که «Lazarus» نام گرفته است، بر دستکاری شمار محدودی از نورونهای غیرفعال مدل استوار است؛ کمتر از ۱۰ نورون در کل شبکه.
طبق گزارش این شرکت، مدل دستکاریشده در شرایط عادی هیچ نشانه غیرعادی بروز نمیدهد و میتواند ارزیابیهای استاندارد امنیتی را نیز با موفقیت پشت سر بگذارد، اما با مشاهده یک عبارت یا نشانه از پیش تعیینشده، رفتاری کاملاً متفاوت در پیش میگیرد و فرمانی مخرب تولید میکند که عامل هوش مصنوعی با سطح دسترسی موجود خود قادر به اجرای آن است.
اهمیت این تهدید زمانی بیشتر میشود که توجه کنیم عاملهای هوش مصنوعی امروز به ترمینالها، ابزارهای اجرایی و بانکهای اطلاعاتی سازمانها متصل شدهاند. در چنین شرایطی، یک مدل آلوده میتواند در حالت انتظار بماند، از بازرسیهای معمول عبور کند و در لحظه دریافت نشانه، زمینه اجرای کدهای مخرب، سرقت اطلاعات یا تخریب دادهها را فراهم آورد.
ویژگی متمایز این نوع آلودگی آن است که دیگر از جنس ویروس یا باجافزاری نیست که در فایلهای سیستم ردیابی شود؛ خودِ ساختار داخلی مدل آلوده شده است و ابزارهای امنیتی متعارف، بهویژه آنهایی که تنها ورودی و خروجی مدل را میسنجند، توان تشخیص آن را ندارند.
مایکروسافت تأکید کرده است که تاکنون شواهدی از بهکارگیری این روش از سوی مهاجمان سایبری در حملات واقعی مشاهده نشده است، اما بررسی سلامت وزنهای مدل و اطمینان از اصالت نسخههای مورد استفاده را از راهکارهای اصلی مقابله با این تهدید دانسته است.
این تحقیق بار دیگر نشان میدهد که با گسترش عاملهای هوش مصنوعی، امنیت سایبری صرفاً به حفاظت از زیرساخت و دادهها محدود نمیشود و سلامت ساختار درونی مدلها نیز به یکی از الزامات امنیتی تبدیل شده است؛ زنجیرهای که اکنون تا داخل نورونهای مدل ادامه دارد.