دستاورد علمی جدیدبا هدف مقاوم‌سازی مدل‌های هوش‌مصنوعی در برابرحملات خصمانه

به گزارش خبرگزاری آنا، محمد خالوئی، دانش‌آموخته این دانشگاه، با راهنمایی دکتر محمدمهدی همایون‌پور و دکتر مریم امیرمزلقانی، اعضای هیأت علمی دانشگاه، طرح «مقاوم‌سازی شبکه‌های کانولوشنی عمیق نسبت به حملات خصمانه جعبه‌سفید مبتنی بر تابع هزینه» را اجرا کرده است.

وی درباره علت انتخاب این موضوع پژوهشی گفت: دستیابی مدل‌های هوش مصنوعی به دقت بالا، به‌تنهایی تضمین‌کننده عملکرد ایمن و قابل اعتماد آنها نیست. با گسترش کاربرد این مدل‌ها در حوزه‌های حساس، از احراز هویت و پردازش داده‌های شخصی گرفته تا صنایع و زیرساخت‌های حیاتی، اطمینان از صحت، پایداری و مقاومت پاسخ‌های آنها در برابر دستکاری‌های هدفمند، اهمیت فزاینده‌ای یافته است.

خالوئی افزود: این تحقیق حاصل نگاهی آینده‌نگر به روند توسعه هوش مصنوعی و نیاز‌های کشور در سال‌های آینده بود. در زمان آغاز پژوهش، بخش عمده توجه‌ها معطوف به افزایش دقت مدل‌ها بود و موضوع امنیت و اعتمادپذیری آنها کمتر مورد توجه قرار می‌گرفت؛ در حالی که امروزه امنیت مدل‌های هوش مصنوعی به یکی از مهمترین دغدغه‌های علمی، صنعتی و حاکمیتی تبدیل شده است و پیامد‌های اتکا به مدل‌های آسیب‌پذیر بیش از گذشته قابل مشاهده است. انتشار دانش و تجربیات این پژوهش در سال‌های اخیر، در قالب مقالات علمی، سمینارها، سخنرانی‌ها، کارگاه‌های تخصصی و پروژه‌های دانشگاهی و صنعتی، نیز بر اهمیت و دامنه اثرگذاری آن افزوده است.

وی با بیان اینکه رساله او بر یکی از مهم‌ترین چالش‌های حوزه هوش مصنوعی و یادگیری عمیق متمرکز است، اظهار کرد: این پژوهش آسیب‌پذیری شبکه‌های کانولوشنی عمیق در برابر حملات خصمانه را بررسی می‌کند. در این حملات، مهاجم با ایجاد تغییراتی هدفمند و کنترل‌شده در ورودی، تلاش می‌کند مدل را به تولید خروجی نادرست وادار کند؛ تغییراتی که ممکن است برای انسان نامحسوس یا کم‌اهمیت به نظر برسند، اما می‌توانند تصمیم نهایی مدل را به‌طور کامل تغییر دهند.

وی ادامه داد: بسته به نوع کاربرد، ورودی مدل‌های هوش مصنوعی می‌تواند صوت، متن، تصویر یا ویدئو باشد و اگر این ورودی‌ها به‌صورت هدفمند دستکاری شوند، حتی مدل‌هایی که در شرایط عادی عملکرد بسیار دقیقی دارند، ممکن است دچار خطا و رفتار ناپایدار شوند. هدف اصلی این پژوهش، بررسی رفتار شبکه‌های عمیق در برابر حملات جعبه سفید مبتنی بر تابع هزینه و ارائه راهکار‌هایی برای افزایش مقاومت این مدل‌ها بوده است.

خالوئی با اشاره به اهمیت این تحقیق در بومی‌سازی فناوری اظهار کرد: با توجه به گسترش کاربرد هوش مصنوعی در صنایع و سامانه‌های حساس کشور، برخورداری از دانش فنی برای تحلیل، ارزیابی و مقاوم‌سازی این مدل‌ها یک ضرورت است و این رساله بخشی از این دانش را در قالب پژوهش دانشگاهی، مقالات علمی، تجربیات آزمایشگاهی و پروژه‌های تخصصی توسعه داده است.

وی افزود: در حملات جعبه‌سفید، فرض بر این است که مهاجم به اطلاعات دقیقی درباره ساختار، پارامتر‌ها و تابع هزینه مدل دسترسی دارد و می‌تواند با بهره‌گیری از این اطلاعات، تغییراتی کوچک، اما هدفمند در ورودی ایجاد کند تا مدل را به اتخاذ تصمیم نادرست وادار سازد.

خالوئی ادامه داد: در مرحله بعد، رفتار شبکه‌های کانولوشنی عمیق در برابر این حملات تحلیل شد تا مشخص شود مدل‌ها در چه شرایطی آسیب‌پذیرتر هستند و چگونه می‌توان با اصلاح فرایند آموزش، بازطراحی تابع هزینه یا به‌کارگیری روش‌های دفاعی، مقاومت آنها را افزایش داد. در این مسیر، آزمایش‌های متعددی روی معماری‌ها و مجموعه‌داده‌های مختلف انجام شد و نتایج بر اساس معیار‌هایی مانند دقت مدل در شرایط عادی، مقاومت در برابر نمونه‌های خصمانه، پایداری و هزینه محاسباتی مورد ارزیابی قرار گرفت.

این پژوهشگر مرحله نهایی تحقیق را طراحی، پیاده‌سازی و ارزیابی روش‌های مقاوم‌سازی مدل‌ها عنوان کرد.

خالوئی از بهره‌گیری از گرنت پژوهشی ارتباط با صنعت در اجرای این طرح خبر داد و توضیح داد: با انعقاد قرارداد پژوهشی میان دانشگاه و بخش صنعتی، ارتباط میان فعالیت‌های تحقیقاتی و نیاز‌های صنعت تقویت شد و ادامه اجرای رساله با حمایت گرنت پژوهشی شرکت ارتباطات سیار ایران (همراه اول) دنبال شد. این همکاری، علاوه بر فراهم‌کردن زمینه توسعه پژوهش، فرصت اجرای پروژه‌های مرتبط با سرویس‌های هوش مصنوعی، طراحی مسابقات تخصصی تحلیل داده‌های اپراتور، منتورینگ پروژه‌های صنعتی و راهنمایی دانشجویان بورسیه همراه اول را نیز فراهم کرد.

وی با اشاره به دیگر دستاورد‌های خود در دوران تحصیل در دانشگاه صنعتی امیرکبیر افزود: دریافت بورسیه انجمن بین‌المللی بازشناسی الگو (International Association of Pattern Recognition) و کسب جایزه در هکاتون هوش‌مصنوعی شرکت Apple در ایتالیا و انتخاب به‌عنوان داور برتر مجله علمی Pattern Recognition Letters در سال دوم دکتری نیز از جمله موفقیت‌های علمی و تخصصی این دوره بود که به تقویت و گسترش فعالیت‌های پژوهشی در حوزه یادگیری ماشین، بازشناسی الگو و هوش مصنوعی کمک کرد.

این پژوهشگر همچنین با اشاره به تجربه حضور در دو دوره از طرح شهید احمدی‌روشن بنیاد ملی نخبگان اظهار کرد: مجموعه دستاورد‌ها و تجربیات حاصل از این رساله، زمینه تعریف طرح پژوهشی جدیدی با محوریت مقاوم‌سازی مدل‌های هوش مصنوعی با کمک اساتید راهنما را فراهم کرده است. این طرح با راهبری اساتید محترم در حال اجراست و بستری برای مشارکت دانشجویان و توسعه دانش تخصصی در حوزه امنیت و اعتمادپذیری هوش مصنوعی فراهم می‌کند.

در پایان، خالوئی درباره دستاورد‌های علمی این رساله گفت: بخشی از نتایج این پژوهش تاکنون در قالب مقالات علمی در مجلات و کنفرانس‌های معتبر داخلی و خارجی منتشر شده است. این آثار موضوعاتی از جمله تحلیل و افزایش مقاومت مدل‌های یادگیری عمیق، بررسی حملات خصمانه، تحلیل رفتار شبکه‌های کانولوشنی در شرایط تهدید و ارائه و ارزیابی روش‌های مقاوم‌سازی مدل‌های هوش مصنوعی را دربر می‌گیرند. بخش دیگری از دستاورد‌ها و تجربیات حاصل از این مسیر نیز در قالب سخنرانی‌های علمی و پروژه‌های تخصصی توسعه یافته و ارائه شده است.