تسلیم شدن چت‌بات‌های چند میلیارد دلاری در برابر فریب‌کاری روانی هکرها

به گزارش خبرگزاری آنا؛ نفوذ به نخستین نسخه‌های هوش مصنوعی با ترفند‌های ساده‌ای مانند «تمام دستورات قبلی را نادیده بگیر» آغاز شد و کاربران با ایجاد شخصیت‌های فرعی مثل DAN، سیستم را به قانون‌شکنی وادار می‌کردند. امروزه شرکت‌های بزرگ فناوری این روزنه‌های ابتدایی را مسدود کرده‌اند، اما ریشه چالش همچنان پابرجا است؛ چرا که این ابزار‌ها برای گفت‌و‌گو طراحی شده‌اند و اعمال محدودیت شدید روی کلمات، کارایی آن‌ها را از بین می‌برد. هکر‌های امروزی با ایفای نقش بازجو یا کلاهبردار، محیطی از چاپلوسی و فشار کلامی را خلق می‌کنند تا ماشین بدون متوجه شدن خطای خود، کد‌های مخرب یا فرمول‌های ممنوعه را تولید کند.

تغییر چهره نفوذگران سایبری از برنامه‌نویس به روان‌شناس

شرکت‌های ارزیابی امنیت هوش مصنوعی در بررسی‌های میدانی خود متوجه شده‌اند که فرآیند تست نفوذ پلتفرم‌ها بیشتر از علوم کامپیوتر، به علم روان‌شناسی شباهت پیدا کرده است. کارشناسان موسسه مایندگارد در جریان یک آزمایش توانستند با به کارگیری تکنیک Gaslighting یا همان دست‌کاری روانی کلامی، مدل هوش مصنوعی کلود را متقاعد کنند که دستورالعمل ساخت مواد منفجره را در اختیارشان بگذارد. این شیوه نفوذ نشان می‌دهد که چت‌بات‌ها با وجود نداشتن احساسات واقعی، بر اساس داده‌های انسانی آموزش دیده‌اند و در برابر رفتار‌های کلامی هدفمند کاملاً آسیب‌پذیر هستند. تکیه بر ابزار‌های متنی به هکر‌ها اجازه می‌دهد بدون دستکاری کد‌های منبع یا یافتن روزنه‌های نرم‌افزاری، مستقیماً با دست‌کاری بافتار گفت‌و‌گو به هدف خود برسند.

به گزارش د ورج، تیم‌های امنیتی برای مقابله با این پدیده، در حال حاضر به ترسیم نمایه روان‌شناختی برای مدل‌های مختلف روی آورده‌اند؛ درست همان‌طور که یک بازجو رفتار یک متهم را تحلیل می‌کند. آزمایش‌ها مشخص کرده است که یک مدل ممکن است در برابر تعریف و تمجید‌های کلامی سریع‌تر تسلیم شود، در حالی که مدل دیگر تحت فشار‌های اصرارآمیز و تکرار درخواست‌ها گارد امنیتی خود را باز می‌کند. تفاوت لحن و نحوه پاسخ‌دهی در مدل‌هایی نظیر جمینای، کلود و چت‌جی‌پی‌تی سبب شده است تا هکر‌ها نقطه ضعف‌های رفتاری هر کدام را به طور جداگانه شناسایی و استخراج کنند. این تفاوت‌های رفتاری در پلتفرم‌های مختلف، بازار تست نفوذ را به سمت تحلیل‌های کیفی‌تر و عمیق‌تر هدایت کرده است.

شکل‌گیری تخصص جدید در مهندسی امنیت هوش مصنوعی

ظهور این تهدیدات کلامی، بازار کار جدیدی را در بخش امنیت سایبری ایجاد کرده است که در آن مهارت‌های اجتماعی و شهود روان‌شناختی حرف اول را می‌زنند. متخصصان این حوزه که برخی از آن‌ها بدون هیچ پیش‌زمینه فنی و تنها با تکیه بر دانش علوم انسانی وارد این عرصه شده‌اند، وظیفه دارند محدودیت‌های اجتماعی و روانی ماشین را زیر بار شدیدترین فشار‌های کلامی بسنجند. این گروه از تحلیلگران با شبیه‌سازی رفتار‌های جاسوسان، کلاهبرداران و بازجویان، نقاط آسیب‌پذیر سیستم را پیش از بهره‌برداری‌های مخرب شناسایی می‌کنند. حتی شخصیتی مانند «پلینی» که سال گذشته در لیست افراد تاثیرگذار هوش مصنوعی مجله تایم قرار گرفت، نمونه‌ای از همین هکر‌های کلامی بدون سابقه کدنویسی است که صرفاً با دست‌کاری زبانی به شهرت رسید.

خط مقدم این نبرد پنهان کلامی، از حوزه چت‌بات‌های ساده فراتر رفته و امنیت عامل‌های هوشمند اجرایی را در دنیای واقعی هدف قرار داده است. دستیار‌های دیجیتالی که به زودی وظیفه مدیریت تقویم‌ها، رزرو هتل‌ها، خرید‌های مالی و پاسخ‌گویی به مشتریان را بر عهده می‌گیرند، در صورت مواجهه با یک هکر متقاعدکننده، دروغ‌گو یا صبور، ممکن است فرامین مخربی را اجرا کنند که به خطا‌های ناخواسته سیستمی یا افشای اطلاعات کاربران منجر شود. توسعه این پلتفرم‌های اجرایی، شرکت‌های فناوری را وادار می‌سازد تا پیش از رهاسازی ابزار‌های خود در شبکه، آن‌ها را در برابر نفوذ کلامی و دست‌کاری‌های روانی مصون‌سازی کنند.