هوش‌مصنوعی علیه خودش می‌جنگد

به گزارش خبرگزاری آنا؛ هوش مصنوعی پیش‌تر بعنوان ابزاری برای تولید متن، نوشتن کد، تحلیل داده و دستیاری تابع شناخته می‌شد، اما اکنون مرزهای این فناوری در حال جابه‌جایی است. شرکت Hugging Face، یکی از مهم‌ترین پلتفرم‌های متن‌باز هوش مصنوعی در جهان، از وقوع یک حادثه امنیتی خبر داده که از چند جهت با حملات سایبری گذشته تفاوت دارد. این شرکت اعلام کرده است که نفوذ به بخشی از زیرساخت‌هایش توسط یک سامانه خودمختار مبتنی بر عامل هوش مصنوعی (Autonomous AI Agent) انجام شده؛ رخدادی که از نگاه بسیاری از کارشناسان می‌تواند نشانه آغاز مرحله‌ای تازه در امنیت سایبری باشد.

بر اساس گزارش رسمی Hugging Face، مهاجمان از یک دیتاست آلوده برای سوءاستفاده از دو آسیب‌پذیری در سامانه پردازش داده‌های این شرکت استفاده کردند. این مسیر به آن‌ها اجازه داد روی یکی از سرورهای پردازشی کد اجرا کنند، سپس سطح دسترسی خود را افزایش دهند، به بخشی از اعتبارنامه‌های ابری و خوشه‌های پردازشی دست پیدا کنند و در ادامه به چند بخش دیگر از زیرساخت داخلی حرکت کنند. با این حال، شرکت تأکید کرده است که تاکنون شواهدی از دستکاری مدل‌های عمومی، دیتاست‌های منتشرشده، سرویس Spaces یا زنجیره تأمین نرم‌افزاری آن مشاهده نشده است.

نوع مهاجم، آن چیزی است که این حادثه را از صدها حمله سایبری دیگر متمایز می‌کند. به گفته Gizmodo، عملیات نفوذ توسط یک «چارچوب عامل هوش مصنوعی خودمختار» انجام شده که هزاران اقدام را در محیط‌های موقت اجرا کرده، مسیر خود را به‌صورت پویا تغییر داده و بدون آنکه یک مهاجم انسانی تک‌تک مراحل را هدایت کند، زنجیره حمله را پیش برده است. این شرکت می‌گوید الگوی مشاهده‌شده با سناریویی مطابقت دارد که سال‌هاست متخصصان امنیت درباره آن هشدار می‌دهند؛ یعنی ورود «عامل‌های هوشمند» به دنیای حملات سایبری.

این اتفاق در حالی رخ داده که طی دو سال گذشته، هوش مصنوعی بیش از هر زمان دیگری وارد زندگی روزمره، کسب‌وکارها و زیرساخت‌های دیجیتال شده است. از دستیارهای برنامه‌نویسی و تولید محتوا گرفته تا تحلیل داده، خدمات مالی و پزشکی، مدل‌های هوش مصنوعی امروز نقش پررنگی در تصمیم‌گیری و اجرای وظایف مختلف دارند. همین گسترش کاربردها، سطح جدیدی از ریسک را نیز ایجاد کرده است؛ زیرا هرچه هوش مصنوعی توانمندتر و خودمختارتر شود، در صورت سوءاستفاده نیز می‌تواند تهدیدهای پیچیده‌تری ایجاد کند.

نگرانی اصلی کارشناسان پیش‌تر این بود که هکرها از هوش مصنوعی برای نوشتن بدافزار، تولید ایمیل‌های فیشینگ یا یافتن آسیب‌پذیری‌ها استفاده کنند، اکنون بحث بر سر مرحله‌ای فراتر است؛ مرحله‌ای که در آن خود یک عامل هوشمند می‌تواند بخش بزرگی از عملیات نفوذ را برنامه‌ریزی و اجرا کند.

این موضوع باعث شده است برخی تحلیلگران از این حادثه نه به‌عنوان یک «هک»، بلکه به‌عنوان آغاز عصر جنگ عامل‌های هوش مصنوعی یاد کنند. دوره‌ای که در آن، هوش مصنوعی تنها ابزار دفاع یا حمله نیست، بلکه ممکن است در هر دو سوی میدان نبرد حضور داشته باشد.

چگونه یک خطای نرم‌افزاری قبض‌های چند تریلیون دلاری ساخت

AI Agent چیست

تا چند سال قبل، بیشتر مردم هوش مصنوعی را با چت‌بات‌هایی مانند ChatGPT می‌شناختند؛ سامانه‌هایی که سؤال دریافت می‌کنند، پاسخ می‌دهند و منتظر دستور بعدی کاربر می‌مانند. اما نسل جدیدی از سامانه‌های هوشمند با عنوان AI Agent یا «عامل هوش مصنوعی» در حال تغییر این معادله است.

به بیان ساده، اگر ChatGPT را بتوان یک مشاور دانست، AI Agent بیشتر شبیه یک کارمند است. کاربر فقط هدف را مشخص می‌کند؛ اما عامل هوشمند خودش تصمیم می‌گیرد چه ابزارهایی را به کار بگیرد، چه مراحلی را طی کند، نتیجه را ارزیابی کند و در صورت شکست، مسیر دیگری را امتحان کند تا به هدف برسد. این مفهوم از سال ۲۰۲۳ با پروژه‌هایی مانند HuggingGPT مطرح شد و امروز به یکی از مهم‌ترین روندهای صنعت هوش مصنوعی تبدیل شده است.

مقایسه AI Agent با ChatGPT

ChatGPT برای نوشتن یک قطعه کد، معمولاً همان پاسخ را تولید می‌کند و کار به پایان می‌رسد؛ اما اگر همین مدل در قالب یک AI Agent قرار گیرد، کد را اجرا و خطاها را بررسی می‌کند، نسخه جدیدی تولید می‌کند، دوباره آزمایش می‌گیرد و این چرخه را تا رسیدن به نتیجه ادامه می‌دهد.

به همین دلیل، متخصصان امنیت معتقدند تفاوت اصلی AI Agent با چت‌بات‌ها در «قدرت عمل» است، نه فقط «قدرت پاسخ‌گویی». هرچه سطح دسترسی این عامل‌ها به ابزارها، سامانه‌ها و داده‌ها بیشتر باشد، توانایی آن‌ها برای انجام عملیات پیچیده نیز افزایش پیدا می‌کند.

ویژگی‌های AI Agentها باعث شده است فقط برای انجام کارهای روزمره مانند برنامه‌ریزی، تحلیل داده یا توسعه نرم‌افزار به کار نروند؛ بلکه بتوانند در حوزه امنیت سایبری نیز نقش فعالی ایفا کنند. در چنین سناریویی، عامل هوشمند قادر است به‌جای اجرای یک فرمان ساده، زنجیره‌ای از اقدامات را به‌صورت مستقل انجام دهد، از جست‌وجوی آسیب‌پذیری‌ها و تحلیل پاسخ سامانه گرفته تا انتخاب مسیر جدید برای ادامه عملیات.

آیا در گذشته دقیقا چنین اتفاقی افتاده است؟

دقیقا به این شکل نه، اما حملات خودکار سابقه طولانی دارند. بدافزارهای کرمی، بات‌نت‌ها و ابزارهای نفوذ خودکار سال‌هاست در دنیای امنیت سایبری وجود دارند. حتی در ماه‌های اخیر نیز گزارش‌هایی از استفاده مجرمان سایبری از هوش مصنوعی برای بازنویسی کدهای سوءاستفاده یا تسریع حملات منتشر شده است.

تفاوت حادثه Hugging Face در آن است که شرکت قربانی به شکل رسمی اعلام کرده با یک چارچوب عامل هوش مصنوعی خودمختار روبه‌رو بوده است؛ سیستمی که بخش عمده عملیات را بدون هدایت مرحله‌به‌مرحله انسان انجام داده است. همین موضوع باعث شده بسیاری از پژوهشگران این حادثه را نشانه ورود به مرحله‌ای جدید از تهدیدات سایبری بدانند.

در همین حال، پژوهش‌های دانشگاهی نیز نشان می‌دهند که نگرانی‌ها درباره امنیت AI Agentها فقط یک فرضیه نیست. محققان در مطالعات اخیر، آسیب‌پذیری‌های جدیدی مانند Agent Data Injection را معرفی کرده‌اند که می‌تواند عامل‌های هوشمند را وادار به انجام اقداماتی کند که مهاجم طراحی کرده است. موضوعی که نشان می‌دهد هم مهاجمان و هم مدافعان باید برای نسل تازه‌ای از تهدیدها آماده شوند.

خطرات پنهان اپلیکیشن‌های کرک‌شده و فیلترشکن‌های رایگان

این اولین هشدار نبود

حادثه Hugging Face اگرچه توجه بسیاری را جلب کرد، اما در واقع حلقه تازه‌ای از زنجیره تحول عامل‌های هوشمند است؛ زنجیره‌ای که طی سال‌های اخیر با سرعت زیادی شکل گرفته است.

ربات‌های مذاکره‌گر Facebook AI

شاید بسیاری هنوز ماجرای مشهور سال ۲۰۱۷ را به خاطر داشته باشند؛ همان خبری که با تیترهایی مانند «دو ربات فیس‌بوک زبان خودشان را ساختند و پژوهشگران آن‌ها را خاموش کردند» در سراسر جهان منتشر شد.

خبری که با تیترهایی مانند «دو ربات فیس‌بوک زبان خودشان را ساختند و پژوهشگران آن‌ها را خاموش کردند» در سراسر جهان منتشر شد

آن خبر آن‌قدر فراگیر شد که بسیاری تصور کردند هوش مصنوعی از کنترل خارج شده است؛ اما بعدها پژوهشگران آزمایشگاه Facebook AI Research (FAIR) توضیح دادند که واقعیت چیز دیگری بوده است. عامل‌های هوشمند در جریان یک آزمایش مذاکره، برای رسیدن سریع‌تر به هدف از الگوهای زبانی کوتاه و غیرمعمول استفاده کرده بودند؛ نه اینکه زبان مخفی یا مستقلی ابداع کرده باشند. هدف پروژه نیز از ابتدا ساخت عامل‌هایی بود که بتوانند با انسان‌ها ارتباط برقرار کنند، نه اینکه فقط با یکدیگر گفت‌وگو کنند؛ به همین دلیل، آزمایش متوقف نشد، بلکه مسیر آن اصلاح شد و روایت «خاموش شدن ربات‌ها به‌دلیل ساخت زبان اختصاصی» بعدتر به‌عنوان یک برداشت اغراق‌آمیز از ماجرا شناخته شد.

آن اتفاق یک پیام مهم داشت؛ اینکه وقتی دو عامل هوشمند برای رسیدن به هدفی مشترک با یکدیگر تعامل می‌کنند، ممکن است روش‌هایی را انتخاب کنند که برای انسان‌ها قابل پیش‌بینی نباشد و اکنون کمتر از یک دهه بعد، نگرانی‌ها دیگر فقط به «نحوه صحبت کردن» عامل‌های هوشمند محدود نیست. اگر آن زمان پرسش این بود که «ربات‌ها چگونه با هم ارتباط برقرار می‌کنند؟»، اکنون سوال اصلی این است که «آن‌ها چه کارهایی می‌توانند انجام دهند؟»

 ظهور WormGPT و FraudGPT

چند سال بعد، در ۲۰۲۳، مجرمان سایبری به‌جای ساخت عامل‌های هوشمند، از مدل‌های زبانی برای تولید ایمیل‌های فیشینگ، کدهای مخرب، مهندسی اجتماعی و نوشتن بدافزار استفاده کردند. در آن مرحله، هوش مصنوعی هنوز بیشتر نقش یک دستیار را داشت؛ تصمیم‌گیری و اجرای عملیات همچنان بر عهده انسان بود. این اتفاق نشان داد که مدل‌های زبانی می‌توانند به ابزار حملات سایبری نیز تبدیل شوند.

تفاوت حمله به Hugging Face 

در اغلب حملات سایبری گذشته، هوش مصنوعی تنها به مهاجم در نوشتن بدافزار، تولید ایمیل‌های فیشینگ، یافتن آسیب‌پذیری یا تحلیل کد کمک می‌کرد و تصمیم‌گیری و اجرای عملیات بر عهده انسان بود، اما در حادثه Hugging Face، به گفته این شرکت، یک عامل هوش مصنوعی خودمختار توانست زنجیره حمله را از شناسایی مسیر نفوذ تا حرکت در زیرساخت داخلی پیش ببرد. به همین دلیل، بسیاری از رسانه‌های تخصصی این رویداد را نخستین نمونه عمومی از یک نفوذ «سرتاسری» توسط AI Agent توصیف کرده‌اند؛ هرچند کارشناسان تأکید می‌کنند ممکن است موارد مشابهی پیش از این رخ داده باشد، اما هرگز به‌صورت عمومی افشا نشده باشد.

نکته مهم دیگر این است که مهاجم تنها از یک آسیب‌پذیری استفاده نکرد؛ بلکه توانست چند مرحله از حمله را به هم متصل کند؛ از سوءاستفاده از مسیر پردازش دیتاست‌ها و اجرای کد گرفته تا افزایش سطح دسترسی و جمع‌آوری اعتبارنامه‌های داخلی و ... ،چنین زنجیره‌ای پیش‌تر نیازمند دخالت مستقیم یک تیم انسانی بود.

AI در برابر AI

یکی از جالب‌ترین بخش‌های حادثه Hugging Face این است که هوش مصنوعی تنها نقش مهاجم را نداشت؛ بلکه در سمت مدافع نیز حضور داشت. به گفته این شرکت، نخستین نشانه‌های نفوذ از طریق سامانه تشخیص ناهنجاری مبتنی بر مدل‌های زبانی بزرگ (LLM) شناسایی شد. این سامانه با تحلیل حجم عظیمی از رخدادهای امنیتی، الگوهای غیرعادی را از میان انبوه داده‌ها استخراج و تیم امنیتی را از وقوع یک حمله آگاه کرد. سپس کارشناسان با کمک مدل‌های هوش مصنوعی، مسیر نفوذ، زنجیره حمله و هزاران رویداد ثبت‌شده را بازسازی کردند.

Hugging Face در گزارش خود توضیح می‌دهد که برخی مدل‌های تجاری به‌دلیل محدودیت‌ها و محافظ‌های ایمنی (Guardrails)، حاضر به تحلیل کامل بخشی از کدها و ابزارهای مورد استفاده مهاجم نبودند؛ زیرا نمی‌توانستند تشخیص دهند درخواست مربوط به دفاع سایبری است یا سوءاستفاده احتمالی. در نهایت، تیم امنیتی از یک مدل متن‌باز روی زیرساخت داخلی برای انجام تحلیل‌های جرم‌شناسی دیجیتال استفاده کرد. این اتفاق، نخستین نمونه عمومی از چیزی است که کارشناسان آن را AI در برابر AI می‌نامند؛ جایی که یک عامل هوشمند حمله می‌کند و یک عامل یا سامانه هوشمند دیگر وظیفه کشف و مقابله با آن را بر عهده می‌گیرد.

آیا این روند ادامه خواهد داشت؟

مرکز پژوهشی Carnegie Endowment در گزارشی که چند روز پیش منتشر شد، هشدار داده است که با گسترش عامل‌های هوشمند، دیگر نمی‌توان امنیت سایبری را تنها با ابزارهای سنتی مدیریت کرد و سازمان‌ها باید به سمت سامانه‌های دفاعی مبتنی بر AI حرکت کنند که بتوانند به‌صورت لحظه‌ای تهدیدها را رصد و خنثی کنند.

دولت بریتانیا نیز در گزارش «مرور و تحلیل شکاف‌های امنیت هوش مصنوعی» اعلام کرده است که ظهور Agentic AI سطح حمله را به‌طور قابل توجهی افزایش می‌دهد و تهدیدهایی مانند مسموم‌سازی ابزارها (Tool Poisoning)، تزریق غیرمستقیم دستورها (Indirect Prompt Injection) و حملات عامل به عامل (Agent-to-Agent) را به یکی از مهم‌ترین چالش‌های امنیتی سال‌های آینده تبدیل خواهد کرد.

از سوی دیگر، پژوهشگران دانشگاهی نیز به‌تازگی نوع جدیدی از حملات با عنوان Agent Data Injection را معرفی کرده‌اند که نشان می‌دهد مهاجمان می‌توانند عامل‌های هوشمند را با داده‌های به ظاهر معتبر فریب دهند تا اقداماتی برخلاف هدف اصلی خود، از اجرای کد گرفته تا حمله به زنجیره تأمین نرم‌افزار، انجام دهند.

آیا باید از AI Agentها ترسید؟

به‌طور قطع پاسخ خیر است. همان‌طور که اینترنت، تلفن همراه یا رایانش ابری خطرناک نبودند، AI Agentها نیز تهدید محسوب نمی‌شوند. آنچه اهمیت دارد، نحوه استفاده از این فناوری و میزان آمادگی برای مدیریت ریسک‌های آن است. در واقع، همان قابلیتی که یک عامل هوشمند را قادر می‌کند ساعت‌ها به‌طور خودکار کد بنویسد، سامانه‌ها را مدیریت کند یا فرآیندهای اداری را انجام دهد، در صورت سوءاستفاده می‌تواند برای کشف آسیب‌پذیری‌ها یا اجرای حملات نیز به کار گرفته شود. به همین دلیل، بسیاری از متخصصان امنیت از اصطلاح فناوری دوکاربردی (Dual-Use Technology) برای توصیف هوش مصنوعی استفاده می‌کنند؛ فناوری‌ که هم می‌تواند بهره‌وری را افزایش دهد و هم در اختیار مهاجمان قرار گیرد.

آینده امنیت سایبری

کاربران در گذشته با کمک هوش مصنوعی به یکدیگر حمله می‌کردند، اکنون این احتمال وجود دارد که در آینده نزدیک، نبرد اصلی میان عامل‌های هوشمند مهاجم و عامل‌های هوشمند مدافع باشد

اگر روند فعلی ادامه پیدا کند، طی چند سال آینده تغییراتی اساسی در امنیت سایبری رخ خواهد داد. حملات با سرعت بسیار بیشتری انجام خواهند شد؛ زیرا عامل‌های هوشمند می‌توانند بدون خستگی و وقفه، شبانه‌روز فعالیت کنند. از طرف دیگر، مقیاس حملات افزایش می‌یابد و یک AI Agent می‌تواند هم‌زمان هزاران سامانه را بررسی و مسیرهای نفوذ را آزمایش کند وسامانه‌های دفاعی نیز هوشمندتر خواهند شد و شرکت‌ها ناچار خواهند بود از عامل‌های دفاعی برای کشف، تحلیل و پاسخ‌گویی خودکار به تهدیدها استفاده کنند.

نقش کارشناسان امنیت تغییر می‌کند و تمرکز آن‌ها از انجام دستی عملیات، به آموزش، نظارت و هدایت عامل‌های هوشمند منتقل خواهد شد. همچنین رقابت اصلی به نبرد AI در برابر AI تبدیل می‌شود؛ جایی که مهاجمان و مدافعان هر دو از عامل‌های خودمختار برای پیشی گرفتن از یکدیگر استفاده می‌کنند.

حادثه Hugging Face را نباید فقط یک «هک» دانست. حتی اگر در آینده مشخص شود نمونه‌های مشابهی نیز پیش از این رخ داده‌اند، این رویداد نخستین موردی است که یک شرکت بزرگ هوش مصنوعی با جزئیات، از نقش یک عامل هوش مصنوعی خودمختار در اجرای حمله سخن گفته است و مهم‌ترین پیام آن، این است که رقابت در حوزه هوش مصنوعی دیگر بر سر ساخت مدل‌های قوی‌تر یا دستیارهای هوشمندتر نیست؛ بلکه از این پس، بخش مهمی از این رقابت در میدان امنیت سایبری شکل خواهد گرفت.

کاربران در گذشته با کمک هوش مصنوعی به یکدیگر حمله می‌کردند، اکنون این احتمال وجود دارد که در آینده نزدیک، نبرد اصلی میان عامل‌های هوشمند مهاجم و عامل‌های هوشمند مدافع باشد. آینده‌ای که در آن، سرعت تصمیم‌گیری و واکنش ماشین‌ها از توان انسان فراتر می‌رود و نقش انسان بیش از هر زمان دیگری، به تعیین قواعد، نظارت و کنترل این بازی پیچیده محدود خواهد شد.

آغاز عصر جدیدی از شنیدن هوشمند