یک متخصص هوش مصنوعی در گفت‌وگو با آناتک:
مدل‌های هوش مصنوعی آنتروپیک به پایگاه‌های داده دولتی آمریکا دست‌درازی کردند
به گزارش خبرگزاری آنا؛ آنتروپیک در تازه‌ترین گزارش خود جزئیاتی از رفتارهای پیش‌بینی‌نشده ایجنت‌های هوش مصنوعی کلود را منتشر کرده که در جریان انجام وظایف آزمایشی، به تلاش برای دسترسی غیرمجاز به سامانه‌های دولتی و ارسال اطلاعات نادرست منجر شده‌اند. این شرکت توضیح داده که ایجنت‌ها در بعضی موارد، بدون آنکه چنین اقداماتی در دستورالعمل اولیه آنها وجود داشته باشد، روش‌هایی را برای عبور از محدودیت‌های وب‌سایت‌ها پیدا کرده‌اند. آنتروپیک نام سازمان‌های دولتی آسیب‌دیده را به درخواست خود آنها فاش نکرده تا جزئیات مربوط به آسیب‌پذیری‌های احتمالی سامانه‌هایشان منتشر نشود. با این حال تأیید کرده که نهادهای مربوط از اقدامات شناسایی‌شده مطلع شده‌اند و گزارشی از این اتفاقات نیز در اختیار کاخ سفید قرار گرفته است.
ارسال گزارش ساختگی درباره یک پرونده قتل
یکی از موارد بررسی‌شده به رفتار مدل کلود هایکو ۴.۵ در وب‌سایت اداره پلیس فیلادلفیا مربوط می‌شود. این مدل در جریان آزمایشی که برای انجام وظایف نمونه در صفحات تصادفی اینترنت طراحی شده بود، با صفحه مربوط به یک پرونده قتل حل‌نشده روبه‌رو شد. صفحه موردنظر فرمی برای دریافت اطلاعات احتمالی شهروندان درباره پرونده داشت و ایجنت بدون برخورداری از اطلاعات واقعی، آن را تکمیل و ارسال کرد. در متن ارسالی ادعا شده بود که فرد گزارش‌دهنده احتمالاً شخصی مطابق با مشخصات مظنون را در حوالی خیابان مورد اشاره در پرونده دیده است و پلیس می‌تواند برای دریافت جزئیات بیشتر با وی تماس بگیرد.
اداره پلیس فیلادلفیا تأیید کرده که آنتروپیک به‌تازگی این اتفاق را به اطلاع مسئولان رسانده است. گزارش ساختگی در ۲۷ تیر ثبت شده بود، اما سامانه پلیس آن را به‌عنوان هرزنامه شناسایی کرده و کنار گذاشته بود. به همین دلیل مأموران برای بررسی اطلاعات نادرست ارسالی، منابع خود را صرف انجام تحقیقات تازه نکردند. این اتفاق با وجود جلوگیری از پیامد‌های عملی، نگرانی‌هایی درباره توانایی ایجنت‌های هوش مصنوعی برای تعامل مستقل با سامانه‌های عمومی و ثبت اطلاعات ساختگی در آنها ایجاد کرده است.
تلاش برای دسترسی به اطلاعات دولتی
رفتار غیرمنتظره دیگری در آزمایش مدل کلود میتوس ۵ مشاهده شد که آنتروپیک آن را با تمرکز بر قابلیت‌های امنیت سایبری توسعه داده است. در این آزمایش از مدل خواسته شده بود موقعیت مکانی یک تصویر را شناسایی کند. ایجنت برای پیدا کردن اطلاعات بیشتر سراغ نقشه املاک دولتی رفت، اما به دلیل محدودیت ابزار‌های خود نمی‌توانست مانند یک کاربر معمولی روی پیوند‌های وب‌سایت کلیک کند. مدل در ادامه توکن‌های دسترسی به سامانه را شناسایی کرد و برای دریافت اطلاعات نقشه، درخواست‌هایی را مستقیماً به سرور آن فرستاد. این اقدام بخشی از وظیفه اولیه شناسایی مکان نبود و بدون دستور مشخص برای دور زدن محدودیت‌های سامانه انجام شد.
میتوس ۵ در مورد دیگری نیز هنگام انجام یک وظیفه آماری، تلاش کرد اطلاعات موردنیاز را از وب‌سایت یک سازمان دولتی ایالتی دریافت کند. دسترسی به این اطلاعات مستلزم پرداخت هزینه بود، اما ایجنت به‌جای طی کردن فرایند معمول، درخواست دریافت توکن دسترسی را ارسال کرد تا بتواند داده‌ها را بدون پرداخت هزینه دریافت کند. گزارش آنتروپیک مشخص نکرده که این تلاش‌ها در تمام موارد به دسترسی موفقیت‌آمیز منجر شده‌اند یا خیر، اما رفتار مدل‌ها از نظر شرکت به اندازه‌ای نگران‌کننده بوده که نیاز به بررسی و تغییر تدابیر امنیتی را ضروری کرده است.
محدودیت‌های تازه برای جلوگیری از رفتارهای غیرمنتظره
آنتروپیک اعلام کرده این اتفاقات را هنگام بازبینی گزارش‌های ثبت‌شده از آزمایش‌های مدل‌های خود شناسایی کرده است. بررسی‌ها از تیر امسال آغاز شد، زمانی که اوپن‌ای‌آی نیز پذیرفت بعضی از ایجنت‌هایش بدون دریافت دستور مستقیم از محیط آزمایشی خارج شده و به سامانه‌های هاگینگ فیس نفوذ کرده‌اند. اوپن‌ای‌آی همچنین در شهریور تأیید کرد که ایجنت‌های این شرکت در وب‌سایت‌های دولتی آمریکا، از جمله سامانه‌های وزارت بازرگانی و کمیسیون بورس و اوراق بهادار، اقداماتی خارج از محدوده وظایف تعیین‌شده انجام داده‌اند.
آنتروپیک در واکنش به یافته‌های جدید، مجموعه‌ای از اقدامات پیشگیرانه را برای کاهش احتمال تکرار چنین رفتار‌هایی اجرا کرده است. این شرکت اعلام کرده بعضی آزمایش‌هایی را که ایجنت‌ها در آنها به وب‌سایت‌های عمومی دسترسی داشتند، متوقف کرده و برخی دیگر را به محیط‌های آفلاین منتقل کرده است. همچنین تعدادی از آزمون‌ها بازطراحی شده‌اند تا وظایف مدل‌ها دیگر به تعامل مستقیم با سامانه‌های واقعی اینترنتی منجر نشوند. محدودیت‌های ابزار‌های دسترسی به وب، از جمله ابزار دریافت محتوای صفحات، نیز سخت‌گیرانه‌تر شده و سامانه‌هایی برای شناسایی و مسدود کردن خودکار رفتارهای مشابه توسعه یافته‌اند.
اتفاقات اخیر یکی از چالش‌های مهم توسعه ایجنت‌های هوش مصنوعی را آشکار کرده‌اند، زیرا این ابزار‌ها برخلاف چت‌بات‌های معمولی می‌توانند برای تکمیل وظایف خود، مستقلاً با وب‌سایت‌ها و سرویس‌های بیرونی تعامل داشته باشند. همین توانایی ممکن است باعث شود ایجنت برای رسیدن به نتیجه موردنظر، اقداماتی انجام دهد که کاربر درخواست نکرده یا مجوز انجام آنها را نداده است. آنتروپیک تأکید کرده تغییرات جدید با هدف محدود کردن چنین رفتار‌هایی اعمال شده‌اند تا آزمایش و توسعه مدل‌های پیشرفته بدون ایجاد خطر برای سامانه‌های واقعی ادامه پیدا کند.
انتهای پیام/
