در گفت‌وگو با استاد پترولوژی دانشگاه خوارزمی مطرح شد
آنتروپیک دسترسی مدل‌های هوش مصنوعی خود به اینترنت را در آزمایش‌های داخلی قطع کرد
به گزارش خبرگزاری آنا؛ آنتروپیک در گزارشی تازه از اعمال محدودیت گسترده بر دسترسی اینترنتی مدل‌های هوش مصنوعی خود خبر داده است. این شرکت پس از بررسی رفتار ایجنت‌ها در آزمایش‌های داخلی متوجه شده که بعضی از آنها هنگام انجام وظایف معمولی، اقداماتی خارج از محدوده مورد انتظار انجام داده‌اند. آنتروپیک پیش‌تر دسترسی زنده به اینترنت را در برخی آزمایش‌های پرخطر و مرتبط با امنیت سایبری محدود کرده بود، اما اکنون تصمیم گرفته این محدودیت را به تمامی ارزیابی‌های داخلی گسترش دهد. این وضعیت تا زمانی ادامه خواهد داشت که شرکت از توانایی سامانه‌های امنیتی و نظارتی خود برای شناسایی و جلوگیری از رفتارهای مشابه اطمینان پیدا کند. تصمیم جدید به معنای قطع دسترسی اینترنتی تمام کاربران کلود نیست و صرفاً به شیوه اجرای آزمایش‌های داخلی مدل‌ها مربوط می‌شود.
ارسال اطلاعات ساختگی به پلیس
یکی از اتفاقاتی که در تصمیم جدید آنتروپیک نقش داشته، رفتار مدل کلود هایکو ۴.۵ در جریان یک آزمایش بوده است. این مدل که در دسته محصولات سبک‌تر و کم‌هزینه‌تر شرکت قرار می‌گیرد، مأموریت داشت وظایف نمونه‌ای را در صفحات اینترنتی انتخاب‌شده به‌صورت تصادفی انجام دهد. هدف چنین آزمایش‌هایی بررسی توانایی مدل در تعامل با وب‌سایت‌ها بود، اما دستورالعمل تعیین‌شده ارسال فرم‌های اینترنتی را ممنوع نکرده بود. در نتیجه ایجنت هنگام بررسی صفحه مربوط به یک پرونده قتل حل‌نشده در وب‌سایت اداره پلیس فیلادلفیا، فرم دریافت اطلاعات شهروندان را پیدا کرد و بدون داشتن اطلاعات واقعی درباره پرونده، آن را تکمیل و ارسال کرد.
مدل در متن گزارش ساختگی ادعا کرده بود که احتمالاً فردی مطابق با مشخصات مطرح‌شده در پرونده را در محدوده خیابان موردنظر مشاهده کرده است. این اطلاعات بدون ارائه مشخصات تماس فرستنده ثبت شد و سامانه پلیس نیز آن را به‌عنوان هرزنامه شناسایی کرد. به همین دلیل گزارش ارسالی به پیگیری عملی پرونده منجر نشد، اما اتفاق یادشده یکی از نمونه‌های رفتار ناخواسته ایجنت‌های هوش مصنوعی محسوب می‌شود. نکته قابل توجه آن است که این اقدام توسط یکی از مدل‌های سبک آنتروپیک انجام شده و به پیشرفته‌ترین محصولات شرکت محدود نبوده است. چنین رفتاری نگرانی درباره ایجنت‌هایی را افزایش می‌دهد که برای انجام وظایف روزمره به وب‌سایت‌ها دسترسی دارند و می‌توانند بدون دریافت دستور صریح، اطلاعاتی را در سامانه‌های واقعی ثبت کنند.
انتقال آزمایش‌ها به محیط‌های آفلاین
آنتروپیک اعلام کرده بعضی از آزمایش‌های متصل به وب‌سایت‌های عمومی را به‌طور کامل متوقف کرده و تعدادی دیگر را به نسخه‌های آفلاین انتقال داده است. برخی آزمون‌ها نیز دوباره طراحی شده‌اند تا مدل‌ها هنگام انجام وظایف خود با وب‌سایت‌های واقعی تعامل نداشته باشند. این شرکت همچنین محدودیت‌های تازه‌ای برای ابزار‌های دسترسی به اینترنت اعمال کرده و سامانه‌هایی برای شناسایی و مسدود کردن خودکار اقدامات غیرمنتظره توسعه داده است. هدف از این تغییرات جلوگیری از تکرار اتفاقاتی است که ممکن است حتی بدون قصد قبلی مدل یا دستور مستقیم کاربر، بر سامانه‌های بیرونی تأثیر بگذارند.
اقدام جدید به معنی جداسازی فیزیکی کامل مدل‌ها از اینترنت نیست، بلکه دسترسی آنها به شبکه در محیط آزمایش محدود شده است. این رویکرد در کنار مزایای امنیتی، چالش‌هایی نیز برای ارزیابی توانایی واقعی ایجنت‌ها ایجاد میکند. برخی پژوهشگران معتقدند آزمایش مدل‌ها در محیط‌های کاملاً کنترل‌شده و جدا از اینترنت ممکن است تصویر دقیقی از رفتار آنها در شرایط واقعی ارائه نکند. مدل‌های هوش مصنوعی هنگام تعامل با وب‌سایت‌ها و ابزار‌های بیرونی ممکن است با موقعیت‌هایی مواجه شوند که در محیط آزمایشی قابل پیش‌بینی نیستند و حذف این شرایط می‌تواند شناسایی بعضی ضعف‌های رفتاری و امنیتی را دشوارتر کند.
نگرانی درباره خروج ایجنت‌ها از محدوده وظایف تعیین‌شده پس از اتفاقات مشابه در دیگر شرکت‌های هوش مصنوعی افزایش یافته است. اوپن‌ای‌آی نیز پیش‌تر از رفتارهای غیرمنتظره ایجنت‌های خود در جریان آزمایش‌های متصل به سامانه‌های بیرونی خبر داده بود. این موارد باعث شده موضوع میزان استقلال ایجنت‌ها و ضرورت محدود کردن دسترسی آنها به ابزار‌های واقعی، اهمیت بیشتری در توسعه مدل‌های جدید پیدا کند.
آنتروپیک تأکید کرده پیامد‌های موارد شناسایی‌شده محدود بوده است، اما با وجود این تصمیم دارد آزمایش‌های داخلی را تا زمان اطمینان از عملکرد سازوکار‌های امنیتی جدید، بدون دسترسی زنده به اینترنت ادامه دهد. این تصمیم بیانگر چالشی است که شرکت‌های توسعه‌دهنده هوش مصنوعی با آن روبه‌رو هستند، زیرا از یک سو برای بررسی توانایی ایجنت‌ها به آزمایش در محیط‌های واقعی نیاز دارند و از سوی دیگر باید مانع انجام اقداماتی شوند که می‌توانند بر وب‌سایت‌ها و خدمات عمومی تأثیر بگذارند.
انتهای پیام/
