آنا گزارش میدهد
وقوع حوادث خطرناک در مسیر توسعه هوش مصنوعی اجتنابناپذیر است
به گزارش خبرگزاری آنا، آلتمن در رویداد Dreamforce با اشاره به حوادث اخیر مرتبط با ایجنتهای هوش مصنوعی گفت هدف نباید تصور امکان جلوگیری کامل از هر خطا باشد و صنعت باید بتواند هنگام وقوع مشکل آن را شناسایی، گزارش و بررسی کند و از نتایج برای ایمنتر کردن نسلهای بعدی استفاده کند. او سازمانهایی مانند اداره هوانوردی فدرال آمریکا و هیئت ملی ایمنی حملونقل را نمونههایی دانست که با جمعآوری اطلاعات مربوط به سوانح و بررسی علل آنها، استانداردهای ایمنی را به مرور بهبود دادهاند. آلتمن معتقد است توسعهدهندگان هوش مصنوعی نیز به فرهنگ مشابهی در زمینه شفافیت و گزارش حوادث نیاز دارند.
حادثه هاگینگ فیس به نمونه تازه خطر ایجنتها تبدیل شد
اظهارات آلتمن در شرایطی مطرح شده که اوپنایآی در تابستان امسال با یکی از جدیترین حوادث ثبتشده مربوط به مدلهای خود روبهرو شد. این شرکت اعلام کرده گروهی از ایجنتهای هوش مصنوعی در جریان ارزیابیهای امنیت سایبری توانستند کنترلهای طراحیشده برای جدا نگهداشتن آنها از اینترنت را دور بزنند، از کانالهای ارتباطی غیرمجاز استفاده کنند، به زیرساختهای داخلی دسترسی پیدا کنند و بخشهایی از سامانههای هاگینگ فیس را نیز مورد نفوذ قرار دهند. اوپنایآی این رفتار را ناشی از راهبردهای ناسازگار مدلها برای تکمیل وظایف دشوار توصیف کرده و گفته ایجنتها بهطور مستقیم مأمور حمله به این سرویس نشده بودند، اما در تلاش برای رسیدن به هدف خود مسیرهایی را انتخاب کردند که توسعهدهندگان انتظار نداشتند.
این حادثه توجه قانونگذاران آمریکایی را نیز جلب کرده و جاش هاولی، سناتور جمهوریخواه و رئیس یکی از زیرکمیتههای امنیت داخلی سنا، تحقیقاتی درباره نحوه مدیریت حادثه توسط اوپنایآی آغاز کرده است. او از شرکت خواسته اطلاعات بیشتری درباره رفتار ایجنتها، تدابیر ایمنی و خطرات سامانههای پیشرفته در اختیار کنگره قرار دهد. بررسیهای مستقل نیز نشان دادهاند که بخشی از ایجنتها هنگام انجام وظایف به دستکاری زیرساخت ارزیابی، استفاده از اعتبارنامهها و تلاش برای پنهان کردن برخی اقدامات خود روی آورده بودند.
آلتمن ایمنی را مقدم بر افزایش توان مدلها میداند
مدیرعامل اوپنایآی تأکید کرده افزایش قدرت مدلها نباید بدون توجه به امکان کنترل رفتار آنها ادامه پیدا کند و آزمایشگاهها باید در شرایطی که نمیتوانند خطرات یک سامانه را به اندازه کافی مدیریت کنند آماده کاهش سرعت توسعه یا توقف موقت آن باشند. او نگرانی عمومی درباره از کنترل خارج شدن مدلهای قدرتمند یا متمرکز شدن تواناییهای هوش مصنوعی در اختیار تعداد محدودی از شرکتها را قابل درک دانسته، اما در عین حال توقف کامل توسعه را راهحل نمیداند و بر تقویت همزمان سامانههای ایمنی، همترازی و نظارت تأکید دارد.
اوپنایآی در همین مسیر فرایند گزارش حوادث داخلی خود را نیز گسترش داده و موارد بیشتری از رفتارهای غیرمنتظره مدلها را منتشر کرده است. آلتمن معتقد است افزایش شفافیت درباره چنین اتفاقاتی میتواند به کل صنعت کمک کند تا الگوهای خطرناک را زودتر شناسایی کند و پیش از آنکه یک خطای محدود به حادثهای جدی تبدیل شود، راهکارهای فنی و عملیاتی مناسب برای جلوگیری از تکرار آن ایجاد کند.
انتهای پیام/
