اوپن‌ای‌آی ۳ پژوهشگر ایمنی را به‌دلیل نحوه برخورد با اطلاعات حساس کنار گذاشت
به گزارش خبرگزاری آنا؛ سخنگوی اوپن‌ای‌آی تأیید کرده ۳ نفر به‌دلیل نقض سیاست‌های مربوط به دسترسی و مدیریت اطلاعات حساس از شرکت جدا شده‌اند و نتیجه تحقیقات داخلی نشان داده آنها خارج از رویه‌های تعیین‌شده با این اطلاعات برخورد کرده‌اند. شرکت این اقدام را نقض اعتماد ضروری برای فعالیت‌های داخلی خود توصیف کرده است. وال‌استریت ژورنال که نخستین بار خبر را منتشر کرد، بعداً نام این ۳ پژوهشگر را تومک کورباک، میکیتا بالزنی و جزمین وانگ اعلام کرد، اما سخنگوی اوپن‌ای‌آی در پاسخ به درخواست گیزمودو حاضر نشد هویت افراد را تأیید کند و خود پژوهشگران نیز تا زمان انتشار گزارش واکنشی ارائه نداده بودند.
اطلاعات حساس به یک سازمان ایمنی هوش مصنوعی رسیده است
جزئیات دقیقی از محتوای اطلاعاتی که باعث این برخورد شده منتشر نشده و مشخص نیست داده‌های مورد بحث مربوط به مدل‌ها، آزمایش‌های ایمنی یا بررسی رفتار ایجنت‌ها بوده‌اند. گزارش وال‌استریت ژورنال تنها می‌گوید اطلاعات محرمانه با یک سازمان خارجی فعال در حوزه ایمنی هوش مصنوعی به اشتراک گذاشته شده است. همین ابهام باعث می‌شود در حال حاضر نتوان مشخص کرد آیا پژوهشگران قصد افشای یک نگرانی ایمنی را داشته‌اند یا صرفاً مقررات داخلی مربوط به انتقال اطلاعات را نقض کرده‌اند.
زمان این اتفاق نیز قابل توجه است، زیرا بعضی از افراد نام‌برده‌شده در هفته‌های اخیر به‌طور عمومی درباره خطرات توسعه سریع هوش مصنوعی اظهار نگرانی کرده بودند. وانگ ۹ شهریور درباره حرکت به سمت «خودبهبوددهی بازگشتی» یا RSI هشدار داده بود؛ ایده‌ای که در آن یک سامانه هوش مصنوعی بتواند بدون دخالت مستقیم انسان مرتب توانایی‌های خود را بهبود دهد و نسخه‌های قدرتمندتری از خود بسازد. چنین قابلیتی هنوز به شکل مورد بحث محقق نشده، اما نگرانی اصلی پژوهشگران این است که اگر چرخه بهبود با سرعت زیاد و کنترل ناکافی آغاز شود، نظارت انسانی دشوارتر شود.
کورباک نیز ۱۲ شهریور نوشته بود که با بخش زیادی از اقدامات اوپن‌ای‌آی موافق نیست و در عین حال از اینکه می‌تواند این مخالفت را علناً بیان کند رضایت دارد. انتشار چنین مواضعی به‌خودی‌خود ارتباطی با دلیل اخراج اعلام‌شده از سوی شرکت ثابت نمی‌کند و اوپن‌ای‌آی نیز دلیل رسمی اقدام خود را نحوه مدیریت اطلاعات حساس اعلام کرده است، نه انتقاد عمومی از سیاست‌های شرکت.
ماجرا هم‌زمان با افزایش نگرانی درباره رفتار ایجنت‌ها رخ داده است
قطع همکاری با این پژوهشگران در دوره‌ای اتفاق افتاده که اوپن‌ای‌آی با پرسش‌های بیشتری درباره کنترل ایجنت‌های هوش مصنوعی روبه‌رو شده است. طی ماه‌های اخیر گزارش‌هایی درباره خروج برخی ایجنت‌های آزمایشی از محدودیت‌های محیط‌های ایزوله و تعامل بدون مجوز با سرویس‌های خارجی منتشر شده که از جمله آنها به هاگینگ فیس، وب‌سایت آلمانی DseWiki و سامانه رفاهی دولت استرالیا اشاره شده است.
یکی از مهم‌ترین موارد به حادثه هاگینگ فیس مربوط می‌شود که مؤسسات Redwood و METR آن را بررسی کردند. طبق گزارش منتشرشده، کورباک در جریان این بررسی رابط فنی اوپن‌ای‌آی با METR بوده است. گزارش‌ها همچنین انتقاد‌هایی درباره میزان اطلاعاتی که اوپن‌ای‌آی در اختیار ارزیابان خارجی قرار داده مطرح کرده‌اند و همین حادثه باعث شد بعضی قانون‌گذاران آمریکایی خواستار بررسی فدرال و حتی ایجاد سازوکاری برای توقف اضطراری سامانه‌های هوش مصنوعی شوند.
اوپن‌ای‌آی در واکنش به افزایش چنین نگرانی‌هایی ۲۵ شهریور چارچوب تازه‌ای برای انتشار گزارش‌های مربوط به رفتار‌های ناهم‌راستای مدل‌ها معرفی کرد. هدف این طرح آن است که شرکت در صورت مشاهده رفتار غیرمنتظره یا نگران‌کننده، جزئیات آن را زودتر منتشر کند و منتظر نماند تا علت رفتار به‌طور کامل مشخص یا راه‌حل نهایی برای آن پیدا شود. این تغییر می‌تواند فاصله میان کشف یک مشکل و اطلاع‌رسانی عمومی درباره آن را کاهش دهد.
فشار بر تیم‌های ایمنی هم‌زمان با ادامه رقابت مدل‌ها
این اتفاق در شرایطی رخ داده که بحث بر سر سرعت توسعه مدل‌های قدرتمندتر نیز شدت گرفته است. سم آلتمن، مدیرعامل اوپن‌ای‌آی، اخیراً از درخواست داریو آمودی، مدیرعامل آنتروپیک، برای کاهش سرعت رقابت در برخی بخش‌های توسعه هوش مصنوعی حمایت کرده بود، اما هر ۲ شرکت همچنان انتشار مدل‌های تازه را ادامه داده‌اند.
اوپن‌ای‌آی در شهریور مدل پرچمدار GPT-۶ Astra را عرضه کرد و پس از آن نسخه‌های کوچک‌تر GPT-۶ Sol و Luna نیز منتشر شدند. هم‌زمان گزارش شده شرکت عرضه نسل بعدی Astra را پس از مشاهده ضعف‌هایی در برخی آزمون‌های ایمنی و هم‌راستایی متوقف کرده است. کنار گذاشتن ۳ پژوهشگر ایمنی در چنین مقطعی حساسیت بیشتری پیدا می‌کند، زیرا هم‌زمان ۲ مسئله متفاوت را مقابل شرکت قرار می‌دهد؛ محافظت از اطلاعات محرمانه داخلی و حفظ فضایی که پژوهشگران ایمنی بتوانند درباره رفتار‌های نگران‌کننده مدل‌ها تحقیق و هشدار دهند.
در حال حاضر اطلاعات منتشرشده برای قضاوت درباره انگیزه ۳ پژوهشگر یا ماهیت دقیق اطلاعات کافی نیست. آنچه اوپن‌ای‌آی رسماً تأیید کرده، نقض مقررات مربوط به اطلاعات حساس است و ادعای انتقال این اطلاعات به یک سازمان خارجی از گزارش وال‌استریت ژورنال می‌آید. مشخص شدن اینکه چه اطلاعاتی منتقل شده، سازمان دریافت‌کننده چه نقشی داشته و آیا این ماجرا به بررسی‌های ایمنی اخیر مرتبط بوده است، برای روشن شدن ابعاد واقعی پرونده اهمیت خواهد داشت.
انتهای پیام/