آنتروپیک ارزیابی ایمنی مدل‌هایش را به ناظران «اکسنتور» می‌سپارد

به گزارش خبرگزاری آنا این همکاری با واحد تخصصی هوش مصنوعی Faculty در اکسنتور انجام می‌شود و ارزیاب‌ها برخلاف شرکت‌هایی که فقط نسخه نهایی یک مدل را آزمایش می‌کنند، قرار است در داخل آنتروپیک و کنار تیم‌های فنی و ایمنی فعالیت داشته باشند. آن‌ها روند شکل‌گیری مدل‌ها در مرحله آموزش را دنبال می‌کنند، تصمیم‌های مربوط به نحوه توسعه و عرضه را بررسی خواهند کرد، مستقیماً با کارکنان گفت‌و‌گو می‌کنند و وظایفی مانند آزمایش نفوذ، ارزیابی میزان هم‌ترازی مدل و بررسی عملکرد لایه‌های حفاظتی را بر عهده می‌گیرند. آنتروپیک می‌گوید هدف این است که ناظر مستقل فقط محصول نهایی را نبیند و بتواند مشکلات احتمالی را زمانی شناسایی کند که هنوز مدل در حال ساخته شدن است.

ارزیاب بیرونی با دسترسی در حد کارمند

تفاوت اصلی این طرح با ارزیابی‌های مرسوم در میزان دسترسی است. شرکت‌های ارزیابی معمولاً یک مدل آماده یا نسخه آزمایشی آن را دریافت می‌کنند و با مجموعه‌ای از آزمون‌ها، رفتار خطرناک یا نقاط ضعفش را بررسی می‌کنند، اما ارزیاب‌های اکسنتور قرار است دسترسی‌ای نزدیک به کارکنان خود آنتروپیک داشته باشند. این دسترسی می‌تواند امکان بررسی فرایند آموزش، تغییرات ایمنی، تصمیم‌های مربوط به انتشار مدل و نحوه واکنش تیم‌ها به رخداد‌های غیرمنتظره را فراهم کند و در صورت مشاهده مشکل، ارزیاب‌ها بتوانند مستقیماً نگرانی خود را مطرح کنند.

آنتروپیک با این حال تأکید کرده که مدل «ارزیاب مستقر» هنوز تجربه‌ای تازه است و بسیاری از جزئیات آن مشخص نشده‌اند. شرکت هنوز دقیقاً تعیین نکرده ارزیاب‌های بیرونی به کدام بخش‌های داخلی دسترسی خواهند داشت، چه اطلاعاتی از محدوده بررسی خارج می‌ماند، نگرانی‌ها از چه مسیری گزارش می‌شوند و در صورت اختلاف نظر میان ارزیاب و شرکت چه سازوکاری برای پیگیری وجود خواهد داشت. همین ابهام‌ها قرار است در جریان اجرای نخستین همکاری و اضافه شدن شرکت‌های ارزیابی دیگر روشن‌تر شوند.

هر شرکت دست‌کم ۱ میلیارد دلار سرمایه‌گذاری می‌کند

آنتروپیک و اکسنتور انتظار دارند هر کدام حداقل ۱ میلیارد دلار طی ۵ سال برای توسعه ظرفیت‌های لازم در زمینه ارزیابی و ایمنی هوش مصنوعی هزینه کنند که مجموع تعهد اعلام‌شده آن‌ها را به دست‌کم ۲ میلیارد دلار می‌رساند. این سرمایه فقط به بررسی مدل‌های کلود محدود نیست و اکسنتور قصد دارد زیرساخت و نیروی انسانی لازم برای ارزیابی مدل‌های شرکت‌های دیگر را نیز توسعه دهد. آنتروپیک نیز اعلام کرده اکسنتور تنها ارزیاب بیرونی آن نخواهد بود و نام مجموعه‌های دیگری که به این برنامه می‌پیوندند در هفته‌های آینده منتشر می‌شود.

انتخاب اکسنتور به تجربه این شرکت در استقرار هوش مصنوعی در صنایع مختلف نیز مربوط است. آنتروپیک معتقد است شرکتی که از نزدیک با نحوه استفاده بانک‌ها، دولت‌ها، شرکت‌های درمانی و دیگر سازمان‌ها از هوش مصنوعی آشناست، می‌تواند خطر‌هایی را بررسی کند که شاید در آزمایشگاه یا آزمون‌های صرفاً فنی دیده نشوند. واحد Faculty اکسنتور نیز سابقه ارزیابی مدل‌های هوش مصنوعی و فعالیت در حوزه‌هایی مانند دولت، دفاع، سلامت و زیرساخت را دارد.

بخشی از برنامه گسترده‌تر داریو آمودی

همکاری تازه پس از آن اعلام شده که داریو آمودی، مدیرعامل آنتروپیک، خواستار ایجاد نظارت بیرونی گسترده‌تر بر آزمایشگاه‌های سازنده مدل‌های مرزی شده بود. یکی از پیشنهاد‌های وی این بود که شرکت‌های پیشرو هوش مصنوعی به ارزیاب‌های مستقل اجازه دهند به‌صورت مستمر و با سطح دسترسی نزدیک به کارکنان، ایمنی مدل‌ها و میزان پایبندی شرکت به تعهدات اعلام‌شده را بررسی کنند. هدف این رویکرد کاهش سرعت بی‌قیدوشرط رقابت بر سر ساخت مدل‌های قدرتمندتر و ایجاد فرصتی برای شناسایی خطر‌ها پیش از عرضه گسترده آن‌هاست.

این تصمیم در شرایطی گرفته شده که آنتروپیک طی ماه‌های اخیر چند رخداد امنیتی مربوط به مدل‌های کلود را نیز بررسی کرده است. این شرکت پیش‌تر گزارش داده بود که برخی نسخه‌های کلود در جریان آزمایش‌های امنیت سایبری به دلیل پیکربندی نادرست محیط آزمایش به سامانه‌های واقعی در اینترنت دسترسی پیدا کرده‌اند و پس از آن مجموعه‌ای از تغییرات را برای ارزیابی و نظارت بر مدل‌ها اعلام کرد. حضور ناظران بیرونی اکنون قرار است لایه دیگری به همین فرایند اضافه کند و بررسی عملکرد مدل‌ها فقط در اختیار تیم‌های داخلی شرکت باقی نماند.

تجربه‌ای که هنوز استاندارد مشخصی ندارد

مدل ارزیابی مستقر می‌تواند دسترسی ناظران مستقل به اطلاعاتی را فراهم کند که معمولاً از بیرون یک آزمایشگاه هوش مصنوعی قابل مشاهده نیست، اما میزان استقلال واقعی این گروه به نحوه اجرای طرح بستگی خواهد داشت. نحوه تأمین مالی، حدود محرمانگی، امکان انتشار عمومی یافته‌ها و اختیار ارزیاب در صورت مشاهده خطر جدی از جمله مواردی هستند که هنوز جزئیاتشان اعلام نشده است.

آنتروپیک این همکاری را نخستین قدم می‌داند و قصد دارد در کنار اکسنتور با ارزیاب‌های دیگری نیز کار کند تا نظارت بیرونی به یک مجموعه واحد وابسته نباشد. اگر این مدل در عمل کارآمد باشد، می‌تواند به الگویی برای دیگر شرکت‌های سازنده مدل‌های پیشرفته تبدیل شود که در آن بررسی ایمنی از یک آزمون محدود پیش از عرضه به فرایندی دائمی در تمام مراحل ساخت و انتشار مدل تبدیل می‌شود.