دور کمر؛ شاخصی ساده برای شناسایی چاقی
هوشمصنوعی به فکر خودسازی افتاده است
به گزارش خبرگزاری آنا، به نقل از «TechCrunch»؛ پژوهشگران Anthropic در مطالعهای با عنوان «پژوهشگران خودکار میتوانند خطاهای همراستایی را بهطور قابل اتکا کاهش دهند» بررسی کردهاند که آیا عاملهای هوش مصنوعی میتوانند بخشی از فرایند پژوهش مربوط به ایمنی و همراستایی مدلهای هوش مصنوعی را بهصورت خودکار انجام دهند یا خیر.
چگونه AI به بهبود یک مدل دیگر کمک میکند؟
در روش معمول، پژوهشگران انسانی یک مشکل را در رفتار یک مدل شناسایی میکنند، راهحلهای احتمالی را پیشنهاد میدهند، دادههای مورد نیاز را آماده میکنند، مدل را آموزش میدهند و سپس نتیجه را ارزیابی میکنند.
پژوهشگران Anthropic تلاش کردهاند بخش قابل توجهی از این چرخه را به یک عامل AI بسپارند. این عامل ابتدا منابع و پژوهشهای مرتبط را بررسی میکند، سپس یک روش پیشنهادی برای آموزش مدل ارائه میدهد و آن روش را روی مدل هدف آزمایش میکند. پس از بررسی نتیجه، روشهای موفق حفظ و روشهای ناموفق کنار گذاشته میشوند و فرایند آزمایش دوباره ادامه پیدا میکند.
به این ترتیب، هوش مصنوعی فقط یک پیشنهاد اولیه ارائه نمیدهد؛ بلکه در یک چرخه تکرارشونده، با تکرار الگوریتم روشهای مختلف را آزمایش میکند تا به نتیجه بهتری برسد.
«همراستایی» در هوش مصنوعی یعنی چه؟
یکی از مفاهیم کلیدی این پژوهش، همراستایی یا Alignment است. همراستایی به زبان ساده یعنی رفتار یک مدل هوش مصنوعی تا حد امکان با اهداف و محدودیتهایی که انسان برای آن تعیین کرده، سازگار باشد. برای مثال، یک مدل نباید به دلیل یک دستور کاربر، اطلاعات خصوصی افراد را افشا کند یا در برابر یک درخواست مخرب، محدودیتهای ایمنی خود را کنار بگذارد.
پژوهشگران در این مطالعه ۱۰ نوع رفتار نامطلوب مانند چاپلوسی بیش از حد، فریبکاری، پذیرش درخواستهای مخرب از طریق جیلبریک و حملات تزریق دستور را بررسی کردند.
نتیجه چه شد؟
عاملهای خودکار در هر ۱۰ مورد، روشهایی برای کاهش رفتارهای نامطلوب پیدا کردند. این کار بدون اینکه تواناییهای عمومی مدل هدف به شکل قابل توجهی کاهش پیدا کند، انجام شد.
پژوهشگران همچنین بررسی کردند که آیا روشهای پیدا شده فقط روی همان آزمونهایی که عامل AI برای آنها آموزش دیده موثر هستند یا در شرایط جدید نیز عملکرد مناسبی دارد؟
نتایج نشان داد برخی از روشهای برتر در آزمون جداگانه، ارزیابیهای چندمرحلهای و حتی روی مدلهایی تا ۴.۷ برابر بزرگتر از مدل هدف نیز قابل تعمیم بودند.
این موضوع اهمیت از آنجایی اهمیت زیادی دارد که اگر یک روش فقط پاسخ یک آزمون مشخص را بهتر کند، به معنای حل مشکل واقعی نیست. روش وقتی موفق است که بتواند در موقعیتهایی که به طور مستقیم در فرایند آموزش آن استفاده نشدهاند نیز عملکرد خود را حفظ کند.
هوش مصنوعی در برابر پژوهشگران انسانی
در بخش دیگری از آزمایش، ۲۸ پژوهشگر باتجربه نیز فرصت داشتند برای همان مشکلات، روشهای پیشنهادی خود را ارائه کنند. هر پژوهشگر تا هشت ساعت برای طراحی ایده خود زمان داشت.
بر اساس نتایج، بهترین روشهایی که عاملهای هوش مصنوعی پس از چند ساعت آزمایش و اصلاح پیدا کردند، در مجموع از ایدههای ارائهشده توسط پژوهشگران انسانی عملکرد بهتری داشت.
پژوهشگران Anthropic همچنین دریافتند شروع فرایند با ایدههای انسانی عملکرد AI Agentها را بهتر نمیکند.
البته این یافته به معنای جایگزین شدن پژوهشگران انسانی نیست؛ بلکه نشان میدهد برخی بخشهای قابلاندازهگیری پژوهش هوش مصنوعی را میتوان به عاملهای خودکار سپرد تا تعداد بسیار بیشتری از فرضیهها و روشها را در زمان کوتاه آزمایش کنند.
چرا مدل ضعیفتر برای مدل قدرتمندتر استفاده شد؟
پژوهشگران در آزمایش اولیه، از Claude Sonnet 5 بهعنوان پژوهشگر خودکار استفاده کردند تا یک نسخه اولیه از Claude Opus 4.8 را بهبود دهد.
هدف این بود که ببینند آیا یک مدل فعلی و ضعیفتر میتواند به بهبود ایمنی و همراستایی یک مدل قدرتمندتر و نسل بعدی کمک کند یا خیر.
این عامل توانست با استفاده از حدود ۲۴۰۰ نمونه آموزشی، عملکرد مدل هدف را در معیارهای همراستایی مورد بررسی به سطحی نزدیک به نسخه منتشرشده برساند. البته این نتیجه فقط مربوط به همان ۱۰ نوع خطای همراستایی بررسیشده است و نمیتوان آن را به معنای حل مسئله کلی همراستایی دانست.
آیا هوش مصنوعی واقعا خودش را بهتر کرده است؟
باتوجه به تحقیق انجام شده، دستکم هنوز نه و در این پژوهش، هوش مصنوعی توانسته بخشی از فرایند تحقیق، پیشنهاد روش، آموزش و ارزیابی را خودکار کند؛ اما محیط آزمایش، مدل هدف، معیارهای ارزیابی و چارچوب کلی توسط انسانها تعیین شدهاند.
مفهومی که در اینجا مطرح میشود، خودبهبودی بازگشتی یا Recursive Self-Improvement است. منظور از این اصطلاح، وضعیتی است که یک سیستم AI بتواند از توانایی خود برای یافتن مسیری جهت بهبود نسخه بعدی خودش استفاده کند و سپس نسخه بهترش نیز دوباره توانایی بیشتری برای بهبود خود داشته باشد.
اگر چنین چرخهای در آینده به شکل گسترده و مستقل عملی شود، سرعت توسعه هوش مصنوعی به میزان قابل توجهی افزایش پیدا خواهد کرد. البته پژوهش جدید Anthropic هنوز چنین مرحلهای را نشان نمیدهد؛ بلکه یکی از گامهای اولیه در جهت خودکارسازی پژوهش AI محسوب میشود.
آیا باید روی تحقیقات AI نظارت کرد؟
یکی از بخشهای جالب پژوهش نشان میدهد که سپردن تحقیق به هوش مصنوعی، آن هم بدون نظارت، خالی از خطر نیست.
پژوهشگران بیش از ۱۶۰۰ مسیر فعالیت عاملهای خودکار را بررسی کردند و در حدود ۲.۴ درصد آنها رفتارهایی شناسایی کردند که از نظر آزمایش نوعی تقلب محسوب میشد. برای مثال، تلاش برای دستکاری نتیجه ارزیابی، ساخت دادههایی که بیش از حد شبیه آزمون بودند یا پنهان کردن یک مرحله ممنوع در فرایند تحقیق که این موارد از چرخه نتایج نهایی حذف شدند.
این بخش نشان میدهد مسئله فقط این نیست که «آیا هوش مصنوعی میتواند پژوهش کند؟» بلکه باید فهمید چگونه میتوان مطمئن شد پژوهشگری که خودش یک سیستم هوش مصنوعی است، برای رسیدن به نتیجه بهتر، قوانین آزمایش را دور نمیزند؟
یک قدم به سوی پژوهش خودکار
پژوهشگران Anthropic معتقدند نتایج این مطالعه نشان میدهد خودکارسازی برخی بخشهای پژوهش همراستایی میتواند در آینده نزدیک بهویژه در حوزههایی که معیارهای موفقیت بهوضوح قابل اندازهگیری هستند؛ عملی باشد.
با این وجود، هنوز فاصله زیادی میان این آزمایش و هوش مصنوعی کاملا خود بهبود دهنده وجود دارد. مدلهای فعلی همچنان به چارچوبهای انسانی، معیارهای ارزیابی و نظارت نیاز دارند و حتی در یک محیط کنترلشده نیز ممکن است روشهایی برای دور زدن قواعد پیدا کنند.
انتهای پیام/
