جمینای ۴ کربن با وجود صدرنشینی در بنچمارک‌ها عمومی نشد
به گزارش خبرگزاری آنا؛ رقابت میان توسعه‌دهندگان مدل‌های پیشرفته هوش مصنوعی به مرحله‌ای رسیده که فاصله زمانی معرفی محصولات جدید به شکل قابل توجهی کاهش یافته و شرکت‌ها تلاش می‌کنند با بهبود توانایی‌های تخصصی، جایگاه خود را در بازار حفظ کنند. گوگل در تازه‌ترین مرحله توسعه خانواده جمینای، تمرکز ویژه‌ای بر افزایش قابلیت‌های امنیتی و اجرای مستقل وظایف طولانی‌مدت داشته است؛ حوزه‌هایی که با گسترش استفاده از ایجنت‌های هوش مصنوعی در محیط‌های کاری اهمیت بیشتری پیدا کرده‌اند. برخلاف مدل‌های عمومی که عمدتاً برای پاسخ‌گویی به پرسش‌ها و تولید محتوا طراحی می‌شوند، نسل جدید محصولات پیشرفته باید بتوانند پروژه‌های نرم‌افزاری بزرگ را بررسی کنند، مشکلات فنی را شناسایی کنند و بدون نیاز به دخالت مداوم کاربر، مراحل مختلف یک فعالیت را پیش ببرند. با این حال، افزایش توانایی این سامانه‌ها در شناسایی و بهره‌برداری از آسیب‌پذیری‌های نرم‌افزاری، نگرانی‌های تازه‌ای درباره سوءاستفاده احتمالی از آن‌ها ایجاد کرده و بر شیوه انتشار محصولات جدید تأثیر گذاشته است.
عملکرد مدل جدید در برنامه‌نویسی و شناسایی آسیب‌پذیری‌ها بهبود یافت
مهم‌ترین پیشرفت جمینای ۴ کربن به توانایی انجام وظایف پیچیده برنامه‌نویسی و تحلیل امنیتی مربوط می‌شود. گوگل اعلام کرده این مدل در شناسایی آسیب‌پذیری‌های نرم‌افزاری، بررسی امکان سوءاستفاده از آن‌ها و ارائه راهکار‌های اصلاحی عملکرد بهتری نسبت به نسل قبلی دارد. در ارزیابی SEC-bench Pro که توانایی شناسایی مشکلات امنیتی در نرم‌افزار‌های واقعی را اندازه‌گیری می‌کند، محصول جدید به امتیاز ۸۸٫۲ درصد رسیده است. همچنین در آزمون ExploitGym که امکان بهره‌برداری از آسیب‌پذیری‌ها را بررسی می‌کند، امتیاز ۵۴٫۸ درصد و در آزمون CWE-bench که بر اصلاح مشکلات امنیتی تمرکز دارد، نتیجه ۷۱ درصد ثبت شده است. این ارقام براساس ارزیابی‌های ارائه‌شده از سوی گوگل هستند و لزوماً عملکرد مدل را در تمام محیط‌های عملیاتی تضمین نمی‌کنند.
بهبود کیفیت کد‌های تولیدشده نیز از دیگر ویژگی‌های این نسخه است. براساس آزمایش‌های داخلی گوگل، احتمال تولید کد‌های ایمن با استفاده از مدل جدید بیش از ۲ برابر نسل آرگون شده است. تیم توسعه مرورگر کروم نیز گزارش داده که این محصول در تولید اصلاحیه‌های نرم‌افزاری باکیفیت، بیش از ۱۰ برابر بهتر از یکی از مدل‌های پیشرفته متعلق به آزمایشگاهی دیگر عمل کرده است. البته این مقایسه به یک مدل مشخص و شرایط آزمایش موردنظر محدود می‌شود و نمی‌توان آن را به تمام رقبای موجود تعمیم داد. گوگل همچنین تلاش کرده توانایی اجرای وظایف طولانی‌مدت را افزایش دهد تا هوش مصنوعی بتواند هنگام بررسی پروژه‌های بزرگ، مراحل مختلف تحلیل و اصلاح کد را با پیوستگی بیشتری دنبال کند.
در بخش توسعه وب نیز پیشرفت‌هایی ثبت شده است. مدل تازه با افزایش ۸۹ امتیازی در معیار WebDev Arena، به جایگاه چهارم این رتبه‌بندی رسیده که کیفیت خروجی ابزار‌های هوش مصنوعی در طراحی و توسعه صفحات وب را ارزیابی می‌کند. این پیشرفت در کنار توانایی بیشتر در برنامه‌نویسی ایجنتی، می‌تواند برای توسعه‌دهندگانی اهمیت داشته باشد که قصد دارند بخشی از فرایند ساخت، آزمایش و اصلاح نرم‌افزار را به هوش مصنوعی واگذار کنند. با این حال، فاصله عملکرد مدل‌های پیشرفته در بعضی آزمون‌ها همچنان محدود است و برتری در یک معیار لزوماً به معنای عملکرد بهتر در تمام وظایف برنامه‌نویسی نیست.
جمینای ۴ کربن در رتبه نخست شاخص Artificial Analysis قرار گرفت
گوگل برای نمایش توانایی‌های مدل تازه به نتایج نسخه پنجم شاخص Intelligence Index متعلق به شرکت Artificial Analysis استناد کرده است. در این ارزیابی، جمینای ۴ کربن با کسب ۵۹ امتیاز بالاتر از کلود اوپوس ۵.۵ با ۵۸ امتیاز و GPT-۶ آسترا با ۵۷ امتیاز قرار گرفته است. مدل قبلی گوگل نیز در همین نسخه از شاخص ۵۰ امتیاز کسب کرده که بیانگر پیشرفت قابل توجه محصول جدید در مجموعه آزمون‌های تازه است. با وجود این، اختلاف یک‌امتیازی با نزدیک‌ترین رقیب و تفاوت ماهیت آزمون‌ها اهمیت دارد، زیرا رتبه‌بندی‌های کلی تنها بخشی از توانایی مدل‌ها را اندازه‌گیری می‌کنند و ممکن است نتیجه در فعالیت‌های تخصصی متفاوت باشد.
نسخه پنجم این شاخص با افزایش سهم پرسش‌های محرمانه و تغییر ترکیب آزمون‌ها توسعه یافته تا امکان کسب امتیاز بالا از طریق آشنایی قبلی مدل‌ها با داده‌های ارزیابی کاهش یابد. محصول جدید گوگل در ۴ مورد از ۹ آزمون این مجموعه بالاترین امتیاز را کسب کرده و در بخش‌هایی مانند استدلال پیچیده، دانش عمومی و تحلیل علمی عملکرد قدرتمندی داشته است. با این حال، در ارزیابی جداگانه ایجنت‌های برنامه‌نویسی، همچنان پس از کلود اوپوس ۵.۵ قرار می‌گیرد. این نتایج بیانگر آن هستند که هرچند گوگل توانسته جایگاه نخست رتبه‌بندی عمومی را به دست آورد، برتری آن در تمام حوزه‌های تخصصی یکسان نیست و سایر شرکت‌ها همچنان در برخی فعالیت‌ها عملکرد بهتری دارند.
مقاومت مدل در برابر حملات تزریق دستور افزایش یافت
گسترش استفاده از ایجنت‌های هوش مصنوعی در محیط‌های نرم‌افزاری، احتمال مواجهه آن‌ها با دستور‌های مخرب پنهان‌شده در فایل‌ها، صفحات وب یا داده‌های خارجی را افزایش داده است. این نوع حمله که با عنوان «تزریق دستور» شناخته می‌شود، تلاش می‌کند مدل را از وظیفه اصلی منحرف کند و به اجرای فرمان‌هایی وادارد که کاربر مجاز به آن‌ها نیست یا هرگز درخواست نکرده است. برای مقابله با این خطر، گوگل در توسعه محصول جدید بر بهبود توانایی تشخیص دستور‌های نامعتبر و حفظ محدودیت‌های امنیتی تمرکز کرده است.
در ارزیابی Gray Swan که مقاومت مدل‌ها در برابر حملات غیرمستقیم تزریق دستور را بررسی می‌کند، هیچ‌کدام از حملات آزمایش‌شده علیه جمینای ۴ کربن موفق نبوده‌اند و نرخ موفقیت حمله به صفر درصد رسیده است. این رقم برای نسل قبلی ۰٫۷ درصد، برای کلود اوپوس ۵.۵ حدود یک درصد و برای GPT-۶ آسترا برابر با ۸٫۵ درصد گزارش شده است. هرچند نتیجه جدید از بهبود مقاومت در شرایط آزمون حکایت دارد، به معنای مصونیت کامل مدل در برابر تمام روش‌های حمله نیست و عملکرد آن باید در سناریو‌های متنوع‌تر نیز بررسی شود.
گوگل علاوه بر افزایش مقاومت امنیتی، تلاش کرده رفتار مدل هنگام اجرای وظایف چندمرحله‌ای را قابل اعتمادتر کند. براساس نتایج آزمایش‌های داخلی، میزان اقداماتی که از محدوده درخواست کاربر فراتر می‌روند ۲۶ درصد کاهش یافته و موارد انجام ناقص وظایف نیز ۲۹ درصد کمتر شده‌اند. این شرکت همچنین از کاهش حدود ۸۰ درصدی هشدار‌های جدی مربوط به رفتار نامناسب مدل در محیط‌های واقعی برنامه‌نویسی خبر داده است. مجموعه این تغییرات با هدف جلوگیری از اجرای فرمان‌های ناخواسته، کاهش خطا‌های تصمیم‌گیری و افزایش توانایی همکاری با کاربران در پروژه‌های پیچیده توسعه یافته‌اند.
عرضه عمومی مدل به پایان بررسی‌های امنیتی وابسته است
با وجود اعلام نتایج فنی، گوگل هنوز امکان استفاده عمومی از جمینای ۴ کربن را فراهم نکرده است. این شرکت اعلام کرده ابتدا دسترسی را برای گروه محدودی از متخصصان دفاع سایبری فعال می‌کند و سپس از طریق برنامه Fairwind، تعداد بیشتری از شرکای منتخب را به جمع کاربران اضافه خواهد کرد. تصمیم یادشده با توانایی بالای مدل در شناسایی و بررسی آسیب‌پذیری‌های نرم‌افزاری ارتباط دارد، زیرا چنین قابلیت‌هایی علاوه بر کمک به مدافعان امنیت سایبری، ممکن است برای طراحی حملات نیز مورد سوءاستفاده قرار گیرند. گوگل همچنین در چارچوب برنامه داوطلبانه دولت آمریکا برای ارزیابی مدل‌های پیشرفته پیش از انتشار مشارکت می‌کند و قصد دارد پس از دریافت بازخورد و تکمیل بررسی‌های ایمنی، دسترسی به محصول را گسترش دهد.
برنامه انتشار گسترده هنوز زمان‌بندی مشخصی ندارد، اما انتظار می‌رود توسعه‌دهندگان از طریق رابط برنامه‌نویسی جمینای و مشترکان سرویس AI Ultra از نخستین گروه‌هایی باشند که در مراحل بعدی امکان استفاده از این مدل را دریافت می‌کنند. با این حال، گوگل هنوز ترتیب دقیق دسترسی کاربران و زمان آغاز عرضه عمومی را تأیید نکرده است. این شرکت برای استفاده از رابط برنامه‌نویسی، قیمت اولیه ۲ دلار به‌ازای هر یک میلیون توکن ورودی و ۱۰ دلار برای هر یک میلیون توکن خروجی را در نظر گرفته است. پس از پایان دوره تخفیف، این مبالغ به‌ترتیب به ۴ و ۲۰ دلار افزایش خواهند یافت، اما تاریخ پایان قیمت‌گذاری اولیه هنوز مشخص نشده است.
معرفی جمینای ۴ کربن در فاصله کوتاهی از عرضه نسل قبلی، سرعت بالای توسعه مدل‌های پیشرفته گوگل را برجسته کرده است. با این حال، تفاوت مهم این نسل تنها به افزایش امتیاز در آزمون‌ها محدود نمی‌شود و توانایی بیشتر در اجرای فعالیت‌های مستقل و شناسایی ضعف‌های امنیتی، مسئولیت سازندگان را در زمینه کنترل دسترسی و جلوگیری از سوءاستفاده افزایش می‌دهد. موفقیت واقعی محصول جدید زمانی روشن‌تر خواهد شد که علاوه بر گروه‌های آزمایشی، توسعه‌دهندگان و کاربران بیشتری بتوانند عملکرد آن را در پروژه‌های واقعی بررسی کنند.
انتهای پیام/
