مدلهای جدید اوپنایآی بهجای تحسین، موجی از انتقاد به راه انداختند
به گزارش خبرگزاری آنا؛ اوپنایآی نسل تازه مدلهای هوش مصنوعی خود را با تمرکز بر انجام پروژههای حرفهای، افزایش کارایی و کاهش هزینه پردازش معرفی کرده، اما ارزیابیهای اولیه تعدادی از کاربران حرفهای با ادعاهای این شرکت فاصله قابلتوجهی داشته است. مدل GPT-۶.۲ Astra برای انجام فعالیتهای پیچیده مانند برنامهنویسی، تهیه اسناد مالی و حقوقی، طراحی وبسایت و تولید محتوای حرفهای توسعه یافته و نسخه GPT-۶.۲ Sol نیز با هدف اجرای سریعتر وظایف روزمره و کاهش تعداد توکنهای مصرفی عرضه شده است. با وجود اعلام بهبود عملکرد در آزمونهای فنی، برخی از افرادی که پیش از انتشار عمومی به مدلها دسترسی داشتهاند، از دشواری هدایت آنها و نیاز مداوم به تأیید کاربر برای اجرای اقدامات ساده انتقاد کردهاند.
واکنشهای منفی بهویژه بر قابلیت انجام مستقل وظایف متمرکز بوده است؛ ویژگی مهمی که به مدلهای هوش مصنوعی اجازه میدهد پس از دریافت دستور اولیه، مجموعهای از اقدامات مرتبط را بدون نیاز به دخالت مداوم کاربر اجرا کنند. شماری از آزمایشکنندگان گزارش دادهاند که نسخه جدید هنگام انجام پروژههای چندمرحلهای بیش از حد متوقف میشود، درباره اقدامات معمول اجازه میگیرد و برای تکمیل کار به راهنمایی بیشتری نیاز دارد. در مقابل، اوپنایآی تأکید کرده که مدلهای جدید در بخشهایی مانند برنامهنویسی، تولید اسناد و اجرای وظایف پیچیده پیشرفت کردهاند و بخش مهمی از انتقادهای اولیه ممکن است به نسخههایی مربوط باشند که پیش از اعمال آخرین اصلاحات در اختیار آزمایشکنندگان قرار گرفته بودند.
دو مدل جدید برای پروژههای حرفهای و فعالیتهای روزمره
اوپنایآی مدل آسترا را بهعنوان گزینه پیشرفتهتر خانواده GPT-۶.۲ معرفی کرده و اعلام کرده است که این مدل در ساخت ارائههای تصویری، صفحات گسترده و اسناد تخصصی عملکرد بهتری نسبت به نسل قبلی دارد. تمرکز اصلی توسعه آن بر تولید خروجیهایی بوده که از نظر ساختار، طراحی و سبک نگارش با استانداردهای حرفهای هماهنگ باشند و بتوانند دستورالعملها و قالبهای ارائهشده توسط کاربر را با دقت بیشتری رعایت کنند. این قابلیتها بهویژه برای فعالیتهایی مانند تهیه گزارش مالی، تنظیم اسناد حقوقی، طراحی اسلاید و کار روی پروژههای نرمافزاری اهمیت دارند، زیرا نتیجه نهایی باید علاوه بر صحت اطلاعات، از نظر ساختار و نحوه ارائه نیز با نیازهای مشخص کاربر مطابقت داشته باشد.
نسخه سول برای فعالیتهای عمومیتر طراحی شده و در مقایسه با GPT-۶.۱ Sol قرار است با مصرف بهینهتر توکنها، وظایف بیشتری را در محدوده هزینه و ظرفیت مشخص انجام دهد. این مدل برای برنامهنویسی روزمره، نگارش متن، بررسی اطلاعات و اجرای فرایندهای چندمرحلهای در نظر گرفته شده است. اوپنایآی اعلام کرده بسیاری از کارکنان خود از این نسخه بهعنوان مدل پیشفرض برای کارهای فنی و غیرفنی استفاده میکنند. هر دو مدل در ابزارهای چتجیپیتی Work و کدکس و همچنین از طریق رابط برنامهنویسی اوپنایآی در دسترس قرار گرفتهاند. با این حال، انتشار عمومی مدلها به معنای یکسان بودن عملکرد آنها در تمام کاربردها نیست و نتیجه استفاده میتواند به نوع وظیفه، ابزارهای متصل و میزان استقلال موردنیاز بستگی داشته باشد.
درخواستهای مکرر برای دریافت مجوز کاربران را ناراضی کرد
مت شومر، کارآفرین و سرمایهگذار حوزه فناوری که پیش از عرضه عمومی به مدلهای جدید دسترسی داشته، از نخستین افرادی بود که ارزیابی منفی خود را منتشر کرد. وی ابتدا اعلام کرد تجربه استفاده از آسترا و سول بهاندازهای ناامیدکننده بوده که تصمیم گرفته برخلاف روال معمول، بررسی مفصلی درباره آنها منتشر نکند. شومر در ادامه و پس از درخواست دنبالکنندگانش، ویدئویی حدود ۱۴ دقیقهای منتشر کرد و توضیح داد که مدلهای جدید در انجام برخی فعالیتهای عادی بیش از اندازه به تأیید کاربر وابسته هستند. به گفته وی، مدل حتی برای اقداماتی مانند دانلود یک فایل درخواست اجازه میکرد؛ کاری که بسیاری از ابزارهای هوش مصنوعی رقیب در چارچوب دسترسیهای اعطاشده، بدون ایجاد وقفه اضافی انجام میدهند.
شومر معتقد است مشکل اصلی تنها به توانایی مدل در تولید پاسخ یا نوشتن کد مربوط نمیشود، بلکه نحوه تصمیمگیری آن درباره ادامه مراحل یک پروژه نیز عملکرد مناسبی ندارد. وی تجربه کار با نسخه جدید را در مقایسه با برخی مدلهای قبلی اوپنایآی و محصولات کنونی آنتروپیک ضعیفتر ارزیابی کرده و گفته است که مدل برای انجام مستقل وظایف به اصلاحات بیشتری نیاز دارد. از دید وی، چنین رفتاری میتواند استفاده از ابزارهای ایجنتی را دشوار کند، زیرا کاربر بهجای واگذاری یک پروژه و بررسی نتیجه نهایی، ناچار میشود بارها برای انجام اقدامات میانی تصمیم بگیرد. البته این ارزیابی براساس آزمایشهای شخصی شومر انجام شده و نمیتوان آن را به تمام کاربردهای مدل یا تجربه همه کاربران تعمیم داد.
مککی ریگلی، توسعهدهنده نرمافزار و مدیرعامل استارتاپ Takeoff، نیز در واکنش کوتاهی به انتشار مدل جدید، عملکرد آسترا را به نفع برنامه عرضه سهام آنتروپیک توصیف کرد. این اظهار نظر در ادامه واکنشهایی مطرح شده که کیفیت تجربه کاربری را بهاندازه امتیاز مدلها در آزمونهای تخصصی مهم میدانند. انتقادها همچنین نشان میدهند که برای کاربران حرفهای، توانایی انجام یک وظیفه تنها معیار ارزیابی نیست و تعداد دفعات دخالت کاربر، کیفیت تصمیمهای میانی و قابلیت اعتماد به روند اجرای پروژه نیز بر انتخاب مدل تأثیر میگذارند.
عملکرد متفاوت مدل در پروژههای پیچیده سهبعدی
ایتن مولیک، استاد مدرسه وارتون دانشگاه پنسیلوانیا، تجربه متفاوتی از کار با GPT-۶.۲ Astra گزارش کرده است. وی در آزمایشی از مدل خواست با استفاده از نرمافزار بلندر و موتور بازیسازی یونیتی، شبیهسازی سهبعدی یک آسانسور فضایی را از ابتدا طراحی کند. مدل توانست بخشهای اصلی پروژه را ایجاد کند و نتیجهای ارائه دهد که مولیک از نظر توانایی فنی آن را قابلتوجه ارزیابی کرد. این آزمایش نشان داد مدل میتواند در برخی پروژههای پیچیده که به ترکیب برنامهنویسی، طراحی سهبعدی و استفاده از ابزارهای تخصصی نیاز دارند، عملکرد مناسبی داشته باشد.
با این حال، مولیک توضیح داد که هدایت مدل برای رسیدن به نتیجه موردنظر دشوارتر از برخی ابزارهای رقیب بوده و برای ادامه مراحل کار به راهنمایی و مداخله بیشتری نیاز داشته است. وی عملکرد آسترا را ناهماهنگ توصیف کرد و معتقد بود که با وجود توانایی قابلتوجه در اجرای پروژههای بزرگ، تجربه همکاری با آن در بعضی مراحل ناامیدکننده است. این تفاوت میان کیفیت خروجی نهایی و دشواری فرایند رسیدن به آن، یکی از نکات مشترک در ارزیابیهای اولیه محسوب میشود. مدلی ممکن است بتواند یک پروژه پیچیده را با موفقیت تکمیل کند، اما اگر برای انجام همان پروژه به دستورهای اضافی و اصلاحات مکرر نیاز داشته باشد، در استفاده روزمره کارایی کمتری نسبت به گزینههای دیگر خواهد داشت.
انتقاد از کیفیت برنامهنویسی و تولید محتوا
دن شیپر، کارآفرین و فعال حوزه هوش مصنوعی، نیز پس از آزمایش مدلهای جدید اعلام کرد که عملکرد آنها در مقایسه با Claude Fable ۵.۲ آنتروپیک پایینتر از انتظار بوده است. وی به مشکلاتی در نگارش متن، برنامهنویسی و طراحی اشاره کرد و توضیح داد که نسخه جدید همیشه نمیتواند خواستههای کاربر را با انعطاف و دقت کافی اجرا کند. از نظر شیپر، مشکلات مربوط به کیفیت خروجی تنها به اشتباههای فنی محدود نیستند و در برخی موارد، سبک نگارش یا تصمیمهای طراحی نیز با نیاز پروژه مطابقت ندارند. این مسئله برای کاربرانی که از مدلهای هوش مصنوعی در فرایند تولید محتوای حرفهای یا توسعه نرمافزار استفاده میکنند، اهمیت دارد؛ زیرا اصلاح مداوم نتیجه میتواند بخشی از صرفهجویی زمانی مورد انتظار را از بین ببرد.
برخی ارزیابیهای دیگر نیز نشان دادهاند که مدل آسترا در بعضی وظایف برنامهنویسی، با وجود توانایی شناسایی خطاها و پیشنهاد اصلاحات مناسب، برای تکمیل پروژههای طولانی با دشواری مواجه میشود. در مقابل، گزارشهایی از عملکرد مناسب آن در طراحی جلوههای بصری، تولید محتوای سهبعدی و بررسی کد منتشر شده است. این اختلاف ارزیابیها نشان میدهد واکنش کاربران حرفهای یکدست نبوده و نتایج به نوع فعالیت و شیوه استفاده از مدل وابسته هستند. همچنین بسیاری از آزمایشها پیش از انتشار عمومی انجام شدهاند و هنوز بررسیهای مستقل گستردهای که عملکرد نسخه نهایی را در مجموعهای یکسان از وظایف مقایسه کنند، در دسترس نیستند.
اوپنایآی از تغییرات روزهای پایانی پیش از انتشار خبر داد
تیبو سوتیو، از مدیران بخش محصول اوپنایآی، در واکنش به انتقادهای منتشرشده توضیح داد که برخی آزمایشکنندگان مدت قابلتوجهی پیش از عرضه رسمی به مدلها دسترسی پیدا کرده بودند و تیم توسعه در سه تا چهار روز پایانی، تغییرات متعددی در آنها اعمال کرده است. وی احتمال داد که برخی از منتقدان پس از اعمال این اصلاحات، مدلها را دوباره آزمایش نکرده باشند و در نتیجه ارزیابیهای منتشرشده الزاماً عملکرد نسخه نهایی را منعکس نکنند. این توضیح میتواند بخشی از اختلاف میان تجربه آزمایشکنندگان اولیه و گزارشهای مثبتتر برخی کاربران پس از انتشار عمومی را روشن کند، اما اوپنایآی جزئیات کامل تمام تغییرات اعمالشده در روزهای پایانی را منتشر نکرده است.
شیپر در پاسخ به این توضیحات اعلام کرد که تیم وی حتی در بازه زمانی مورد اشاره نیز آزمایش مدلها را ادامه داده و اطلاعیهای درباره اعمال تغییرات تازه دریافت نکرده است. وی تأکید کرد اگر اوپنایآی بهصورت مشخص اعلام کرده بود که نسخه جدیدی برای ارزیابی در دسترس قرار گرفته، آزمایشها را از ابتدا تکرار میکردند. این اختلاف نشان میدهد شیوه ارائه نسخههای آزمایشی و اطلاعرسانی درباره تغییرات پیش از انتشار میتواند بر اعتبار بررسیهای اولیه تأثیر بگذارد. با این حال، هنوز مشخص نیست تمام منتقدان دقیقاً از چه نسخهای استفاده کردهاند و چه میزان از مشکلات گزارششده در مدلهای منتشرشده برای کاربران عمومی نیز وجود دارد.
نتایج آزمونهای رسمی با تجربه برخی کاربران تفاوت دارد
اوپنایآی در معرفی GPT-۶.۲ Astra اعلام کرده که این مدل در چندین آزمون تخصصی مربوط به فعالیتهای حرفهای و انجام وظایف چندمرحلهای نسبت به نسل قبلی پیشرفت داشته است. برای نمونه، امتیاز آسترا در آزمون Agents’ Last Exam حدود ۵٫۲ واحد بیشتر از GPT-۶ Astra گزارش شده و شرکت مدعی است هزینه اجرای وظایف در این آزمون به کمتر از یکسوم رسیده است. اوپنایآی همچنین به عملکرد بهتر در تهیه اسناد حقوقی، تحلیل دادههای مالی و طراحی محتوای سهبعدی اشاره کرده و اعلام کرده است که مدل جدید در برخی سنجشها با مصرف توکن کمتر، خروجی دقیقتری تولید میکند. این نتایج بر پایه روشهای ارزیابی مشخص ارائه شدهاند و لزوماً تمام جنبههای تجربه کاربران در محیطهای واقعی را پوشش نمیدهند.
قیمت استفاده از مدل پیشرفته نیز در رابط برنامهنویسی نسبت به نسل قبلی کاهش یافته است. هزینه پردازش هر یک میلیون توکن ورودی آسترا به ۸ دلار و هر یک میلیون توکن خروجی آن به ۴۰ دلار رسیده که نسبت به نسخه پیشین ۲۰ درصد کمتر است. سول نیز با حفظ قیمت نسل قبلی، برای فعالیتهایی که به توان پردازشی کمتری نیاز دارند ارائه شده است. کاهش هزینه میتواند برای شرکتهایی که از مدلها در مقیاس گسترده استفاده میکنند اهمیت داشته باشد، اما در پروژههای طولانی، تعداد دفعات اصلاح و میزان مداخله کاربر نیز بر هزینه نهایی تأثیر میگذارند. اگر یک مدل برای تکمیل وظیفهای مشخص به تکرار مراحل بیشتری نیاز داشته باشد، پایینتر بودن هزینه هر توکن لزوماً به معنای ارزانتر تمام شدن کل پروژه نخواهد بود.
آنتروپیک در آستانه عرضه سهام خود قرار دارد
واکنشهای منفی به مدلهای جدید اوپنایآی در مقطعی منتشر شدهاند که آنتروپیک برنامه عرضه اولیه سهام خود را دنبال میکند. این شرکت پس از ارائه مدارک مربوط به ورود به بازار سهام آمریکا، فرایند معرفی سهام به سرمایهگذاران را آغاز کرده و همزمان نسل تازه مدلهای کلود را نیز در دسترس قرار داده است. مدلهای کلود Fable ۵.۲ و کلود Mythos ۵.۲ با تمرکز بر برنامهنویسی، تحلیل مالی و فعالیتهای علمی معرفی شدهاند و آنتروپیک تلاش کرده توانایی آنها در انجام پروژههای پیچیده و طولانیمدت را برجسته کند. همزمانی انتشار مدلهای جدید دو شرکت باعث شده مقایسه عملکرد آنها در میان توسعهدهندگان و کاربران حرفهای توجه بیشتری جلب کند.
شومر و چند منتقد دیگر معتقدند تجربه ضعیفتر استفاده از GPT-۶.۲ میتواند در آستانه عرضه سهام آنتروپیک، توجه بیشتری به محصولات این شرکت جلب کند. با این حال، این ارزیابیها به معنای اثبات برتری کلی مدلهای آنتروپیک یا تأیید تأثیر مستقیم انتقادها بر وضعیت مالی شرکت نیستند. اوپنایآی در برخی آزمونهای منتشرشده نتایج بهتری نسبت به مدلهای رقیب گزارش کرده و گروهی از آزمایشکنندگان نیز عملکرد آسترا را در فعالیتهای تخصصی قابلتوجه دانستهاند. در مقابل، انتقادهای مربوط به دشواری هدایت مدل و درخواستهای مکرر برای دریافت مجوز نشان میدهند عملکرد فنی بالا در آزمونهای استاندارد الزاماً تجربه کاربری روانتری ایجاد نمیکند.
اوپنایآی هنوز برنامه مشخصی برای رفع تمام مشکلات گزارششده ارائه نکرده، اما توضیحات مدیران شرکت نشان میدهد اصلاح رفتار مدلها تا روزهای پایانی پیش از انتشار ادامه داشته است. ارزیابی عملکرد نسخه نهایی در پروژههای واقعی و مقایسه آن با محصولات رقیب میتواند مشخص کند کدام انتقادهای اولیه همچنان پابرجا هستند و چه مشکلاتی در اصلاحات اخیر برطرف شدهاند. در شرایطی که شرکتهای بزرگ هوش مصنوعی فاصله زمانی میان انتشار نسلهای جدید محصولات خود را کاهش دادهاند، کیفیت اجرای مستقل وظایف و میزان دخالت موردنیاز کاربران به معیارهای مهمتری برای انتخاب مدل تبدیل شدهاند.
انتهای پیام/