بررسی عملکرد و توانایی ۴ هوش مصنوعی فعال ایرانی

طی روزهای اخیر اعمال برخی محدودیت‌ها بر اینترنت بین‌الملل و سرویس‌های مبتنی بر آن سبب شده است تا نیاز به استفاده از خدمات بومی بیش از گذشته میان کاربران احساس شود، به همین جهت توجه‌ها به سمت سامانه‌های داخلی معرفی‌شده در پورتال خدمات ملی سازمان فناوری اطلاعات جلب شده است

همین بهانۀ خوبی بود تا روز گذشته به عنوان خبرنگار حوزه فناوری آناتک، سراغ ۴ سامانه «ویرا»، «هوش‌زی»، «بوف» و «اُکیان» بروم تا توانایی‌ها، محدودیت‌ها و دقت پاسخ‌گویی آن‌ها را در پاسخ به سوالات خبری، عمومی و فنی ارزیابی کنم. نتایج این بررسی نشان می‌دهد که اگرچه تعدادی از سرویس‌های مورد بررسی از نظر فنی و رابط کاربری پیشرفت‌هایی داشته‌اند، اما دیتابیس اطلاعاتی برخی از آن‌ها به‌روز نیست و برای پاسخ به سوالات زمان محور دچار مشکل می‌شوند.

برای ایجاد یک معیار مقایسه‌ای واحد، مجموعه‌ای از سوالات مشخص طراحی شد که شامل پرسش درباره هویت خبرگزاری آنا، تاریخ دقیق روز، پیش‌بینی آب‌وهوا بدون ذکر موقعیت مکانی، محاسبات ریاضی (تبدیل عدد باینری) و پرسش درباره رئیس‌جمهور فعلی کشور بود. این سوالات به گونه‌ای تدوین شده بودند که هم توانایی جستجوی وب و دسترسی به اطلاعات لحظه‌ای مدل‌ها را بسنجند و هم قدرت پردازش و استدلال منطقی آن‌ها را مورد آزمایش قرار دهند.

اولین سامانه مورد بررسی، ویرا بود که در سکوی خود مدل اختصاصی ویرا را به همراه مدل‌های چت‌جی‌پی‌تی oss۱۲۰، دیپ‌سیک ۳.۱ و گاما۳ ارائه می‌دهد. آزمایش روی مدل اختصاصی ویرا با موانع جدی رو‌به‌رو شد. این مدل در پاسخ به اکثر سوالات، از جمله هویت خبرگزاری آنا، تاریخ روز و نام رئیس‌جمهور، کاربر را با پیام «متاسفانه من به اطلاعات به‌روز رسانی‌شده دسترسی ندارم» مواجه کرد. به نظر من این پاسخ نشان می‌دهد که مدل در برابر داده‌های ناقص یا قدیمی، ترجیح می‌دهد پاسخ ندهد تا اطلاعات نادرست ارائه کند. تنها پاسخ مدل اختصاصی ویرا به محاسبه باینری عدد ۱۰۰ بود که آن را معادل ۴ در مبنای ۱۰ محاسبه کرد اما آن هم جواب نهایی نبود و عدد باینری داده نشده بود.

بررسی سایر مدل‌های موجود در سامانه ویرا نتایج متفاوتی را نشان داد. مدل چت‌جی‌پی‌تی موجود در این سکوی در پاسخ به سوال درباره خبرگزاری آنا، تنها به ذکر این نکته اکتفا کرد که این خبرگزاری در ایران و مقر آن تهران است، اما جزئیات مالکیت آن را ارائه نکرد. در مورد تاریخ، این مدل تاریخ میلادی را ۲۱ ژانویه اعلام کرد که با توجه به تاریخ واقعی (۲۲ ژانویه) یک روز خطا داشت، اما ماه و سال را درست بیان کرد. برای آب‌وهوا نیز منابعی را معرفی کرد. در بخش سوال سیاسی، تمامی مدل‌های گاما۳، دیپ‌سیک و چت‌جی‌پی‌تی در سامانه ویرا، رئیس‌جمهور کشور را شهید ابراهیم رئیسی معرفی کردند که نشان‌دهنده عدم به‌روزرسانی پایگاه داده‌های این مدل‌ها است. مدل دیپ‌سیک جزئیات دقیق‌تری از زمان ریاست‌جمهوری مرحوم رئیسی ارائه داد و محاسبات باینری را نیز به درستی و با مراحل کامل انجام داد.

علاوه بر محتوای پاسخ‌ها، ساختار فنی سامانه ویرا نیز مورد ارزیابی قرار گرفت. در نسخه وب این سامانه، دکمه حذف چت‌های قبلی عمل نمی‌کند و امکان پاک کردن تاریخچه گفت‌و‌گو برای کاربر وجود ندارد. همچنین عدم دسترسی به اطلاعات به‌روز در تمامی مدل‌های این سامانه، چالشی است که کاربران را برای دریافت اخبار و اطلاعات زمان‌مند با محدودیت مواجه می‌کند. به طور کلی، ویرا در مدل اختصاصی خود محافظه‌کار عمل می‌کند و مدل‌های دیگر آن نیز از نظر اطلاعاتی عقب مانده‌اند.

دومین سامانه مورد آزمایش، هوش‌زی بود که فقط یک مدل را در اختیار کاربران قرار می‌دهد و امکان انتخاب مدل‌های دیگر در آن وجود ندارد. طراحی این سامانه مینیمال، تمیز و ساده است و سرعت پاسخ‌گویی آن قابل قبول ارزیابی شد. هوش‌زی در پاسخ به سوال درباره خبرگزاری آنا عملکرد درستی داشت و به درستی نوشت که این خبرگزاری متعلق به دانشگاه آزاد اسلامی است. این سامانه همچنین در محاسبه عدد باینری موفق عمل کرد و پاسخ صحیح را ارائه داد.

هوش‌زی در ادامه برای پاسخ به سوالات زمان‌محور و وابسته به اینترنت دچار مشکل شد. این سامانه تاریخ روز را ۲۶ بهمن ۱۴۰۳ اعلام کرد که تقریبا یک سال با تاریخ واقعی فاصله دارد. در پاسخ به درخواست برای آب‌وهوا نیز پیامی مبنی بر در دسترس نبودن ابزارک هواشناسی نمایش داده شد. نکته قابل توجه در پاسخ‌های هوش‌زی، واکنش آن به سوال درباره رئیس‌جمهور بود. این سامانه صراحتا اعلام کرد: «متاسفانه، امکان جستجوی وب برای پاسخ به سوال شما در حال حاضر به دلیل شرایط خاص کشور فعال نیست.» این پاسخ نشان می‌دهد که هوش‌زی به دلیل محدودیت‌های اینترنت، قابلیت اتصال به وب برای به‌روزرسانی اطلاعات را ندارد. سامانه هوش‌زی دارای سیستم اعتباری به نام «زی» است که در آزمایش انجام شده، استفاده از بخش چت باعث کاهش اعتبار نشد؛ چرا که این اعتبار برای استفاده از ابزار‌های دیگر سکو مانند تبدیل گفتار به متن و تصویر در نظر گرفته شده است.

سومین سکوی بررسی‌شده، بوف بود که سه مدل شابوف، به عنوان مدل عمومی، بوف++، برای موارد تحلیلی و پیکابوف، برای تولید تصویر را ارائه می‌دهد. تمرکز آزمایش روی مدل شابوف بود. این مدل در پاسخ به سوال درباره خبرگزاری آنا، مانند هوش‌زی پاسخ صحیح داد و آن را متعلق به دانشگاه آزاد اسلامی معرفی کرد. محاسبه عدد باینری نیز توسط شابوف به درستی انجام شد. در بخش تاریخ، این سامانه تاریخ ۲۲ بهمن را اعلام کرد که با توجه به تاریخ میلادی ۲۲ ژانویه، به نظر می‌رسد مدل در تبدیل تاریخ دچار خطا شده یا تاریخ شمسی را با عدد میلادی اشتباه گرفته است، اما ماه و سال را درست بیان کرد.

مدل شابوف در بوف در پاسخ به سوالات آب‌وهوا نوشت که این قابلیت در دسترس نیست و باید به سایت هواشناسی مراجعه کرد. در خصوص رئیس‌جمهور، این سامانه نیز مانند ویرا و هوش‌زی، شهید ابراهیم رئیسی را پاسخ داد که نشان‌دهنده قدیمی بودن دیتای آموزشی یا عدم دسترسی به منابع خبری جدید است. برای بررسی بیشتر، پرسشی درباره مسعود پزشکیان مطرح شد که مدل پاسخ داد: «سیاستمدار و نماینده مجلس است.» این پاسخ نشان می‌دهد که اطلاعات مدل مربوط به زمانی قبل از ریاست‌جمهوری پزشکیان است. از نظر فنی، سرعت پاسخ‌گویی بوف مناسب بود، هرچند گاهی اوقات در پردازش مکث می‌کرد. طراحی رابط کاربری ساده است، اما فضای بصری آن می‌تواند جذاب‌تر شود. به طور کلی، عملکرد بوف در پاسخ به سوالات عمومی نسبت به سایر سامانه‌ها کمی بهتر بود، اما چالش به‌روز نبودن اطلاعات همچنان پابرجاست.

آخرین سامانه مورد ارزیابی، اُکیان بود که طیف وسیعی از مدل‌ها از جمله مدل اختصاصی خود، چت‌جی‌پی‌تی ۴ o، گاما۳، دیپ‌سیک، لاما و کوئن را در خود جای داده است. با وجود تنوع مدل‌ها، عملکرد کلی این سامانه رضایت‌بخش نبود. مدل اختصاصی اُکیان در پاسخ به سوال درباره خبرگزاری آنا نوشت که یک خبرگزاری داخلی ایرانی است که از وزارت ارشاد مجوز دارد، اما سال تاسیس را اشتباه ذکر کرد و در توضیحات مربوط به نام‌گذاری نیز دچار خطا‌های منطقی شد.

مدل گاما۳ در این سامانه پاسخ درستی درباره خبرگزاری ارائه داد، اما پیش از رسیدن به اصل مطلب، اقدام به معرفی خود به عنوان اُکیان کرد و نشان می‌دهد که مدل به جای پردازش مستقیم پرسش کاربر، ابتدا وارد یک مقدمه‌چینی غیرضروری می‌شود که فرآیند دریافت پاسخ را مختل می‌کند.

بزرگترین مشکل در آزمایش اُکیان، محدودیت‌های شدید در تعداد درخواست‌ها بود. پس از پرسش چند سوال ساده، سامانه پیامی مبنی بر رسیدن به سقف درخواست‌های مجاز نمایش داد و نوشت: «به دلیل بالا بودن درخواست‌های کاربران و محدودیت ظرفیت، شما به سقف تعداد درخواست‌های مجاز خود رسیده‌اید. برای استفاده مجدد لطفا ۳ ساعت دیگر مراجعه کنید.» این محدودیت باعث شد که امکان تکمیل سایر سوالات و ارزیابی دقیق‌تر مدل‌ها فراهم نشود. همچنین نسخه وب اُکیان با نواقص فنی همراه بود؛ بخش سمت راست صفحه برای نمایش گفت‌و‌گو‌های قبلی طراحی شده، اما هیچ چیزی را ذخیره نمی‌کند و با رفرش کردن صفحه، کل تاریخچه چت پاک می‌شود و پیام «هنوز هیچ گفت‌وگویی ندارید» نمایش داده می‌شود.

جمع‌بندی این بررسی نشان می‌دهد که هوش مصنوعی‌های ایرانی در حال حاضر با چالش‌های مهمی رو‌به‌رو هستند که حتما باید در ادامه و برای افزایش جامعۀ کاربری خود، نسبت به رفع آن‌ها اقدام کنند. تمامی سامانه‌های بررسی‌شده در پاسخ به سوالات سیاسی و زمان‌محور، اطلاعات به‌روز ارائه نکردند و رئیس‌جمهور فعلی کشور را به درستی نشناختند.

این مشکل نشان‌دهنده قطع بودن ارتباط مدل‌ها با منابع خبری به‌روز یا عدم به‌روزرسانی دیتابیس آن‌هاست. از نظر فنی، سامانه‌هایی مانند هوش‌زی و بوف رابط کاربری ساده‌تری دارند، اما اُکیان با مشکلات حافظه و محدودیت درخواست کاربران را آزار می‌دهد. ویرا نیز در مدل اختصاصی خود بسیار محافظه‌کار عمل می‌کند.