چرا بومی کردن مدل‌های زبانی مهم است؟ / بررسی موردی چین

خبرگزاری علم و فناوری آنا؛ با تشدید رقابت بین چت‌بات‌های هوش مصنوعی، محققان چینی در حال پیشرفت در ساخت مدل‌های هوش مصنوعی به زبان چینی هستند. یکی از این مدل‌های پیشرو چت جی ال ام (ChatGLM) است که به گفته توسعه‌دهندگان آن، از نظر برخی قابلیت‌ها به چت جی‌پی‌تی نزدیک و در زبان چینی کارکرد بهتری دارد.

جی تَنگ (Jie Tang)، دانشمند رایانه در دانشگاه شینهوآ در پکن می‌گوید: چت جی ال ام در اصل یک جایگزین برای چت جی‌پی‌تی است. از زمان انتشار اولین نسخه عمومی چت جی‌پی‌تی در نوامبر ۲۰۲۲، کنجکاوی‌ها درباره مدل‌های بزرگ زبانی افزایش پیدا کرد و اکنون غول‌های بزرگ فناوری، استارت‌آپ‌ها و دانشگاه‌ها در سراسر جهان در حال توسعه مدل‌های بزرگ زبانی هستند و پاسخ‌های انسان‌مانند آنها به درخواست‌های متنی قابل قبول بوده است.

اگرچه چت جی‌پی‌تی و بسیاری از رقبای آن می‌توانند به زبان‌های مختلف پاسخ دهند، اما اکثر آنها توسط شرکت‌های آمریکایی ساخته شده‌اند و از انگلیسی به عنوان زبان اصلی خود استفاده می‌کنند. در مقابل چت جی ال ام دوزبانه است و برای کار به زبان‌های چینی و انگلیسی طراحی شده است.

وانگ یو (Wang Yu)، زیست‌شناس محاسباتی در آزمایشگاه پنگ چنگ، موسسه تحقیقاتی متمرکز بر فناوری در چین، می‌گوید: «این یکی از مدل‌های ستاره‌ای در چین است.»
دانشگاه شینهوآ و شرکت زیرمجموعه آن ژیپو‌ای آی (Zhipu AI) به ارزش بیش از ۲ میلیارد دلار، چت جی ال ام و مدل زیربنایی آن را توسعه داده‌اند. تَنگ می‌گوید: بیش از ۷۰۰ پژوهشگر و مهندس هوش مصنوعی در ژیپو‌ای آی و حدود ۱۰۰ دانشجو در دانشگاه شینهوآ در حال کار کردن بر روی مدل‌های زبانی هوش مصنوعی هستند.

مقیاس عملکرد جی ال ام برخی از محققان را شگفت‌زده کرده است. ماساشی سوگیاما (Masashi Sugiyama)، دانشمند رایانه و مدیر مرکز پروژه اطلاعات پیشرفته ریکن (RIKEN) در توکیو می‌گوید: «من نمی‌دانستم که دانشگاه‌های چین در حال پیشبرد چنین پروژه بزرگی هستند. حسابی شگفت‌زده شدم.»

ساخت ربات چینی
دسترسی به چت جی‌پی‌تی در چین ممکن نیست، اما این تنها دلیل ساخت ربات جایگزین برای آن نیست. تَنگ می‌گوید مدل‌های بزرگ زبانیِ ساخت چین خروجی‌هایی را به دست می‌دهند که نیاز‌ها و اولویت‌های مردم چین را بهتر برآورده می‌کند، از جمله در حوزه اطلاعات مالی و آموزشی.

تَنگ مدل جی ال ام را با آموزش یک مدل زبانی در یک رسانه اجتماعی چینی به جای یک برنامه غربی مقایسه می‌کند. او می‌گوید: «اطلاعات وی‌چت درباره مردم چین بیشتر از اسنپ‌چت است. آدینا یاکفو، یکی از مدیران انجمن مدل‌های زبانی هاگینگ فیس (Hugging Face) در پاریس می‌گوید مدل‌هایی که برای زبان‌های مختلف طراحی شده‌اند از ساده‌سازی یا نادیده گرفتن ویژگی‌های خاص زبان‌ها و فرهنگ‌های خاص جلوگیری می‌کنند.

برای تولید پاسخ‌های انسان‌مانند در ورودی‌ها، مدل‌های زبانی حجم عظیمی از متن را که اغلب از اینترنت گرفته شده است، تجزیه و تحلیل می‌کنند. سپس چت‌بات‌ها به‌خوبی تنظیم می‌شوند تا با دریافت بازخورد از افراد، مکالمات بهتری داشته باشند. توسعه‌دهندگان، چت جی ال ام را به طور خاص با استفاده از نمونه‌های چینی و با پردازش میلیارد‌ها جمله آموزش دادند و از چینی‌زبانان بازخورد دریافت کردند تا در چت کردن به زبان چینی بهتر شود. تَنگ می‌گوید داده‌های چینی از اینترنت و برخی از شرکت‌ها خریداری شده است.

ساخت مدل‌های زبان در زبان‌هایی غیر از انگلیسی با مجموعه‌ای از چالش‌ها همراه است. به عنوان مثال، هنگام تجزیه و تحلیل متن، اکثر مدل‌ها آن را به قسمت‌های کوچکتر به نام توکن تقسیم می‌کنند. با این حال، در متن چینی بین کلمات فاصله‌گذاری وجود ندارد که این روند کار را پیچیده‌تر می‌کند. با وجود این، محققان در حال کار بر روی روش‌هایی هستند که تجزیه و تحلیل متن چینی را آسان‌تر کنند و برخی از روش‌های مورد استفاده برای مدل‌های انگلیسی را می‌توان برای نمونه‌های غیرانگلیسی نیز اعمال کرد. با این حال، تنگ می‌گوید که روش‌های توکن‌سازی مورد استفاده برای چت جی ال ام «تقریباً مشابه» با مدل‌های هوش مصنوعی انگلیسی زبان است.

شرکت ژیپو‌ای آی در سال ۲۰۲۴ داده‌هایی را به اشتراک گذاشت که ادعا می‌کرد بالاترین عملکرد مدل اصلی را دارد و آزمون آن شامل سنجش دانش عمومی، عقل سلیم و ریاضیات بود. چت جی ال ام همچنین توانسته است جی‌پی‌تی- ۴ را در معیار بهینه‌سازی شکست دهد.

رونق مدل بزرگ زبانی چین

نسخه‌ای از چت جی ال ام برای استفاده عموم از طریق وب‌سایت آن با رابط‌های چینی و انگلیسی در دسترس است. برخی از محصولات جی ال ام، از جمله مدل پایه قبلی منبع باز هستند. این بدان معنی است که هر کسی می‌تواند آنها را دانلود کرده و متناسب با برنامه‌های خاص آموزش دهد و دانشمندان می‌توانند کد‌های زیربنایی را برای درک نحوه عملکرد آن بررسی کنند. به گزارش تنگ، چت جی ال ام ۶-بی (ChatGLM-۶b) ۳ میلیون بار دانلود شده است. این یک چت‌بات است که از مدل‌های پیچیده برای درک و تولید متنی شبیه انسان استفاده می‌کند. کوچکترین نسخه این چت‌بات از شش میلیارد «پارامتر» استفاده می‌کند که به آن کمک می‌کند تا روابط بین کلمات را درک کند. عملکرد داخلی مدل‌های پیشرفته‌تر، مانند چت جی ال ام با حداکثر ۱۳۰ میلیارد پارامتر، مانند سایر ربات‌های چت پیشرفته مانند چت جی‌پی‌تی و جی‌پی‌تی-۴ مخفی نگه داشته می‌شوند.

در چین، بیش از ۱۰۰ مدل زبان هوش مصنوعی در حال توسعه هستند و غول‌های فناوری مانند بایدو و علی‌بابا چت‌بات‌های هوش مصنوعی خود را دارند. این مدل‌ها به گونه‌ای تنظیم می‌شوند که به مقادیر خاصی پایبند باشند و شفافیت و قابلیت اطمینان را بهبود بخشند.

این بحث وجود دارد که آیا سیستم‌های هوش مصنوعی می‌توانند به هوش عمومی مصنوعی (AGI) با قابلیت‌های سطح انسانی می‌دهد؟ برخی معتقدند که هوش مصنوعی عمومی می‌تواند به مقابله با چالش‌های جهانی مانند تغییرات آب و هوا و بیماری‌های همه گیر کمک کند، اما برخی دیگر نگران خطرات احتمالی آن هستند.

چین به شدت در حال سرمایه‌گذاری روی هوش مصنوعی است و معتقد است که این فناوری با بهینه‌سازی صنایع و کاهش مصرف انرژی و انتشار دی‌اکسید کربن می‌تواند نه تنها برای کشور، بلکه برای جهان مفید باشد.

این گزارش از مجله نیچر به فارسی ترجمه شده است.