لزوم ایجاد مدل‌های بزرگ زبانی بومی/ با توسعه یک مدل قابل رقابت مانند چت جی‌پی‌تی فاصله داریم

به گزارش خبرگزاری علم و فناوری آنا، مدل‌های بزرگ زبانی (Large Language Models یا LLMs) نوعی از مدل‌های هوش مصنوعی هستند که برای پردازش و تولید متن طراحی شده‌اند. این مدل‌ها معمولاً بر پایه شبکه‌های عصبی عمیق ساخته می‌شوند. هدف اصلی این مدل‌ها درک و تولید زبان طبیعی است، به‌طوری‌که بتوانند متن‌هایی شبیه به آنچه انسان‌ها می‌نویسند، تولید کنند.این مدل‌ها معمولاً با حجم زیادی از داده‌های متنی آموزش می‌بینند و این مدل‌ها می‌توانند متن‌های جدیدی را بر اساس ورودی‌های داده شده تولید کنند. مدل‌های معروفی مانند (GPT-3) نمونه‌ای از مدل‌های بزرگ زبانی هستند که توانایی‌های قابل توجهی در پردازش زبان طبیعی دارند.

در ادامه و با توجه به اهمیت این فناوری و توسعه آن در کشور با هشام فیلی استادتمام گروه هوش مصنوعی دانشکدگان فنی دانشگاه تهران گفت‌و‌گو کردیم که در ادامه می‌خوانید:

مدل‌ بزرگ زبانی روشی برای ذخیره‌سازی دانش است

فیلی: اگر بخواهیم در مورد مدل‌های بزرگ زبانی توضیح دهیم باید تفاوت بین انسان و سایر موجودات زنده را بدانیم. مهمترین تفاوت بین انسان و حیوان، دانش است. ما دانش را از طریق زبان کسب و در مغز نهادینه می‌کنیم و پس از آن، با ایجاد مدلی در مغز این دانش را نهادینه می‌‌کنیم که به آن مدل زبان می‌گویند. در واقع اگر بخواهیم در مورد مدل زبان توضیح بدهیم، روشی برای ذخیره‌سازی دانش است. از سوی دیگر در چند سال اخیر با آمدن هوش مصنوعی شبکه‌های عصبی عمیق ایجاد شده که به آن مدل زبانی بزرگ می‌گویند و مدلی شبیه‌سازی شده از مغز انسان است.

در واقع مدل بزرگ زبانی فقط زبان نیستند؛ بلکه دانشی است که از طریق زبان نهادینه شده است. جایی که شما نیاز به تخصص و بحث کارشناسی دارید می‌توانید از آن استفاده کنید. در دنیا از مدل‌های بزرگ زبانی‌ بیشتر برای تولید محتوا استفاده می‌شود. مثلا به‌جای آنکه یک هنرمند اثری هنری را تولید کند، اثر توسط مدل بزرگ زبانی ایجاد شود؛ بنابراین بحث اصلی این است که در مدل‌های بزرگ زبانی امکان تولید محتوا داریم.

تفکیک مدل‌های زبانی بر اساس نوع محتوا و اندازه مدل

آنا: درباره تقسیم‌بندی مدل‌های زبانی توضیح دهید.

فیلی: مدل‌های زبانی از جنبه‌های مختلف قابل دسته بندی هستند. مهمترین تقسیم بندی برحسب نوع محتواست که می‌تواند فیلم و ویدئو  و ... باشد. مدل‌های زبانی داریم که مختص متن هستند و فقط با متن سر و کار دارید، در مدل‌های دیگر تصویر و گفتار باهم وجود دارد که البته فرای این‌ها مدل‌های مولتی مدیا است که چند وجهی است و تصویر، متن و صدا دارد؛ یعنی می‌توانید توسط متن، صدا و تصویر اطلاعات بدهید و هم به صورت برعکس از ‌آنها اطلاعات بگیرید. 

تقسیم بندی بعدی که از جنبه دیگری انجام می‌شود بر حسب اندازه مدل است. اندازه مدل تعداد پارامترهایی است که در آن مدل، تربیت می‌شود. مغز انسان در برابر مغز موجودات زنده است. نخستین بحثی که مطرح می‌شود و یک انسان را هوشمندتر از بقیه موجودات می کند، اندازه مغز نسبت به بدن است و بنابراین بزرگترین نسبت مغز به اندازه بدن در انسان است. تعداد سلول های مغزی به مراتب بیشتر از دیگر موجودات زنده است. همین شبیه سازی را در مدل بزرگ زبانی هم داریم؛ بنابراین تقسیم بندی دوم این است که این مدل‌های بزرگ زبانی چه اندازه هستند. هرچقدر بزرگتر باشد قاعدتاً کیفیت بالاتر است اما نیاز به محاسبات بیشتر و پردازش سنگین‌تر دارد و آموزش آن سخت است.

زیرساخت، سازه و قدرت‌های پردازشی؛ سه ضلع توسعه مدل‌های بزرگ زبانی

آنا: درباره وضعیت مدل‌های بزرگ زبانی در ایران توضیح دهید و اینکه زیرساخت‌های لازم جهت توسعه این فناوری وجود دارد؟

فیلی: اگر بخواهیم در مورد مدل بزرگ زبانی در ایران صحبت کنم باید به گذشته برگردیم و اینکه برای توسعه یک مدل بزرگ زبانی به چه چیزهایی نیاز داریم. سه رکن وجود دارد تا مدل‌های زبانی شکل بگیرند و تا این سه رکن و سه ضلع مثلث نباشد نمی‌توان یک مدل بزرگ زبانی را آموزش داد. این سه ضلع شامل زیرساخت، سازه و قدرت‌های پردازشی است. از سال‌های (۲۰۱۷-۲۰۱۸) سه ضلع به اندازه کافی به حد بلوغ رسیدند. یعنی ما داده‌های آموزشی خیلی خوبی در دنیا جمع آوری کردیم و پردازش در دنیا به عدد مناسبی رسید و از طرف دیگر ادمین‌های پردازشی خیلی خوبی داشتیم که این سه ضلع وقتی به هم رسیدند توانستند یک مدل بزرگ زبانی تشکیل بدهند.

ایران و چالش‌های مدل‌های بزرگ زبانی

در کشور ایران از این سه ضلع، یک ضلع را به خوبی داریم که آن کسب دانش و مهارت و نیروی انسانی است و خوشبختانه از کشورهای دیگر عقب تر نیستیم و یا حداقل از متوسط دنیا جلوتر هستیم و می‌توانیم تلاش کنیم و به اولین ها برسیم. بنابراین از لحاظ نیروی انسانی و تخصص و الگوریتم هایی که وجود دارد، مشکلی نداریم. 

ضلع سوم داده‌های آموزشی است مشکل این ضلع یک مقدار بیشتر از ضلع دیگر است اما بحرانی نیست. در واقع می‌توانیم داده‌های آموزشی زبان فارسی را جمع آوری کنیم. مثلا ما در آزمایشگاه از طریق دانشجویان و تیمی در همایش هکاتون که توسط مرکز ملی فضای مجازی برگزار شد توانستیم داده‌های خوبی را جمع آوری کنیم و علاوه بر تیم ما کشورهای دیگرهم این کار را انجام دادند و داده‌های آموزشی برای ایجاد یک مدل بزرگ زبانی را ایجاد کرده‌اند.  ضلع دوم نسبت به ضلع اول و نسبت به کل دنیا ضعیف‌تر است اما برای توسعه یک مدل بزرگ زبانی متوسط بد نیست و می‌توان با این شرایط هم کار کرد.

مشکل بحرانی ما ضلع سوم یعنی همان قدرت پردازشی است. دو ماه پیش مدل بزرگ زبانی به نام لاما توسط شرکت متا ساخته شد که مقاله آن منبع باز بود. در دنیا برای توسعه یک مدل بزرگ زبانی طبق ادعای این مقاله ۲۴ هزار جی پی یو را به مدت یک ماه تربیت کردند. در کشور ایران محال است که بتوان چنین عددی را جمع کرد. بنابراین بحران اصلی در ضلع سوم و زیرساخت است. در دنیا اگر مدل‌های بزرگ زبانی توسعه داده می‌شوند به این دلیل است که توانسته‌اند کلاسترهای بسیار بزرگ از جی پی یوها کنار هم بگذارند و از آنها استفاده کنند.

استفاده از مدل‌های نیمه آماده برای بومی سازی در کشور

آنا: چگونه می‌توانیم مدل بزرگ زبانی را توسعه بدهیم؟

فیلی: جنبه مثبت کشور ما در این حوزه این است که از طرق مختلف می‌توانیم مدل بزرگ زبانی را توسعه بدهیم. دلیل آن همین منابع آزادی است که وجود دارد. شرکت‌های بزرگی در دنیا وجود دارد که مدل آن ها توسط پردازش‌های سنگین در زبان‌های مختلف که معمولا در رأس آنها زبان انگلیسی است، آموزش یافته اند. مثلاً مدل لاما با ۲۴ هزار جی پی یو آموزش داده شده و ۲۵ میلیارد کلمه و توکن هم داده آموزشی دارد که عدد و رقم بسیار بزرگی است و خوشبختانه این مدل‌ها، منابع آزاد شدند.

دوم اینکه می‌توانیم از یک مدل نیمه آماده برای بومی سازی مدل‌های بزرگ زبانی فارسی استفاده کنیم در این حالت نیازی به سخت افزارهای بسیار زیاد ندارد. یعنی اگر قبلی در حد چند هزار جی‌پی‌یو است، این در حد دو الی سه رقم کافی است با این روش مدل بزرگ زبانی بومی را بازتنظیم است. در کشور ایران هم جسته و گریخته این فعالیت را انجام می‌دهند. یکی از مکان‌ها سازمان ملی هوش مصنوعی است که به تازگی افتتاح شده است و در آنجا یک تیم در حال توسعه مدل بزرگ زبانی بومی هستند.

استفاده از مدل‌های بزرگ زبانی اختصاصی برای سازمان‌ها و نهادها

آنا: چه مدت زمانی لازم است تا این مدل زبانی بومی به بلوغ برسد و قابل استفاده و کاربردی باشد؟

فیلی: این جمله خیلی کلی است چون همین الان هم می‌توانیم در برخی از کاربردهای خاص از آنها استفاده کنیم. چون این‌ها محصولاتی عمومی هستند و در هر زمینه‌ای قابل استفاده و کاربردی است اما ما می‌توانیم برای سازمان خاص مثل شرکت‌ مخابرات وخبرگزاری‌ها و بانک‌ها و موسسات مالی و...مدل بزرگ زبانی و جی پی تی مخصوص داشته باشیم.

اما به این زودی‌ها نمی‌توانیم به یک مدل قابل رقابت مانند چت جی پی تی برسیم اما می‌توانیم مدل بزرگ زبانی‌ بومی داشته باشیم که خاص یک سازمان است و برای آن سازمان خیلی خوب کار می‌کند. مثلا خبرگزاری‌ها یک  مدل رپرتاژ خبری دارند و نمونه خبر اولیه تولید می‌شود و بعد از آن ویراستاری انجام صورت می‌گیرد. هر خبرگزاری معمولاً نوع بیان‌های متفاوت دارد و از این رو میتوانیم مدل را با نوع بیان‌ خاص آن خبرگزاری بومی سازی کنیم. مثلاً در یک موسسات مالی می‌توانند خدمات مشتریان را داشته باشند، این شرکت‌ها هزینه زیادی بابت پاسخگویی به مشتریان می‌کنند پس می‌توانیم یک مدل بزرگ زبانی داشته باشیم که چت بات مرکز خرید مشتریان باشد.

ما می توانیم مدل بزرگ زبانی در سایز کوچکی داشته باشیم اما اگر منظور شما این است یک شرکت در اندازه اپن ای آی تاسیس کنیم که در کل دنیا حرف برای گفتن داشته باشد بعید می دانم با امکاناتی که در ضلع سوم به آن برسیم

در حال حاضر جسته و گریخته فعالیت‌ها در کشور شروع شده که احساس می‌کنم دریک سال آینده از این اتفاقات در کشور زیاد خواهد افتاد. ما می‌توانیم مدل بزرگ زبانی که سایز کوچکی داشته باشیم اما اگر منظور شما این است یک شرکت در اندازه اپن ای آی تاسیس کنیم که در کل دنیا حرف برای گفتن داشته باشد بعید می‌دانم با امکاناتی که در ضلع سوم داریم بتوانیم به آن برسیم.

آنا: آیا وجود داده‌های دسته بندی شده می‌تواند به این شرایط کمک کند؟ 

فیلی: بله، اگر بتوان داده‌های جمع آوری شده را برای یک سازمان فراهم کرد و یک مدل بزرگ زبانی که از قبل آموزش داده شده باشد طراحی نمود، می توانیم برای آن وظیفه بازتنظیم کنیم و برای سازمان‌های مختلف استفاده کنیم.