بایت‌دنس آموزش مدل هوش مصنوعی ۱۰ تریلیون پارامتری را کلید زد

به گزارش خبرگزاری آنا؛ بر اساس گزارش فایننشال تایمز، بایت‌دنس در مراحل اولیه آموزش مدلی با حدود ۱۰ تریلیون پارامتر قرار دارد. این مدل از نظر تعداد پارامتر حدود سه برابر بزرگ‌تر از Kimi K۳، بزرگ‌ترین مدل فعلی چین متعلق به استارتاپ مون‌شات، خواهد بود و بایت‌دنس قصد دارد آن را با هدف رقابت در بالاترین سطح بازار هوش مصنوعی توسعه دهد. بر اساس برآورد‌های فعلی، مرحله پیش‌آموزش این مدل ممکن است بین سه تا شش ماه زمان ببرد و پس از آن نیز فرآیند‌های پس‌آموزش و تنظیم دقیق برای بهبود توانایی‌های مدل در استدلال، کدنویسی و انجام وظایف پیچیده ادامه خواهد داشت.

رویکرد بایت‌دنس برای توسعه مستقل مدل

توسعه این مدل بر عهده تیم Seed بایت‌دنس قرار دارد که یکی از بزرگ‌ترین گروه‌های تحقیقاتی این شرکت در حوزه هوش مصنوعی محسوب می‌شود و حدود ۲ هزار عضو در نقاط مختلف جهان دارد. این تیم تحت رهبری وو یونگ‌هوی، دانشمند سابق گوگل دیپ‌مایند، فعالیت می‌کند و در سال‌های اخیر تمرکز زیادی بر توسعه مدل‌های پایه و فناوری‌های هوش مصنوعی مولد داشته است. بایت‌دنس در این پروژه ظاهراً به دنبال توسعه مستقل مدل است و نمی‌خواهد برای رسیدن به توانایی‌های سطح بالا، بیش از حد به روش‌هایی مانند «تقطیر مدل» متکی باشد. در این روش، خروجی‌های یک مدل قدرتمندتر برای آموزش مدل کوچک‌تر مورد استفاده قرار می‌گیرد و به همین دلیل توسعه مدل از صفر می‌تواند به داده، توان پردازشی و زمان بسیار بیشتری نیاز داشته باشد.

ژانگ ییمینگ، بنیان‌گذار بایت‌دنس، نیز در جلسات داخلی این شرکت بر اهمیت توسعه مدل‌های پیشرفته و مستقل تأکید کرده است. رویکرد مورد نظر بایت‌دنس نشان می‌دهد این شرکت قصد دارد علاوه بر رقابت در زمینه مدل‌های کم‌هزینه و کاربرد‌های مصرف‌کننده، توانایی خود را برای ساخت مدل‌های بسیار بزرگ و پیشرفته نیز به اثبات برساند. چنین مسیری می‌تواند بایت‌دنس را در موقعیتی متفاوت نسبت به بخشی از رقبای چینی قرار دهد که تمرکز اصلی خود را روی مدل‌های کوچک‌تر و بهینه‌تر گذاشته‌اند.

سرمایه‌گذاری سنگین روی زیرساخت پردازشی

آموزش مدلی با ۱۰ تریلیون پارامتر به زیرساخت پردازشی بسیار گسترده‌ای نیاز دارد و تصمیم بایت‌دنس برای حرکت در این مسیر، بدون سرمایه‌گذاری سنگین در مراکز داده و پردازنده‌های هوش مصنوعی امکان‌پذیر نخواهد بود. این شرکت طی سال‌های اخیر سرمایه‌گذاری قابل توجهی روی خرید پردازنده‌های گرافیکی و توسعه شبکه مراکز داده خود انجام داده و هم‌زمان تلاش کرده است وابستگی به سخت‌افزار خارجی را با توسعه تراشه‌ها و زیرساخت‌های اختصاصی کاهش دهد. چنین سرمایه‌گذاری‌هایی علاوه بر آموزش مدل‌های جدید، برای ارائه خدمات هوش مصنوعی به کاربران و شرکت‌های تجاری نیز مورد استفاده قرار می‌گیرند.

بخش ابری بایت‌دنس با نام Volcano Engine یکی از مهم‌ترین بخش‌های تجاری این زیرساخت محسوب می‌شود و خدمات پردازشی و هوش مصنوعی را به شرکت‌ها ارائه می‌دهد. در بخش مصرف‌کننده نیز چت‌بات Doubao با بیش از ۳۲۴ میلیون کاربر فعال ماهانه، به یکی از پرمخاطب‌ترین سرویس‌های هوش مصنوعی چین تبدیل شده است. بایت‌دنس همچنین در حوزه تولید محتوای تصویری فعالیت گسترده‌ای دارد و مدل ویدئوساز Seedance این شرکت در میان ابزار‌های مطرح تولید ویدئو با هوش مصنوعی قرار گرفته است. موفقیت این محصولات می‌تواند به بایت‌دنس کمک کند تا هزینه سنگین توسعه مدل‌های پایه را از طریق خدمات تجاری و مصرف‌کننده جبران کند.

حرکت چین به سمت رقابت در سطح مدل‌های پیشرفته

بخش قابل توجهی از رقابت هوش مصنوعی چین در سال‌های اخیر بر توسعه مدل‌هایی متمرکز بوده است که با هزینه کمتر و بهره‌وری بالاتر بتوانند عملکردی نزدیک به مدل‌های آمریکایی ارائه دهند. با این حال، حرکت بایت‌دنس به سمت آموزش مدلی با ۱۰ تریلیون پارامتر نشان می‌دهد برخی شرکت‌های چینی اکنون به دنبال رقابت مستقیم در بالاترین سطح فناوری هستند و می‌خواهند توانایی خود را برای ساخت مدل‌های بسیار بزرگ و پرهزینه نیز آزمایش کنند. چنین تغییری می‌تواند یکی از نشانه‌های مهم ورود رقابت هوش مصنوعی آمریکا و چین به مرحله‌ای جدید باشد که در آن اندازه مدل، کیفیت داده، توان پردازشی و روش‌های آموزش همگی به عوامل تعیین‌کننده تبدیل شده‌اند.

با وجود این، تعداد پارامتر به‌تنهایی معیار دقیقی برای سنجش توانایی یک مدل هوش مصنوعی نیست و کیفیت داده‌های آموزشی، معماری مدل، روش آموزش و میزان بهره‌وری از پارامتر‌ها نیز نقش مهمی در عملکرد نهایی دارند. آنتروپیک نیز جزئیات دقیقی درباره اندازه مدل‌های خود منتشر نمی‌کند و مقایسه مستقیم یک مدل ۱۰ تریلیون پارامتری با محصولات این شرکت بر اساس تعداد پارامتر‌ها به‌تنهایی قابل اتکا نیست. با این حال، اگر بایت‌دنس بتواند آموزش چنین مدلی را با موفقیت به پایان برساند و کیفیت عملکرد آن نیز با ابعاد مدل متناسب باشد، این پروژه می‌تواند جایگاه شرکت‌های چینی را در رقابت جهانی هوش مصنوعی تقویت کند و فشار بیشتری بر شرکت‌های آمریکایی برای حفظ برتری در توسعه مدل‌های پیشرفته وارد آورد.