کشف ویژگی جدید مدل‌های بزرگ زبانی/ الگو‌های غیرعادی شناسایی می‌شود

به گزارش خبرگزاری آنا؛ در یک مطالعه اخیر، محققان ام آی تی کشف کردند که مدل‌های بزرگ زبانی این پتانسیل را دارند که در تشخیص الگو‌های غیرعادی در مجموعه‌ای از داده‌های جمع‌آوری‌شده در طول زمان بسیار خوب عمل کنند. نکته جالب این است که این مدل‌ها نیازی به آموزش گسترده ندارند و بلافاصله پس از ساخته شدن آمادۀ استفاده هستند.

این کشف به طور بالقوه می‌تواند به تکنسین‌ها کمک کند تا مشکلات احتمالی در تجهیزاتی مانند ماشین‌آلات سنگین یا ماهواره‌ها را قبل از وقوع و بدون نیاز به مدل‌های یادگیری عمیق، که بسیار پرهزینه هستند، شناسایی کنند.

این تیم روشی به نام «سیگ ال ال ام» (SigLLM) ارائه کردند که شامل تبدیل داده‌های مبتنی بر زمان به متن است تا مدل زبانی بتواند آن را درک کند. سپس کاربران می‌توانند این داده‌های آماده را به مدل بدهند و از آن بخواهند که شروع به جستجوی چیز‌های عجیب و غریب یا غیرمنتظره کند. مدل زبانی حتی می‌تواند برای پیش‌بینی نقاط داده آینده به عنوان بخشی از یک سیستم برای یافتن الگو‌های غیرمعمول استفاده شود.

محققان خاطرنشان کردند که مدل‌های بزرگ زبانی خودارجاع هستند. در مدل‌های خودارجاع خروجی هر مرحله به ورودی آن مرحله و خروجی مرحله قبل وابسته است. این ویژگی باعث می‌شود که مدل‌های بزرگ زبانی برای تشخیص ناهنجاری‌ها در داده‌های سری زمانیِ متوالی مناسب باشند.

رویکردهای تحقیق

این تیم دو رویکرد تشخیص ناهنجاری را با استفاده از مدل‌های بزرگ زبانی توسعه دادند. اولین رویکرد، به نام پرامپتر: به معنای درخواست‌کننده (Prompter)، شامل تغذیه داده‌ها به یک مدل و درخواست از آن برای یافتن مقادیر غیرعادی است. محققان باید راه‌های مختلفی را برای درخواست از مدل برای انجام این کار امتحان می‌کردند تا زمانی که روش مناسبی برای مجموعه‌ای از داده‌ها پیدا کنند.

روش دوم دتکتور: به معنای کشف‌کننده (Detector) نام دارد و از مدل برای پیش بینی مقدار بعدی در دنباله‌ای از داده‌ها استفاده می‌کند. سپس محققین مقدار پیش بینی‌شده را با مقدار واقعی مقایسه می‌کنند. اگر تفاوت زیادی وجود داشته باشد، می‌تواند به این معنی باشد که ارزش واقعی، غیرعادی است.

مدل‌های هوش مصنوعیِ مبتنی بر ترانسفورماتور در هفت مجموعه از ۱۱ مجموعه داده‌ای که آنها ارزیابی کردند، عملکرد بهتری داشتتند، که نشان‌دهنده پتانسیل مدل‌های بزرگ زبانی برای تشخیص ناهنجاری است.
این تیم تحقیقاتی یافته‌های خود را نخستین بار در کنفرانس «مؤسسه مهندسان برق و الکترونیک» (IEEE) با موضوع علم داده و تجزیه و تحلیل پیشرفته ارائه کردند.

محققان خوش‌بین هستند که بهبود‌های بیشتر در عملکرد مدل بزرگ زبانی می‌تواند منجر به یک چارچوب تشخیص ناهنجاری عملی و مقرون‌به‌صرفه برای صنایع مختلف شود که از قابلیت‌های موجود در مدل‌های زبان بزرگ بهره می‌برد.