مدل‌های بزرگ زبانی مثل آدم رفتار نمی‌کنند!

خبرگزاری علم و فناوری آنا؛ یکی از مواردی که مدل‌های بزرگ زبانی را بسیار قدرتمند می‌کند، تنوع وظایف است. همان مدل یادگیری ماشینی که می‌تواند به یک دانشجو کمک کند تا ایمیل بنویسد، می‌تواند به پزشک متخصص در تشخیص سرطان کمک کند. کاربرد گسترده این مدل‌ها نیز باعث می‌شود ارزیابی آنها به روش نظام‌مند چالش‌برانگیز شود. علاوه بر این، ایجاد یک مجموعه داده معیار برای آزمایش یک مدل برای پاسخگویی به هر نوع سؤال، غیرممکن است.

در مقاله‌ای جدید، محققان مؤسسه تحقیقاتی ماساچوست (ام آی تی) رویکرد متفاوتی را در پیش گرفتند. آ‌ن‌ها استدلال می‌کنند که، چون انسان‌ها هستند که تصمیم می‌گیرند چه زمانی مدل‌های بزرگ زبانی را به‌کار بگیرند، ارزیابی یک مدل مستلزم آن است که چگونگی شکل‌گیری باور‌های مردم درباره قابلیت‌های آن مدل‌ها درک شود. برای مثال، دانشجو باید تصمیم بگیرد که آیا فلان مدل می‌تواند در نوشتن ایمیل به او کمک کند یا خیر، یا مثلاً پزشک باید تعیین کند که بهتر است در کدام موارد با مدل هوش مصنوعی مشورت کند.

با تکیه بر این ایده، محققان چارچوبی برای ارزیابی یک مدل بزرگ زبانی بر اساس همسویی آن با باور‌های انسان درباره نحوه عملکرد آن در یک کار خاص ایجاد کردند.آنها یک تابع تعمیم انسانی را معرفی کردند: مدلی از اینکه چگونه افراد پس از تعامل با یک مدل بزرگ زبانی، باور‌های خود را بر اساس آن به‌روز می‌کنند سپس ارزیابی می‌کنند که این مدل‌ها چقدر با رفتار انسان همسو هستند.

وقتی مدل‌ها با روشی که مردم فکر می‌کنند مطابقت نداشته باشند، کاربران یا بیش از حد به آنها اعتماد می‌کنند یا اصلاً اعتماد نمی‌کنند که می‌تواند باعث شود مدل در زمانی که اصلا انتظارش را ندارند شکست بخورد. همچنین، به دلیل این عدم تطابق، مدل‌های بهتر ممکن است در موقعیت‌های پرمخاطره بدتر از مدل‌های کوچکتر عمل کنند.

اشش رامباچان، دستیار یکی از نویسندگان این مطالعه، می‌گوید: «این ابزار‌ها هیجان‌انگیز‌اند، زیرا همه‌منظوره هستند و به همین دلیل است که با مردم همکاری می‌کنند، بنابراین ما باید انسان را در این حلقه در نظر بگیریم.»

تعمیم انسانی

وقتی با دیگران تعامل می‌کنیم، اغلب در مورد چیز‌هایی که آنها می‌دانند و نمی‌دانند، در ذهنمان مفروضاتی ایجاد می‌کنیم. به عنوان مثال، اگر دوست شما همیشه از حرف زدن دیگران ایراد می‌گیرد، ممکن است تصور کنید که او در کنار هم قرار دادن جمله‌ها نیز ماهر است، حتی اگر واقعاً با او درباره ساخت جمله و دستور زبان حرف نزده باشید.

رامباچان خاطرنشان می‌کند که مدل‌های زبانی می‌توانند بسیار شبیه به انسان به نظر برسند و ما می‌خواستیم نشان دهیم که این نیروی تعمیم انسانی در چگونگی شکل‌گیری باور‌های مردم درباره مدل‌های زبانی نیز وجود دارد.

به عنوان نقطه شروع، محققان به طور رسمی تابع تعمیم انسانی را تعریف کردند که شامل پرسیدن سؤالات، مشاهده نحوه پاسخ یک فرد یا مدل بزرگ زبانی و سپس استنتاج در مورد نحوه پاسخ آن شخص یا مدل به سؤالات مرتبط است.

با این تعریف رسمی، محققان یک نظرسنجی را طراحی کردند تا نحوه تعمیم افراد را هنگام تعامل با مدل‌های بزرگ زبانی و افراد دیگر ارزیابی کنند آنها به شرکت‌کنندگان در نظرسنجی سوالاتی را نشان دادند که بگویند یک شخص یا مدل بزرگ زبانی درست یا غلط گفته است و سپس از آ‌ن‌ها پرسیدند که آیا فکر می‌کنند آن شخص یا مدل بزرگ زبانی به یک سوال مرتبط پاسخ صحیح می‌دهد یا خیر. از طریق این نظرسنجی، آنها مجموعه داده‌ای از نزدیک به ۱۹ هزار نمونه از نحوه تعمیم انسان‌ها در مورد عملکرد مدل بزرگ زبانی در ۷۹ کار مختلف تولید کردند.

وقتی نوبت به درک و پیش‌بینی عملکرد مدل‌های زبانی می‌رسد، افراد تمایل دارند به تجربیات و دانش خود تکیه کنند. با این حال، این مطالعه نشان داد که این رویکرد برای مدل‌های بزرگ زبانی مانند جی‌پی‌تی-۴ جواب نمی‌دهد. وقتی یک مدل بزرگ زبانی پاسخ‌های نادرست به سؤالات می‌دهد، مردم باورهایشان را درباره مدل بزرگ زبانی تغییر می‌دادند و با کمال تعجب، زمانی که افراد تاکید بیشتری بر پاسخ‌های نادرست داشتند، مدل‌های ساده‌تر از مدل‌های بزرگی مانند جی‌پی‌تی-۴ بهتر عمل می‌کردند.

محققان همچنین بررسی کردند که چگونه باور‌های افراد در مورد مدل‌های بزرگ زبانی در طول زمان با تعامل با مدل‌ها تغییر می‌کند و در واقع بررسی کردند که چگونه تفکر انسانی می‌تواند در توسعه مدل‌های بزرگ زبانی اثرگذار باشد.

این گزارش ازام آی تی نیوز به فارسی برگردان شده است.