«چت جی‌پی‌تی» در حل مسائل استدلالی بهتر از دانشجویان عمل می‌کند

به گزارش خبرنگار خبرگزاری علم و فناوری آنا، افراد می‌توانند مشکلات جدید را به‌آسانی و بدون هیچ آموزش یا تمرین خاصی حل کنند. مدت‌ها تصور می‌شد، این فرآیند که به‌عنوان استدلال قیاسی شناخته می‌شود، یک توانایی منحصربه‌فرد انسانی است. اما حالا ممکن است مردم مجبور شوند برای یک بچه جدید جا باز کنند.

تحقیقات روانشناسان دانشگاه کالیفرنیا نشان می‌دهد که به طرز شگفت‌انگیزی، مدل زبان هوش مصنوعی «چت جی‌پی‌تی-۳» (GPT - ۳) زمانی که از آن‌ها خواسته می‌شود نوعی از مشکلات استدلالی را که معمولاً در آزمون‌های هوش و آزمون‌های استاندارد مانند SAT ظاهر می‌شوند، حل کنند، همانند دانشجویان کارشناسی دانشگاه عمل می‌کند. این مطالعه در مجله «نیچر» منتشرشده است.

بررسی فرایند‌های شناختی هوش مصنوعی

اما نویسندگان این مقاله می‌نویسند که این مطالعه این سؤال را مطرح می‌کند: آیا «چت جی‌پی‌تی-۳» از استدلال انسانی به‌عنوان محصول جانبی مجموعه داده‌های عظیم آموزش زبان تقلید می‌کند یا از نوع جدیدی از فرآیند شناختی استفاده می‌کند؟

بدون دسترسی به کار‌های داخلی «چت جی‌پی‌تی-۳» - که توسط «اوپن ای‌آی» محافظت می‌شود، دانشمندان نمی‌توانند با اطمینان بگویند که توانایی‌های استدلالی آن چگونه کار می‌کند. آن‌ها همچنین می‌نویسند که اگرچه «چت جی‌پی‌تی-۳» در برخی از وظایف استدلالی بسیار بهتر ازآنچه انتظار داشتند عمل می‌کند، اما ابزار محبوب هوش مصنوعی هنوز هم در برخی از موارد دیگر به طرز چشمگیری شکست می‌خورد.

محدودیت‌های اصلی هوش مصنوعی در وظایف استدلالی

تیلور وب، پژوهشگر پسادکتری روانشناسی دانشگاه کالیفرنیا و نویسنده اول این مطالعه گفت: مهم نیست که نتایج ما چقدر تأثیرگذار باشد، مهم است تأکید کنیم که این سیستم محدودیت‌های عمده‌ای دارد. این سیستم می‌تواند استدلال قیاسی انجام دهد، اما نمی‌تواند کار‌هایی را انجام دهد که برای مردم بسیار آسان است، مانند استفاده از ابزار برای حل یک کار فیزیکی. زمانی که ما چنین مشکلاتی را به هوش مصنوعی سپردیم (بعضی از آن‌ها را بچه‌ها می‌توانند سریع حل کنند) چیز‌هایی که پیشنهاد کرد بی‌معنی بود.

وب و همکارانش توانایی «چت جی‌پی‌تی-۳» در حل مجموعه‌ای از مشکلات را با الهام از آزمایشی به نام ماتریس‌های پیشرو «راون» آزمایش کردند که از سوژه می‌خواهد تصویر بعدی را با آرایش پیچیده‌ای از اشکال پیش‌بینی کند. وب برای فعال کردن «چت جی‌پی‌تی-۳» برای "دیدن" اشکال، تصاویر را به فرمت متنی تبدیل کرد که «چت جی‌پی‌تی-۳» می‌توانست آن‌ها را پردازش کند؛ این رویکرد همچنین تضمین می‌کرد که هوش مصنوعی هرگز قبلاً با این سؤالات روبرو نشده بود.

محققان از ۴۰ دانشجوی کارشناسی خواستند تا همین مشکلات را حل کنند.

نتایج شگفت‌انگیز و مفاهیم آینده

هونگ جینگ لو، استاد روانشناسی و نویسنده ارشد این مطالعه گفت: جالب اینجاست که «چت جی‌پی‌تی-۳» نه‌تنها همانند انسان‌ها عمل می‌کرد، بلکه اشتباهات مشابهی را نیز مرتکب می‌شد.

«چت جی‌پی‌تی-۳» ۸۰ درصد از مشکلات را به‌درستی حل کرد بسیار بالاتر از میانگین نمره افراد انسانی که کمی کمتر از ۶۰ درصد بود

محققان همچنین «چت جی‌پی‌تی-۳» را وادار به حل مجموعه‌ای از سؤالات اس‌ای‌تی (یکی از دو امتحان استاندارد برای ورود به دانشگاه در آمریکا) کردند که به اعتقاد آن‌ها هرگز در اینترنت منتشرنشده بود به این معنی که این سؤالات احتمالاً از داده‌های آموزشی «چت جی‌پی‌تی-۳» نبوده است. سؤال‌ها از کاربران می‌خواهند جفت کلماتی را انتخاب کنند که نوع یکسانی از روابط را به اشتراک می‌گذارند.

آن‌ها نمرات «چت جی‌پی‌تی-۳» را با نتایج منتشرشده از نمرات SAT متقاضیان دانشگاهی مقایسه کردند و دریافتند که هوش مصنوعی بهتر از میانگین نمره برای انسان‌ها عمل می‌کند.

محدودیت‌های هوش مصنوعی: از «چت جی‌پی‌تی-۳» تا «چت جی‌پی‌تی-۴»

سپس محققان از «چت جی‌پی‌تی-۳» و داوطلبان دانشجویی خواستند تا قیاس‌ها را بر اساس داستان‌های کوتاه حل کنند که باعث شد آن‌ها یک متن را بخوانند و سپس داستان متفاوتی را شناسایی کنند که همان معنی را منتقل می‌کرد. این فناوری عملکرد ضعیف‌تری نسبت به دانشجویان  داشت، هرچند «چت جی‌پی‌تی-۴»، آخرین نسخه  فناوری اوپن ای‌آی، بهتر از «چت جی‌پی‌تی-۳» عمل کرد.

محققان دانشگاه کالیفرنیا مدل کامپیوتری خود را توسعه داده‌اند که از شناخت انسان الهام گرفته و توانایی‌های آن را با هوش مصنوعی تجاری مقایسه کرده‌اند.

کیت هولیوک، استاد روانشناسی این دانشگاه گفت: هوش مصنوعی در حال بهتر شدن بود، اما مدل هوش مصنوعی روان‌شناختی ما هنوز در انجام مشکلات قیاسی بهترین بود.

محققان گفتند «چت جی‌پی‌تی-۳» تاکنون قادر به حل مشکلاتی که نیاز به درک فضای فیزیکی دارند، نبوده است. برای مثال، اگر توضیحاتی در مورد مجموعه‌ای از ابزار‌ها ارائه شود.مثلاً یک لوله مقوایی، قیچی و نوار - که می‌توان از آن برای انتقال گلوله‌های آدامس از یک کاسه به کاسه دیگر استفاده کرد، «چت جی‌پی‌تی-۳» راه‌حل‌های عجیبی را پیشنهاد کرد.

لو گفت: مدل‌های یادگیری زبان فقط سعی می‌کنند کلمات را پیش‌بینی کنند، بنابراین ما از آن‌ها تعجب می‌کنیم که می‌توانند استدلال کنند. طی دو سال گذشته، این فناوری جهش بزرگی نسبت به تجسم‌های قبلی خود داشته است.

دانشمندان امیدوارند کشف کنند که آیا مدل‌های یادگیری زبان واقعاً مانند انسان‌ها شروع به «فکر کردن» می‌کنند یا کاری کاملاً متفاوت انجام می‌دهند که صرفاً تفکر انسان را تقلید می‌کند.

هوش مصنوعی مثل انسان‌ها فکر می‌کند؟

هولیوک گفت: «چت جی‌پی‌تی-۳»  ممکن است به‌نوعی مانند یک انسان فکر کند. اما از سوی دیگر، مردم با مصرف کل اینترنت همه آن‌ها را یاد نمی‌گیرند، بنابراین روش آموزش کاملاً متفاوت است. ما دوست داریم بدانیم که آیا واقعاً هوش مصنوعی این کار را به روشی که مردم انجام می‌دهند انجام می‌دهد یا اینکه چیزی کاملاً جدید است که در نوع خود شگفت‌انگیز خواهد بود.

برای پی‌بردن به این موضوع، آن‌ها باید فرآیند‌های شناختی زیربنایی را که مدل‌های هوش مصنوعی از آن‌ها استفاده می‌کنند بررسی کنند، که نیازمند دسترسی به نرم‌افزار و داده‌های مورداستفاده برای آموزش نرم‌افزار است و سپس آزمایش‌هایی را انجام دهند که مطمئن باشند نرم‌افزار قبلاً آموزش داده نشده است. آن‌ها گفتند که این گام بعدی در تصمیم‌گیری در مورد اینکه هوش مصنوعی باید به چه چیزی تبدیل شود، خواهد بود.

وب گفت: برای محققان هوش مصنوعی و شناختی بسیار مفید است که مدل‌های چت جی‌پی‌تی را داشته باشند. ما فقط ورودی‌ها و خروجی‌ها را بررسی می‌کنیم که آن‌قدر‌ها تعیین‌کننده نیست.