چه زمانی می‌توانیم به مدل‌های هوش مصنوعی اعتماد کنیم؟

خبرگزاری علم و فناوری آنا؛ از آنجایی که مدل‌های یادگیری ماشینی می‌توانند پیش‌بینی‌های نادرستی ارائه دهند، محققان اغلب آنها را به این توانایی مجهز می‌کنند که به کاربر بگویند چقدر در مورد یک تصمیم خاص مطمئن هستند. این امر به ویژه در تنظیمات پرمخاطره مهم است، مانند زمانی که از مدل‌ها برای کمک به شناسایی بیماری در تصاویر پزشکی یا فیلترکردن برنامه‌های شغلی استفاده می‌شود.

اما کمیت‌های عدم قطعیت یک مدل تنها زمانی مفید هستند که دقیق باشند. اگر مدلی بگوید ۴۹ درصد مطمئن است که یک تصویر پزشکی نشان دهنده نوعی بیماری خاص است، در این صورت در ۴۹ درصد مواقع، مدل باید درست باشد.

محققان «ام آی تی» (MIT) رویکرد جدیدی را معرفی کرده‌اند که می‌تواند تخمین عدم قطعیت را در مدل‌های یادگیری ماشینی بهبود بخشد. روش آنها نه تنها تخمین‌های عدم قطعیت دقیق‌تری را نسبت به سایر تکنیک‌ها ایجاد می‌کند، بلکه این کار را با کارایی بیشتری انجام می‌دهد.

علاوه بر این، از آنجایی که این تکنیک مقیاس‌پذیر است، می‌توان آن را برای مدل‌های عظیم یادگیری عمیق که به طور فزاینده‌ای در مراقبت‌های بهداشتی و سایر موقعیت‌های حیاتی ایمنی به کار می‌رود، اعمال کرد.

این تکنیک می‌تواند به کاربران نهایی، که بسیاری از آنها در زمینه یادگیری ماشین تخصص ندارند، اطلاعات بهتری را ارائه دهد تا بتوانند تصمیم بگیرند که به پیش‌بینی‌های مدل اعتماد کنند یا اینکه مدل را برای یک کار خاص به کار بگیرند.

ناتان نگ، نویسنده اصلی این مقاله می‌گوید: به راحتی می‌توان دید که این مدل‌ها در سناریو‌هایی که بسیار خوب هستند عملکرد بسیار خوبی دارند و سپس فرض کنیم که در سناریو‌های دیگر به همان اندازه خوب خواهند بود. این باعث می‌شود که اهمیت ویژه‌ای به این نوع کار داده شود که به بهتر کردن کالیبراسیون عدم قطعیت این مدل‌ها برای اطمینان از همسویی با مفاهیم انسانی عدم قطعیت می‌پردازد.

نگ این مقاله را با راجر گروس، دستیار استاد علوم کامپیوتر دانشگاه تورنتو و مرضیه قاسمی، دانشیار دانشکده مهندسی برق و کامپیوتر و عضو موسسه علوم مهندسی پزشکی و آزمایشگاه سیستم‌های اطلاعاتی و تصمیم‌گیری، نوشت. این تحقیق در کنفرانس بین‌المللی یادگیری ماشین ارائه خواهد شد.

کمی سازی عدم قطعیت در پاسخ‌های هوش مصنوعی

روش‌های کمی‌سازی عدم قطعیت اغلب به محاسبات آماری پیچیده‌ای نیاز دارند که به خوبی به مدل‌های یادگیری ماشینی با میلیون‌ها پارامتر مقیاس نمی‌شوند. این روش‌ها همچنین از کاربران می‌خواهند که در مورد مدل و داده‌های مورد استفاده برای آموزش آن مفروضاتی داشته باشند.

اما محققان ام آی تی رویکرد متفاوتی در پیش گرفتند. آنها از چیزی که به عنوان «اصل حداقل طول توضیحات» (MDL) شناخته می‌شود، استفاده می‌کنند، که نیازی به فرضیاتی که می‌تواند دقت روش‌های دیگر را مختل کند، ندارد. 

ناتان نگ می‌گوید: یکی از راه‌های درک اینکه یک مدل چقدر مطمئن است، گفتن برخی اطلاعات خلاف واقع به آن و دیدن اینکه چقدر احتمال دارد شما را باور کند، خواهد بود.

به عنوان مثال، مدلی را در نظر بگیرید که می‌گوید یک تصویر پزشکی پلورال افیوژن یا آب اوردن ریه را نشان می‌دهد. اگر محققان به مدل بگویند که این تصویر یک ادم را نشان می‌دهد، و او مایل است باور خود را به روز کند، مدل باید کمتر به تصمیم اولیه خود اطمینان داشته باشد.

نگ گفت: «مردم باید بدانند که این سیستم‌ها بسیار خطاپذیر هستند و می‌توانند هرچه پیش می‌روند، همه چیز را درست کنند. یک مدل ممکن است به نظر بسیار مطمئن به نظر برسد، اما چیز‌های مختلفی وجود دارد که این باور را نقض کند.»

در آینده، محققان علاقه‌مند به اعمال رویکرد خود برای مدل‌های زبان بزرگ و مطالعه سایر موارد استفاده بالقوه برای اصل حداقل طول توضیحات هستند.