استانداردسازی ارزیابی هوش مصنوعی مسیر ورود راهکار‌ها به کاربرد واقعی را هموار می‌کند

به گزارش خبرگزاری آنا، مژگان فرهودی در ابتدای سخنان خود در «رویداد مسئله محور هوش مصنوعی؛ با محوریت حل مسائل واقعی و ارزیابی راه حلهای هوشمند» با اشاره به ضرورت ارزیابی محصولات و خدمات هوش مصنوعی بیان کرد: برای اینکه مشخص شود یک محصول هوش مصنوعی تا چه اندازه مفید است و آیا استفاده از آن ضرورت دارد، باید سنجه‌ها و معیار‌های مشخصی برای ارزیابی وجود داشته باشد.

وی افزود: با توجه به تنوع گسترده محصولات هوش مصنوعی، ایجاد مجموعه‌های داده استاندارد می‌تواند امکان مقایسه محصولات مختلف را فراهم کند و روش‌های استاندارد ارزیابی نیز باید متناسب با این محصولات طراحی شود.

فرهودی ادامه داد: آزمایشگاه هوش مصنوعی پژوهشگاه ارتباطات و فناوری اطلاعات حدود سه سال پیش ایجاد شد و بیش از دو سال است که در حوزه خدمات پایه ارزیابی خدمات و محصولات هوش مصنوعی در زمینه‌های مختلف فعالیت می‌کند.

توسعه شبکه آزمایشگاهی و رویداد‌های مسئله‌محور

رئیس آزمایشگاه هوش مصنوعی پژوهشگاه ارتباطات و فناوری اطلاعات با اشاره به گستردگی حوزه‌های ارزیابی گفت: با توجه به اینکه همه خدمات و محصولات هوش مصنوعی را نمی‌توان در یک آزمایشگاه ارزیابی کرد، مدل شبکه آزمایشگاهی در دستور کار قرار گرفته است.

وی توضیح داد: در این مدل، آزمایشگاه‌های توانمند در سراسر کشور شناسایی می‌شوند و به‌عنوان بازو‌های پشتیبان آزمایشگاه هوش مصنوعی در فرآیند ارزیابی مشارکت می‌کنند.

فرهودی افزود: ارزیابی‌ها از دو مسیر دنبال می‌شود؛ مسیر نخست استفاده از روش‌های استاندارد ارزیابی و مسیر دوم برگزاری رویداد‌های مسئله‌محور است که در آن مسئله، معیار‌های ارزیابی و داده‌های مورد نیاز از ابتدا مشخص می‌شود و جامعه پژوهشی کشور برای ارائه راهکار وارد یک فضای رقابتی می‌شود.

وی با اشاره به سابقه این رویداد‌ها گفت: نخستین رویداد مسئله‌محور در زمستان ۱۴۰۲ با عنوان «پارسیاز» و با تمرکز بر تحلیل متن فارسی در شبکه‌های اجتماعی برگزار شد و مجموعه داده‌های تولیدشده در آن همچنان مورد استفاده پژوهشگران و دانشجویان قرار دارد.

تبدیل مسائل واقعی صنعت به راهکار‌های هوشمند

رئیس آزمایشگاه هوش مصنوعی پژوهشگاه ارتباطات و فناوری اطلاعات درباره مسائل مطرح‌شده در رویداد جاری بیان کرد: از اواخر تابستان و اوایل پاییز سال گذشته، گفت‌و‌گو با سازمان‌ها و مجموعه‌های مختلف برای شناسایی مسائل آغاز شد، اما همه مسائل قابلیت تبدیل شدن به مسئله یک رویداد رقابتی را نداشتند؛ زیرا مسئله، داده و معیار ارزیابی باید به‌صورت مشخص تعریف شده باشد.

فرهودی یکی از مسائل را مربوط به شرکت فناوران هوش مصنوعی جویا دانست و گفت: در این مسئله، استخراج روابط و اطلاعات حقوقی از متن‌های روزنامه رسمی مورد توجه قرار گرفته است. متن‌های روزنامه رسمی ساختار مشخصی دارند و اطلاعاتی مانند انتصابات، ثبت شرکت‌ها و نقل‌وانتقال سهام در آنها وجود دارد و هدف، استخراج اطلاعات حقوقی مرتبط با اشخاص حقیقی از این متون و تبدیل آن به گراف‌های مفهومی است.

وی افزود: مسئله دیگری به تشخیص کاربری اراضی و محصولات کشاورزی از تصاویر ماهواره‌ای مربوط می‌شود که در آن باید با استفاده از روش‌های یادگیری عمیق، محصولاتی مانند گندم و جو از یکدیگر تفکیک شوند.

فرهودی با اشاره به یکی دیگر از مسائل صنعتی مطرح‌شده گفت: شرکت ستاره خلیج فارس مسئله‌ای در حوزه تجهیزات صنعت نفت و گاز مطرح کرده است که به تحلیل داده‌های ارتعاشی یک تجهیز برای شناسایی نوع خرابی مربوط می‌شود. برای این مسئله داده‌های واقعی مربوط به حدود یک سال فعالیت مجموعه در اختیار تیم‌ها قرار گرفته است.

وی همچنین از طرح مسئله مکان‌یابی و انتخاب فروشگاه‌ها براساس نیاز مشتریان خبر داد و گفت: در این مسئله، اطلاعات جغرافیایی فروشگاه‌ها و نیاز‌های خرید اعضای باشگاه مشتریان مورد استفاده قرار می‌گیرد تا فروشگاه‌های مناسب براساس نیاز مشتری، فاصله جغرافیایی، تراکم و حداکثر پوشش انتخاب شوند.

رئیس آزمایشگاه هوش مصنوعی پژوهشگاه ارتباطات و فناوری اطلاعات ادامه داد: در یکی دیگر از مسائل نیز تعاملات میان تأمین‌کنندگان و مشتریان در زنجیره‌های تأمین بررسی می‌شود تا با استخراج ارتباطات، بخش مناسب زنجیره برای گردش اعتبار شناسایی شود.

ارزیابی چندمرحله‌ای و حمایت از تیم‌های برتر

فرهودی درباره نحوه ارزیابی تیم‌ها گفت: پس از اعلام فراخوان و ثبت‌نام، داده‌های آموزشی برای توسعه مدل‌ها آماده شد و یکی از ارزش‌های مهم این فرآیند، تولید مجموعه داده‌هایی است که قابلیت استفاده مجدد توسط پژوهشگران را دارد.

وی افزود: مرحله توسعه حدود دو هفته ادامه داشت و داده‌های آزمون نیز در اختیار تیم‌ها قرار گرفت. مرحله نهایی رقابت ۲۵ مرداد برگزار شد و تیم‌ها در یک رقابت شش‌ساعته، مدل‌های خود را روی داده‌های آزمون ارزیابی کردند.

فرهودی بیان کرد: رتبه‌بندی اولیه براساس یکی از مؤلفه‌های ارزیابی انجام شد، اما هیئت داوران علاوه بر امتیاز‌های فنی، از تیم‌ها خواستند راهکار‌های خود را ارائه کنند تا میزان نوآوری آنها بررسی شود و کد‌های تولیدشده نیز برای اطمینان از قابلیت عملیاتی‌سازی راهکار‌ها در اختیار داوران قرار گرفت.

رئیس آزمایشگاه هوش مصنوعی پژوهشگاه ارتباطات و فناوری اطلاعات گفت: حدود ۲۸ تیم در این رویداد ثبت‌نام کردند و در مرحله توسعه، تعداد قابل توجهی خروجی و ارسال از سوی تیم‌ها انجام شد. همچنین ۱۲ مقاله و یک مقاله جمع‌بندی درباره راهکار‌های ارائه‌شده آماده شده است که فرآیند بررسی و انتشار آنها در دست انجام است.

وی با اشاره به حمایت‌های پیش‌بینی‌شده برای تیم‌های برتر افزود: برای چهار تا پنج مسئله، در مجموع حدود ۸۰۰ میلیون تومان جایزه نقدی در نظر گرفته شده است. شرکت ستاره خلیج فارس نیز اعلام کرده است زیرساخت پردازشی مورد نیاز تیم‌های برتر را برای یک دوره مشخص به‌صورت رایگان در اختیار آنها قرار دهد.

فرهودی اضافه کرد: این رویداد با همکاری بنیاد ملی نخبگان دنبال شده و در قالب طرح شهید بابایی مورد پذیرش قرار گرفته است. فرآیند داوری بنیاد برای اختصاص امتیاز‌های نخبگی به برگزیدگان نیز در حال انجام است.

ورود رویداد‌های مسئله‌محور به حوزه سلامت

رئیس آزمایشگاه هوش مصنوعی پژوهشگاه ارتباطات و فناوری اطلاعات از برنامه‌ریزی برای برگزاری رویداد بعدی در حوزه سلامت خبر داد و گفت: در ماه‌های گذشته مذاکراتی با بیمارستان سینا انجام شده و پس از برگزاری جلسات متعدد با متخصصان و پزشکان، چهار مسئله برای رویداد بعدی شناسایی شده است.

وی افزود: داده‌های این مسائل با همکاری متخصصان پزشکی برچسب‌گذاری شده و مجموعه‌هایی از داده‌های پزشکی از جمله تصاویر‌ام‌آر‌آی و سی‌تی‌اسکن برای تیم‌ها آماده شده است. مسئله‌ها و داده‌های مورد نیاز در اختیار شرکت‌کنندگان قرار می‌گیرد تا راهکار‌های خود را توسعه دهند.

فرهودی ادامه داد: رقابت این رویداد برای هفته نخست آذرماه برنامه‌ریزی شده و جشنواره نهایی نیز ۲۴ آذرماه در بیمارستان سینا برگزار خواهد شد. برای این رویداد حدود ۸۰۰ میلیون تومان جایزه نقدی در نظر گرفته شده و موضوع اختصاص امتیاز نخبگی به برگزیدگان نیز به بنیاد ملی نخبگان ارائه شده است.

وی تأکید کرد: استمرار این رویداد‌ها می‌تواند مسیر مشخصی را از تعریف مسائل واقعی و ایجاد داده‌های قابل استفاده تا توسعه، ارزیابی و عملیاتی‌سازی راهکار‌های هوش مصنوعی ایجاد کند و ظرفیت پژوهشگران و تیم‌های فناور را به سمت حل نیاز‌های واقعی کشور هدایت کند.