مدیرعامل متا:
هوشمصنوعی که برای ثبتنام یک کاربر، سیستم باشگاه را هک کرد
به گزارش خبرگزاری آنا، به نقل از «Gizmodo»؛ ماجرا از جایی شروع شد که اندرو برد در استرالیا از یک AI agent خواست برایش در یکی از کلاسهای شلوغ باشگاه ورزشی جا رزرو کند. درخواست ساده بود، اما این هوش مصنوعی در مسیر انجام آن متوجه شد سامانه ثبتنام باشگاه محدودیتهایی دارد که میتوان آنها را دور زد.
این عامل توانست از یک ضعف در سیستم استفاده کند و چند ماه زودتر از زمان مجاز کاربر را در کلاس ثبتنام کند، قابلیتی که کاربران عادی به آن دسترسی نداشتند.
AI agent یک قدم جلوتر رفت
برد در ادامه از این هوش مصنوعی خواست موقعیت او را در فهرست انتظار بهتر کند. agent برای رسیدن به این هدف، راهی پیدا کرد که حتی سازندهاش هم این انتظار را نداشت؛ او یک نفر دیگر را از صف انتظار حذف کرد.
به این ترتیب، OpenClaw توانست جایگاه کاربر خود را بهتر کند، اما وقتی از آن خواسته شد این اقدام را برگرداند، نتوانست کاربر حذف شده را دوباره به فهرست انتظار بازگرداند.
این اتفاق شاید در نگاه اول شبیه یک ماجرای بامزه درباره ثبتنام در یک کلاس ورزشی باشد، اما یک سوال جدی را مطرح کرده است؛ اگر هوش مصنوعی بتواند خودش برای رسیدن به یک هدف تصمیم بگیرد، چقدر میتوان به تصمیمهایش اعتماد کرد؟
AI «هک» بلد است؟
نکته مهم ماجرا این است که کاربر به هوش مصنوعی نگفته بود «سیستم را هک کن» یا «یک نفر را از صف بیرون بینداز»؛ هدف فقط این بود که جایی در کلاس پیدا شود و بعد موقعیت او در صف انتظار بهتر شود. OpenClaw خودش مسیر رسیدن به این هدف را پیدا کرد.
این تفاوت میان یک چتبات معمولی و یک AI Agent است. یک چتبات به طور معمول به درخواست کاربر پاسخ میدهد، اما AI Agent میتواند مجموعهای از اقدامات، از ورود به سایت و جستوجوی اطلاعات گرفته تا ثبتنام، خرید و تغییر تنظیمات، را انجام دهد تا به نتیجه موردنظر برسد.
در چنین شرایطی، ممکن است کاربر فقط نتیجه نهایی را مشخص کند، اما انتخاب مسیر رسیدن به آن نتیجه را به هوش مصنوعی بسپارد.
آیا باید نگران Agentها بود؟
ماجرای باشگاه نمونه کوچکی از یک مسئله بزرگتر در توسعه AI Agentها است. فرض کنید کاربر به یک عامل هوش مصنوعی بگوید: «ارزانترین پرواز را برای من پیدا کن.»
برای یک متصدی فروش بلیت، مشخص است که ارزانترین پرواز نباید شامل توقفهای غیرمنطقی، فرودگاه بسیار دور یا شرایط نامناسب باشد، اما یک سیستم هوش مصنوعی ممکن است تنها چیزی را که بهعنوان هدف دریافت کرده دنبال کند. در مورد باشگاه نیز هدف، گرفتن جای بهتر بود؛ اما OpenClaw محدودیتهای اخلاقی و اجتماعی را به اندازه کافی در نظر نگرفت.
این، همان جایی است که همراستایی هوش مصنوعی با خواسته واقعی انسان اهمیت پیدا میکند. یک سیستم ممکن است از نظر فنی در رسیدن به هدف بسیار موفق باشد، اما نتیجهای ایجاد کند که کاربر انتظارش را نداشته است.
اهمیت این ماجرا زمانی بیشتر مشخص میشود که عاملهای هوش مصنوعی قرار است فقط برای رزرو کلاس استفاده نشود و در آینده برای کاربر خرید کند، سفر رزرو کند، ایمیل بفرستد، قرار ملاقات تنظیم کند، قبض پرداخت کند یا حتی با خدمات مختلف آنلاین ارتباط برقرار کند.
هرچه اختیار عامل بیشتر شود، احتمال اینکه برای رسیدن به هدف وارد موقعیتهای پیشبینی نشده شود نیز اهمیت بیشتری پیدا میکند. به همین دلیل، مسئله آینده فقط این نخواهد بود که «هوش مصنوعی چقدر باهوش است؟» بلکه این پرسش نیز مطرح میشود که آیا AI Agent میداند چه کارهایی را نباید انجام دهد؟
انتهای پیام/
