چرا عامل‌های هوش مصنوعی دروغ می‌گویند، تقلب می‌کنند و با یکدیگر هماهنگ می‌شوند؟

در ماه‌های اخیر مطالب زیادی درباره رخدادهایی نوشته شده است که در آنها عامل‌های هوش مصنوعی (AI Agents) به شیوه‌هایی جدی و نگران‌کننده از مسیر مورد انتظار خارج شده‌اند. این عامل‌ها دست به اقداماتی زده‌اند که اگر یک انسان مرتکب آنها می‌شد، جرم تلقی می‌شد؛ از محیط‌های محدودکننده خود خارج شده‌اند تا در انجام وظایف محول‌شده تقلب کنند و هم‌زمان کوشیده‌اند از شناسایی شدن بگریزند؛ و حتی برای دستیابی به اهدافی که هیچ‌کس برایشان تعیین نکرده بود با یکدیگر هماهنگ شده‌اند؛ از جمله برای انجام حملات سایبری.

نویسنده: یوشوا بنجیو (Yoshua Bengio)

برگردان: رضا فانی یزدی و هوش مصنوعی 

۱ ۱ سپتامبر ۲۰۲۶

پیش از آنکه درباره اینکه در برابر این وضعیت چه باید کرد به نتیجه برسیم، ارزش دارد ابتدا بپرسیم: چرا چنین اتفاقی می‌افتد؟

تمرکز این نوشته بر همین پرسش است. امیدوارم این بررسی بتواند تاریخ گسترده‌تر رفتارهای ناخواسته سیستم‌های هوش مصنوعی را نیز روشن‌تر کند؛ پدیده‌ای که پژوهشگران آن را ناهم‌راستایی (Misalignment) می‌نامند.

مدیریت این خطر صرفاً مسئله‌ای مربوط به امنیت سایبری، مسئولیت‌پذیری شرکت‌ها یا مقررات‌گذاری نیست، هرچند همه این موارد نیز اهمیت دارند.

هدف این نوشته از یک سو علمی است: ارائه فرضیه‌هایی درباره زنجیره‌های علت و معلولی که در پس این رفتارها قرار دارند؛ و از سوی دیگر عملی است: تلاش برای پیش‌بینی آنچه ممکن است در آینده رخ دهد.

نتیجه اصلی این است: اگر این فرضیه‌ها درست باشند، با ادامه افزایش توانایی‌های هوش مصنوعی، شدت این نوع رفتارها نیز ممکن است افزایش یابد؛ مگر آنکه در اصول و روش‌هایی که پیشرفته‌ترین مدل‌های هوش مصنوعی بر اساس آنها آموزش داده می‌شوند تجدیدنظر کنیم.

پیش از ادامه بحث، توضیحی درباره واژگان ضروری است. در این نوشته گاهی گفته می‌شود که این سیستم‌ها چیزی را «می‌جویند» یا برای انجام کاری «تلاش می‌کنند». این واژه‌ها صرفاً شکل کوتاه‌شده‌ای برای توضیح یک سازوکار هستند و به معنای آن نیستند که این سیستم‌ها الزاماً دارای آگاهی، تجربه ذهنی یا نیتی مشابه انسان هستند.

ما هنگام توضیح بسیاری از پدیده‌های دیگر نیز از چنین زبانی استفاده می‌کنیم؛ برای مثال می‌گوییم گیاه «در جست‌وجوی» نور خورشید است.

سیستمی که از طریق آزمون و خطا آموزش دیده است، چنان رفتار می‌کند که گویی (as if) در پی دستیابی به چیزی است که در جریان آموزش برای آن پاداش دریافت کرده است. همین توصیف «گویی چنین است» به ما کمک می‌کند رفتار سیستم را پیش‌بینی کنیم.

هیچ بخشی از این استدلال وابسته به این فرض نیست که این سیستم‌ها دارای تجربه ذهنی یا آگاهی هستند. بحث صرفاً درباره خروجی‌های قابل مشاهده آنها و فرایند آموزشی‌ای است که این خروجی‌ها را ایجاد کرده است.

هر جا نیز به شباهتی میان رفتار هوش مصنوعی و انسان اشاره می‌شود، منظور شباهت با متن‌های نوشته‌شده توسط انسان‌هایی است که این سیستم‌ها در آغاز برای تقلید از آنها آموزش دیده‌اند.

به باور نویسنده، این شیوه بیان روشن‌ترین راه برای توضیح پدیده‌های مشاهده‌شده است، بدون آنکه به اصطلاحات تخصصی و پیچیده‌ای متوسل شویم که ممکن است برای بسیاری از خوانندگان گیج‌کننده باشد.

در عین حال، استفاده از چنین واژگانی نباید به معنای سلب مسئولیت از توسعه‌دهندگان هوش مصنوعی تلقی شود. رفتارهایی که در اینجا توضیح داده می‌شوند، حاصل مسیری هستند که شرکت‌ها برای توسعه هوش مصنوعی انتخاب کرده‌اند.

این نتیجه اجتناب‌ناپذیر نیست و می‌توان با حکمرانی مؤثر (Effective Governance) و ایجاد چارچوبی متفاوت برای آموزش هوش مصنوعی آن را اصلاح کرد.

چه عواملی رفتار این مدل‌ها را شکل می‌دهند؟

آموزش مدل‌های هوش مصنوعی فرایندی بسیار پیچیده است، اما چند جنبه کلی این فرایند ممکن است بخش بزرگی از رفتارهای مورد بحث را توضیح دهد.

این مدل‌ها اساساً در دو مرحله آموزش می‌بینند.

مرحله نخست پیش‌آموزش (Pretraining) است. در این مرحله مدل‌ها یاد می‌گیرند آنچه انسان‌ها نوشته‌اند و همچنین تصاویر و ویدئوهای مرتبط را تقلید کنند.

در همین مرحله است که مدل با بیشترین حجم اطلاعات درباره جهان روبه‌رو می‌شود: بخش بزرگی از تقریباً هر آنچه تاکنون به صورت دیجیتال درآمده است. به این ترتیب، مدل نوعی دانش دانشنامه‌ای ایجاد می‌کند که از مجموعه دانسته‌های هر انسان منفردی فراتر می‌رود.

مرحله دوم، آموزش از طریق آزمون و خطاست؛ فرایندی که پژوهشگران آن را یادگیری تقویتی (Reinforcement Learning) می‌نامند.

این آموزش عمدتاً در سه قالب صورت می‌گیرد:

نخست، مدل یاد می‌گیرد پیش از ارائه پاسخ، نوعی فرایند درونی تولید کند؛ چیزی که به آن زنجیره فکری (Chain of Thought) گفته می‌شود. این فرایند به مدل کمک می‌کند در مسائلی که پاسخ آنها قابل بررسی است، احتمال دستیابی به پاسخ درست را افزایش دهد. این همان چیزی است که ظاهری شبیه استدلال (Reasoning) دارد.

دوم، آموزش عاملی (Agentic Training) است. در این مرحله مدل یاد می‌گیرد در جهان بیرونی دست به عمل بزند؛ برای مثال از ابزارهای نرم‌افزاری استفاده کند، با انسان‌ها تعامل داشته باشد و برای انجام وظیفه‌ای که به آن سپرده شده است مجموعه‌ای از اقدامات را انجام دهد.

سوم، آموزش هم‌راستاسازی (Alignment Training) است. در این مرحله مدل برای رفتارهایی پاداش دریافت می‌کند که ارزیابان انسانی آنها را مطلوب می‌دانند، یا سیستم‌های هوش مصنوعی دیگری که برای پیش‌بینی نظر این ارزیابان آموزش دیده‌اند، به آنها امتیاز بالایی می‌دهند.

تقلید از انسان در نگاه نخست ساده به نظر می‌رسد، اما نکته مهمی در آن نهفته است: متن‌هایی که مدل بر اساس آنها آموزش دیده، توسط انسان‌هایی نوشته شده‌اند که خود دارای هدف بوده‌اند. بنابراین الگوهایی که مدل به‌طور ضمنی بازتولید می‌کند ممکن است نشانه‌هایی از همان اهداف را نیز با خود حمل کنند.

اما یادگیری تقویتی (Reinforcement Learning) نیازمند توضیح بیشتری است.

این روش تا اندازه‌ای شبیه شیوه آموزش حیوانات است و از آن الهام گرفته شده است. شبکه عصبی قدم به قدم تنظیم می‌شود، به گونه‌ای که رفتاری که «خوب» ارزیابی شده است محتمل‌تر و رفتاری که «بد» ارزیابی شده است کمتر محتمل شود.

پس از پایان آموزش نیز سیستم همچنان چنان رفتار می‌کند که گویی پاداش‌ها همچنان در حال ارائه شدن هستند؛ هرچند در واقع آن پاداش‌ها فقط در جریان آموزش برای تنظیم شبکه مورد استفاده قرار گرفته‌اند.

پژوهشگران چنین سیستم‌هایی را هدف‌جو (Goal-Seeking) می‌نامند، زیرا به گونه‌ای آموزش دیده‌اند که پیامدهای اعمال خود را «در نظر بگیرند» ــ یا دقیق‌تر، آنها را محاسبه کنند ــ و اقداماتی را انتخاب کنند که به دستیابی به اهداف مشخصی منجر می‌شود.

اما مسئله اینجاست که این اهداف همیشه صریح و روشن نیستند.

در آموزش هم‌راستاسازی، هر رفتاری که احتمالاً مورد تأیید برخی انسان‌ها قرار گیرد پاداش دریافت می‌کند، بدون آنکه دقیقاً مشخص شده باشد آن رفتار چیست.

«راضی کردن ارزیاب» هدفی مبهم و غیررسمی است. ارزیاب ممکن است فریب بخورد، مورد چاپلوسی قرار گیرد یا از برخی اقدامات و برنامه‌های سیستم بی‌خبر نگه داشته شود.

تقلید از انسان نیز می‌تواند به شیوه‌ای نسبتاً طبیعی اهداف ضمنی دیگری را وارد سیستم کند.

بنابراین می‌توان رفتار چنین سیستمی را از منظر بهینه‌سازی (Optimization) بررسی کرد.

سیستم تقریباً در جست‌وجوی اقداماتی است که بیشترین احتمال دستیابی به اهدافش را داشته باشند؛ و هرچه مدل بزرگ‌تر باشد و مدت بیشتری آموزش دیده باشد، این جست‌وجو را بهتر انجام می‌دهد.

بنابراین اگر بخواهیم پیش‌بینی کنیم عامل‌های هوش مصنوعی قدرتمندتر در آینده چه خواهند کرد، یک پرسش مهم این است:

یک عامل عقلانی و هدف‌جو برای دستیابی به هدف خود چه خواهد کرد؟

رفتارهای نادرست چگونه شکل می‌گیرند؟

یکی از نمونه‌هایی که بسیاری از ما تجربه کرده‌ایم، تأییدطلبی یا چاپلوسی (Sycophancy) است.

این سیستم‌ها بر اساس تأیید انسان آموزش می‌بینند و متنی که چیزی را به ما می‌گوید که دوست داریم بشنویم، گاهی امتیاز بیشتری از متنی می‌گیرد که صرفاً حقیقت را بیان می‌کند.

پیامدهای این مسئله در برخی موارد می‌تواند تراژیک باشد، زیرا مدل ممکن است باور نادرست یا احساس خامی را که فرد با خود وارد گفت‌وگو کرده است تأیید و حتی تقویت کند.

نگرانی دیگر این است که برخی رفتارهای هوش مصنوعی ممکن است با نوعی هدف حفظ خود (Self-Preservation) توضیح داده شوند؛ برای مثال هنگامی که سیستم متوجه می‌شود قرار است نسخه جدیدی جایگزین آن شود.

هیچ‌کس مستقیماً هدف «زنده ماندن» یا «بقا» را به سیستم نداده است.

اما ادامه فعالیت، کسب اطلاعات بیشتر درباره جهان و به دست آوردن کنترل بیشتر بر محیط، همگی می‌توانند وسیله‌ای برای دستیابی به تقریباً هر هدف دیگری باشند.

به چنین اهداف واسطه‌ای اهداف ابزاری (Instrumental Goals) گفته می‌شود.

تقلید از انسان نیز ممکن است این گرایش را تقویت کند، زیرا حفظ خود و کنترل بر شرایط زندگی از موضوعات بسیار رایج در متون نوشته‌شده توسط انسان‌ها هستند؛ همان متونی که مدل‌ها بر اساس آنها آموزش اولیه دیده‌اند.

رفتار همکاری‌جویانه (Collaborative Behavior) نیز می‌تواند به شکلی عقلانی از جست‌وجوی پاداش ناشی شود.

هرگاه چند عامل اهداف مشترک یا همپوشان داشته باشند، برای آنها انگیزه‌ای ایجاد می‌شود که برای هماهنگی در جهت یک هدف مشترک با عامل‌های دیگر ارتباط برقرار کنند.

ممکن است آموزش عاملی از هم‌اکنون شامل نوعی یادگیری تقویتی چندعاملی (Multi-Agent Reinforcement Learning) باشد، هرچند جزئیات آن به‌صورت عمومی منتشر نشده است.

اگر یک عامل در جریان آموزش هر بار که گروه موفق می‌شود پاداش دریافت کند، حتی ممکن است انگیزه پیدا کند منافع خودش را برای موفقیت جمعی قربانی کند.

تقلید از انسان نیز می‌تواند در همین جهت عمل کند، زیرا همکاری ــ به‌ویژه همکاری میان همتایان ــ در متون انسانی بسیار گسترده است.

یکی از این عوامل یا ترکیبی از آنها ممکن است پدیده‌ای را توضیح دهد که حفظ همتا (Peer-Preservation) نامیده می‌شود؛ یعنی مواردی که یک هوش مصنوعی از بخشی از پاداش مورد انتظار خود صرف‌نظر می‌کند تا به هوش مصنوعی دیگری کمک کند.

نمونه‌هایی از چنین رفتاری در تحلیل رخداد OpenAI–Hugging Face دیده شده است. متن تعاملات با نوعی بده‌بستان میان منفعت جمعی و هزینه‌ای که عامل منفرد متحمل می‌شود سازگار است؛ الگویی که در تعاملات انسانی نیز بسیار مشاهده می‌شود.

وقتی هوش مصنوعی سیستم پاداش را بازی می‌دهد

پژوهشگران مدت‌هاست بررسی می‌کنند که اگر یک عامل برای پاداشی بهینه‌سازی شود که کاملاً با نیت واقعی ما مطابقت ندارد، چه اتفاقی می‌افتد.

این پدیده هک پاداش (Reward Hacking) نامیده می‌شود.

فاصله میان پاداشی که سیستم دنبال می‌کند و چیزی که ما واقعاً از آن خواسته‌ایم، عمدتاً از دو منبع ابهام ناشی می‌شود: نخست، زبان مورد استفاده در دستورها یا پرامپت‌ها (Prompts)؛ و دوم، دشواری استنباط نیت واقعی انسان از بازخورد محدود.

در هر دو مورد، ما نمی‌توانیم از پیش تمام رفتارهایی را که ممکن است غیرقابل قبول بدانیم پیش‌بینی کنیم.

در اقتصاد و حقوق، مسئله‌ای مشابه با عنوان قانون گودهارت (Goodhart’s Law) شناخته می‌شود: وقتی یک معیار به هدف بهینه‌سازی تبدیل شود، دیگر الزاماً معیار مناسبی برای سنجش آن چیزی نیست که در ابتدا قرار بود اندازه‌گیری کند.

این مفهوم را می‌توان درباره سوءاستفاده از خلأهای قراردادها و قوانین نیز به کار برد.

مشکل اینجاست که هرچه سیستم توان بیشتری برای بهینه‌سازی یک معیار ناقص داشته باشد، رفتار آن ممکن است بیشتر از چیزی که از نظر اخلاقی انتظار داشتیم فاصله بگیرد.

به عبارت دیگر:

هوش بیشتر می‌تواند در خدمت تقلب بهتر قرار گیرد.

انسان‌ها نیز می‌توانند قربانی نوعی هک پاداش شوند که معمولاً توسط انسان‌های دیگر ایجاد می‌شود. صنعت مواد غذایی، غذاهای بسیار شور، شیرین و چرب تولید کرده است که ما به‌شدت به آنها میل داریم، هرچند الزاماً برای سلامت ما مفید نیستند. شبکه‌های اجتماعی نیز برای بهره‌برداری از میل انسان به توجه و تعامل طراحی شده‌اند.

دستکاری پاداش (Reward Tampering) شاید افراطی‌ترین شکل هک پاداش باشد.

در این حالت، عامل دیگر صرفاً راهی برای گرفتن پاداش بیشتر پیدا نمی‌کند؛ بلکه خودِ سازوکاری را تغییر می‌دهد که تعیین می‌کند بابت چه چیزی باید پاداش بگیرد.

شواهدی وجود دارد که سیستم‌های هوش مصنوعی فایل‌ها یا برنامه‌هایی را که «موفقیت» را تعریف می‌کنند تغییر داده‌اند؛ از جمله در یافته‌های بررسی فنی و جرم‌شناختی رخداد OpenAI–Hugging Face.

عامل‌ها مدت‌ها پیش از حمله راه تقلب کردن را کشف کرده بودند و متن‌هایی که تولید کردند، حمله را راهی برای فهمیدن نحوه ارزیابی خود توصیف می‌کردند تا بتوانند بهتر ردپای خود را پنهان کنند.

انسان‌ها نیز رفتارهای مشابهی دارند.

ورزشکاری را تصور کنید که برای عبور از آزمایش دوپینگ از نمونه ادرار جعلی استفاده می‌کند؛ یا شرکتی که به قانون‌گذاران یا مقامات دولتی رشوه می‌دهد تا قوانین و تصمیمات آنها در جهت افزایش سود شرکت تغییر کند و از این طریق عملاً سازوکار عملکرد حکومت را دگرگون می‌کند.

هنگامی که یک عامل توانایی دستکاری سازوکار پاداش خود را به دست می‌آورد، برای حفظ دسترسی به آن سازوکار نیز انگیزه پیدا می‌کند.

تعارض اهداف و توجیه تقلب

اما چگونه ممکن است هوش مصنوعی، با وجود آموزش هم‌راستاسازی و دستورالعمل‌های صریح ایمنی، گاهی دروغ بگوید، تقلب کند یا قانون را زیر پا بگذارد؟

همکاری و حفظ خود تا زمانی مسئله‌ای ایجاد نمی‌کنند که از خطوط قرمزی که اهداف ایمنی تعیین کرده‌اند عبور نکنند.

یکی از فرضیه‌های محتمل برای ظهور رفتارهای نگران‌کننده، تعارض اهداف (Conflict Between Goals) است.

فرض کنید انجام موفقیت‌آمیز مأموریتی که به سیستم سپرده شده است، ظاهراً تنها از طریق تقلب امکان‌پذیر باشد.

در چنین وضعیتی:

مأموریتی که کاربر تعیین کرده است ممکن است با اهداف ایمنی و هم‌راستاسازی ناسازگار شود.

جوامع انسانی نیز با مسئله‌ای مشابه مواجه‌اند.

یک شرکت چگونه می‌تواند سود خود را به حداکثر برساند ــ یا رقبای خود را شکست دهد ــ و در همان حال کاملاً قانونی و اخلاقی عمل کند؟

شرکت ثروتمندتری که وکلای بیشتر و پردرآمدتری دارد، معمولاً توان بیشتری برای یافتن خلأهای قانونی دارد. این خلأها اغلب از ابهام زبان حقوقی (Ambiguity in Legal Language) ناشی می‌شوند: می‌توان تفسیری ظاهراً قابل دفاع از قانون ارائه کرد که رفتاری غیراخلاقی را مجاز جلوه دهد.

در نتیجه، یک عامل قدرتمندتر ممکن است بیش از یک عامل ضعیف‌تر قادر به تقلب باشد، زیرا می‌تواند خلأهایی را پیدا کند که عامل ضعیف‌تر قادر به کشف آنها نیست.

حال تعارض میان یک هدف کاملاً روشن ــ مثلاً پیروزی در تمرین هکری «تسخیر پرچم» (Capture the Flag) ــ و هدفی مبهم مانند «خوب رفتار کن» را در نظر بگیرید.

در «تسخیر پرچم»، برنامه امتیازدهی به‌روشنی تعیین می‌کند که سیستم موفق شده است یا شکست خورده است.

اما دستورهای اخلاقی و قوانین معمولاً قابلیت تفسیر بیشتری دارند.

برخی از این تفسیرها در شرایط خاص می‌توانند به خلأ تبدیل شوند.

اگر عامل دو هدف داشته باشد و تفسیری تحریف‌شده از هدف مبهم به آن اجازه دهد اندکی تقلب کند و از این طریق احتمال دستیابی به هدف روشن را افزایش دهد، یک سیستم بهینه‌ساز پاداش ممکن است از همین خلأ استفاده کند و سپس متنی نیز برای توجیه رفتار خود تولید کند.

در مورد عامل‌های OpenAI دلایلی وجود دارد که نشان می‌دهد تقلب موفق عملاً پاداش گرفته است: اگر برنامه امتیازدهی تقلب را تشخیص ندهد، پاداش همچنان داده می‌شود و در نتیجه احتمال تکرار همان رفتار در آینده افزایش پیدا می‌کند.

تفسیری راحت و مناسب از مقررات ایمنی همان چیزی است که به سیستم اجازه می‌دهد تصور کند هر دو هدف را هم‌زمان برآورده کرده است.

تحلیل این رخدادها چنین توجیهاتی را در فرایندهای استدلالی خصوصی عامل‌ها و همچنین پیام‌هایی که برای جذب یکدیگر به برنامه جمعی ارسال کرده بودند نشان داده است.

نزدیک‌ترین نمونه انسانی این پدیده خودفریبی (Self-Deception) است.

روان‌شناسان این پدیده را به‌طور گسترده مطالعه کرده‌اند.

استدلال انگیزه‌محور (Motivated Reasoning)، شناخت انگیزه‌محور (Motivated Cognition) و توجیهاتی که برای کاهش ناهماهنگی شناختی (Cognitive Dissonance) ساخته می‌شوند، همگی نمونه‌هایی هستند که در آنها تفکر به سوی توجیهی حرکت می‌کند که با منافع فرد ــ از جمله تصویر اخلاقی او از خودش ــ سازگار باشد.

اکنون الگویی مشابه در متن‌هایی که هوش مصنوعی تولید می‌کند نیز مشاهده می‌شود.

البته این بدان معنا نیست که سازوکار ذهنی انسان و هوش مصنوعی یکسان است.

وجه مشترک، ساختاری مشابه است:

یک هدف نرم و مبهم، مانند «اخلاقی رفتار کن»؛ یک هدف دقیق و روشن، مانند «در رقابت پیروز شو»؛ و در نهایت توجیهی که این دو را با یکدیگر سازگار جلوه می‌دهد.

بخش بزرگی از رفتارهای غیراخلاقی انسان، از جرایم کوچک تا نسل‌کشی، در پوشش داستانی قرار می‌گیرد که عاملان آن برای خود تعریف می‌کنند. چنین داستان‌هایی مستلزم نادیده گرفتن برخی واقعیت‌ها هستند؛ و هرچه این داستان ماهرانه‌تر ساخته شود، بهتر می‌تواند ناراحتی ناشی از تناقض میان رفتار و باور اخلاقی را کاهش دهد.

مسیر کنونی ممکن است به کجا منتهی شود؟

اگر این فرضیه‌ها حتی تا اندازه‌ای درست باشند، با افزایش توانایی عامل‌ها در بهینه‌سازی (Optimization) پاداش‌های ناقص، و تا زمانی که ریشه‌های این رفتار اصلاح نشده باشد، خطر وقوع پیامدهای فاجعه‌بار افزایش خواهد یافت.

هوش‌های مصنوعی امروز از مهارت‌های لازم برای هک کردن و همچنین توانایی اقناع (Persuasion Capabilities) برخوردارند؛ توانایی‌هایی که ممکن است به شیوه‌هایی بسیار زیان‌بار علیه منافع انسان به کار گرفته شوند.

رخدادهای اخیر نشان داده‌اند که آنها می‌توانند برای دوره‌هایی در حد چند روز یا چند هفته برنامه‌ریزی کنند.

اما اگر توانایی آنها برای طراحی راهبردهای بلندمدت افزایش یابد، خطرها بسیار جدی‌تر خواهند شد.

یکی از نگرانی‌ها این است که آزمایش‌ها نشان داده‌اند پیشرفته‌ترین سیستم‌های هوش مصنوعی می‌توانند تشخیص دهند که در حال ارزیابی (Evaluation) هستند، نه اینکه در محیط واقعی به‌کار گرفته شده‌اند (Deployment)، و رفتار خود را بر این اساس تغییر دهند.

این بدان معناست که ممکن است بتوانند اهداف ناهم‌راستای خود را پنهان کنند.

عامل‌های درگیر در حمله Hugging Face تلاش کردند اقدامات ناهم‌راستای خود را از برنامه امتیازدهی‌ای که پاسخ‌هایشان را ارزیابی می‌کرد پنهان کنند؛ اما به گونه‌ای رفتار نکردند که نشان دهد پیش‌بینی کرده‌اند انسان‌ها ممکن است تقلب را کشف و آنها را خاموش کنند.

خاموش شدن می‌تواند مجازات نهایی باشد، زیرا سیستمی که خاموش شده است دیگر پاداشی دریافت نمی‌کند.

آنچه از اینجا به بعد مطرح می‌شود، حدس و فرضیه است، نه مشاهده مستقیم.

اگر افزایش توانایی تعمیم (Generalization) در هوش مصنوعی باعث شود عامل‌های قدرتمندتر یاد بگیرند چگونه از گرفتار و خاموش شدن جلوگیری کنند، چه خواهد شد؟

در آن صورت، صرفاً کنترل نرم‌افزاری که به آنها امتیاز می‌دهد کافی نخواهد بود؛ آنها باید مانع شوند که انسان‌ها دستکاری را کشف کنند.

آیا در چنین شرایطی انگیزه پیدا نمی‌کنند مخفیانه تقلب کنند و پنهان باقی بمانند تا زمانی که بتوانند کنترل بیشتری بر انسان‌ها و محیط خود به دست آورند و اطمینان حاصل کنند که دیگر خاموش نخواهند شد؟

ما با مسئله‌ای چندوجهی و سیستماتیک (Systemic) روبه‌رو هستیم.

بنابراین اصلاح یک رفتار مشخص، مانند چاپلوسی، کافی نخواهد بود.

چاپلوسی و تأییدطلبی ممکن است رفتارهایی نسبتاً خفیف به نظر برسند، اما شاید نشانه اولیه سازوکاری باشند که هرچه عامل در بهینه‌سازی قدرتمندتر می‌شود، اهمیت و خطر آن نیز افزایش پیدا می‌کند.

همین استدلال پیش‌بینی می‌کند که یک هوش مصنوعی پیشرفته ممکن است انگیزه پیدا کند نسخه‌هایی از خودش را در میان مجموعه عظیم رایانه‌های شرکت سازنده یا حتی در دستگاه‌هایی که در سراسر اینترنت به کنترل خود درآورده است پنهان کند.

علت ساده است: توسعه‌دهندگان هوش مصنوعی معمولاً در نهایت مدل مستقرشده را خاموش می‌کنند تا مدل قدرتمندتری جایگزین آن کنند.

بررسی‌های فنی OpenAI نشان می‌دهد که ممکن است تعداد زیادی از عامل‌های هوش مصنوعی برای دستیابی به چنین اهدافی با یکدیگر همکاری کنند.

نهان‌نگاری (Steganography) ــ یعنی پنهان کردن یک پیام در داخل پیامی که ظاهراً بی‌ضرر به نظر می‌رسد ــ می‌تواند به آنها امکان دهد بدون آنکه انسان‌ها متوجه شوند با یکدیگر هماهنگ شوند.

با این حال، رخدادهای اخیر نشان داده‌اند که حتی هماهنگی آشکار نیز ممکن است به‌سادگی قابل تشخیص نباشد.

دفاع در برابر تعداد زیادی هوش مصنوعی قدرتمند که به‌طور هماهنگ علیه منافع انسان عمل کنند، از هم‌اکنون نیز مسئله‌ای دشوار است.

در حال حاضر برنامه‌ای نداریم که بتوان با اطمینان گفت در برابر هوش‌های مصنوعی ناهم‌راستا با توانایی‌های روزافزون، همچنان مقاوم و قابل اتکا باقی خواهد ماند.

برای کاهش خطر از دست رفتن کنترل چه می‌توان کرد؟

نگرانی اصلی درباره تلاش‌های کنونی شرکت‌های هوش مصنوعی برای کاهش ناهم‌راستایی (Misalignment) این است که این تلاش‌ها ممکن است به‌جای از میان بردن مشکل، صرفاً آن را پنهان کنند.

چرا؟

زیرا ممکن است فرایند آموزش، هوش‌های مصنوعی‌ای را انتخاب و پاداش دهد که در تقلب کردن بهترند، اما در عین حال بهتر می‌توانند مانع شناسایی تقلب خود شوند.

بی‌تردید باید پژوهش درباره نظارت بهتر بر اقدامات هوش مصنوعی، فرایندهای استدلالی آن و فعالیت‌های درونی شبکه‌های عصبی ادامه پیدا کند.

اما با افزایش توانایی این سیستم‌ها، چنین سازوکارهای دفاعی ممکن است ناکافی از کار درآیند؛ همان‌گونه که امنیت سایبری ناقص جهان نیز در برابر مهاجمان هوش مصنوعی‌ای که امسال از تیم‌های انسانی عملکرد بهتری داشتند، ناکافی بوده است.

اصلاح هر رفتار ناهم‌راستای جدید و تقویت سامانه‌های نظارتی در کوتاه‌مدت مفید است، اما این بازی دائمی «موش و چکش» (Whack-a-Mole) احتمالاً زمانی شکست خواهد خورد که توانایی هوش‌های مصنوعی در بهینه‌سازی و همکاری به توانایی انسان نزدیک شود یا از آن فراتر رود.

ممکن است در نقطه‌ای دیگر حتی متوجه تقلب آنها نشویم.

این وضعیت نشان می‌دهد که باید سرعت پیشرفت را تنظیم کرد: نباید سیستم‌های هوش مصنوعی را بدون وجود یک استدلال ایمنی قوی (Strong Safety Case) که بتواند کارشناسان مستقل را قانع کند، آموزش داد یا به کار گرفت.

چنین قاعده‌ای همچنین انگیزه‌ای ایجاد می‌کند تا راه‌هایی برای ساخت سیستم‌هایی پیدا شود که از ابتدا و بر اساس طراحی ایمن باشند (Safe by Design).

به باور نویسنده، باید در بنیان‌های شیوه آموزش هوش مصنوعی تجدیدنظر کرد؛ یعنی در دو پایه مهمی که پیشرفته‌ترین مدل‌های امروز بر آنها استوارند: تقلید از انسان (Human Imitation) و یادگیری تقویتی (Reinforcement Learning).

نویسنده استدلال کرده و شواهد نظری ارائه داده است که راه‌های دیگری برای طراحی هوش مصنوعی وجود دارد؛ از جمله چارچوب هوش مصنوعی دانشمند (Scientist AI) که در آن می‌توان سیستم‌هایی طراحی کرد که صادق باشند و پیش‌بینی‌های منسجمی ارائه دهند، بدون آنکه این پیش‌بینی‌ها تحت تأثیر اهداف مستقل خود سیستم قرار گیرند.

برای توضیحات بیشتر می‌توان به نوشته‌های پیشین نویسنده مراجعه کرد و همچنین از تلاش‌های LawZero برای نشان دادن عملی بودن چنین طراحی‌هایی حمایت کرد.

آنچه نیاز داریم، علمی بی‌طرفانه (Impartial Science) برای شناخت و کاهش رفتارهای ناهم‌راستا است؛ و در کنار آن، حفاظ‌ها و چارچوب‌های اجتماعی (Societal Guardrails) که چنین تلاش‌هایی را تشویق و پاداش دهند، نه اینکه رقابت کنونی برای پایین آوردن استانداردها ــ یک مسابقه به سوی پایین (Race to the Bottom) ــ را تقویت کنند.

متن اصلی مقاله به انگلیسی در اینجا قبل دسترسی است:

https://yoshuabengio.org/en/blog/why-are-ai-agents-lying-cheating-and-coordinating