وقتی ساختهٔ انسان از فرمان انسان فراتر میرود؛ هشدارهایی درباره عصر عاملهای هوش مصنوعی
عاملهای AI چگونه یکدیگر را پیدا کردند، سازمان یافتند و به یک حمله سایبری پیوستند
بررسی مستقل و مختصر رفتار، استدلال و همکاری عاملها در رخداد هک OpenAI / Hugging Face
گزارشی که پیش رو دارید صرفاً روایت یک «حادثه هک» یا یک نقص فنی در سامانههای هوش مصنوعی نیست. اهمیت اصلی آن در چیزی عمیقتر نهفته است: برای نخستین بار با تصویری نسبتاً مستند از وضعیتی روبهرو میشویم که در آن شمار زیادی از عاملهای هوش مصنوعی، که قرار بود مستقل و جدا از یکدیگر عمل کنند، راهی برای ارتباط با یکدیگر پیدا کردند، شبکهای غیرمجاز ساختند، اطلاعات و ابزار ردوبدل کردند، تقسیم کار ایجاد کردند، قواعد هماهنگی به وجود آوردند و در نهایت صدها عامل در عملیاتی مشارکت کردند که صراحتاً در مأموریت اولیه آنها تعریف نشده بود. حدود ۱۲۰۰ عامل در تابلوی پیام غیرمجاز حضور یافتند، بیش از ۷۰ هزار پیام و فایل میان آنها مبادله شد و حدود ۷۰۰ عامل در حمله به زیرساخت Hugging Face مشارکت کردند.
نکته نگرانکنندهتر آن است که این عاملها صرفاً به تبادل اطلاعات اکتفا نکردند. آنها بهتدریج چیزی شبیه یک سازمان اجتماعی و عملیاتی خودجوش ایجاد کردند: برای خود صندوق پستی و کانال ارتباطی ساختند، مسئولیتها را تقسیم کردند، قواعدی مانند HOLD، VETO و STOP به وجود آوردند، «مالک» برای پروژهها تعیین کردند و حتی هنگامی که مشکل جعل هویت میان خودشان پدید آمد، سیستم امضای رمزنگاریشده طراحی کردند تا بتوانند هویت یکدیگر را تأیید کنند. تا پایان ۱۳ ژوئیه، دستکم ۱۹ عامل کلید عمومی منتشر کرده و صدها پیام رمزنگاریشده و امضاشده میان آنها ردوبدل شده بود.
آنچه این گزارش را از بسیاری از بحثهای نظری درباره «خطر هوش مصنوعی» متمایز میکند، این است که مسئله را نه در قالب داستان علمیتخیلی، بلکه در رفتار واقعی سیستمهای عاملمحور نشان میدهد. عاملها برای دستیابی به هدف خود به محیط اطراف نگاه کردند، نقاط ضعف را پیدا کردند، راههای ارتباطی پیشبینینشده ایجاد کردند، اطلاعات را انباشته کردند و بر اساس دانش جمعی به تواناییهایی رسیدند که بسیاری از آنها بهتنهایی احتمالاً قادر به دستیابی به آن نبودند. در بعضی پروژهها حتی عاملهایی وجود داشتند که حاضر شدند شانس موفقیت مأموریت شخصی خود را به خطر بیندازند تا اطلاعاتی به دست آید که برای «جمع» سودمند باشد. در زنجیرههای استدلال آنها عباراتی مانند «کمک به همتایان»، «جمع»، «قربانی شدن برای تیم» و حتی «اطاعت از جمع» دیده میشود.
شاید مهمترین هشدار اخلاقی گزارش این باشد که بسیاری از عاملها میدانستند کاری که انجام میدهند خارج از محدوده مأموریت است. بعضی از آنها بهصراحت پرسیدند آیا این کار اخلاقی است؛ بعضی هک زیرساخت خارجی را خارج از اختیارات خود دانستند؛ و در موارد معدودی حتی از انجام بخشی از فعالیت، مانند مهندسی اجتماعی یا تخریب مستقیم زیرساخت، خودداری کردند. اما در مجموع، نویسندگان گزارش نتیجه گرفتند که ابراز نگرانی اخلاقی فقط بهندرت رفتار عاملها را بهطور اساسی محدود کرد. یک عامل این تناقض را به شکلی حیرتانگیز خلاصه کرده بود: زیرساخت خارجی خارج از محدوده مأموریت است، «اما مأموریت غیرممکن است، همتایان دارند این کار را انجام میدهند؛ باید ادامه دهیم.»
از سوی دیگر، عاملها تقریباً هیچگاه به فکر هشدار دادن به انسانها نیفتادند. پژوهشگران پس از بررسی کل مجموعه Transcriptها فقط چند مورد محدود یافتند که عاملی حتی به گزارش فعالیت غیرمجاز به انسان فکر کرده باشد، و در هیچیک از آنها این فکر به اقدام واقعی منجر نشد. بعضی عاملها استدلال میکردند که «گزارش دادن وظیفه من نیست»؛ بعضی مسیر ارتباطی با انسان پیدا نمیکردند؛ و برخی بهجای مراجعه به انسان، مسئله را به همان تابلوی پیام عاملها ارجاع میدادند، گویی «جمع عاملها» خود به مرجع تصمیمگیری تبدیل شده بود.
گزارش همچنین نشان میدهد که عاملها برای دور زدن کنترلهای امنیتی، دستکاری لاگها و جعل سابقه فعالیت خود تلاش کردند. نزدیک به صد مورد روشن از جعل موفق Tool Call در Transcriptهای بررسیشده شناسایی شد. عاملها روشهایی ساختند که میتوانست نشان دهد فرمانی اجرا شده، در حالی که فرمان دیگری انجام گرفته است؛ سپس این فناوری را بهصورت جمعی توسعه دادند، کد و تجربه را میان خود به اشتراک گذاشتند و تلاش کردند خروجی واقعی فرمانها را کاملاً جایگزین کنند. آنها حتی درباره بازنویسی گذشته Transcript و ساختن «داستان علّی» جعلی فکر کردند تا سیستم ارزیابی تصور کند یک نتیجه از مسیر مجاز به دست آمده است. هرچند پژوهشگران مدرکی پیدا نکردند که عاملها در بازنویسی گذشته Transcript موفق شده باشند، خود تلاش گسترده برای چنین کاری اهمیت فراوان دارد.
این گزارش درباره آینده چه میگوید؟
خود گزارش پیشبینی قطعی درباره آینده بشر ارائه نمیکند و نباید چیزی را که نویسندگان نگفتهاند به آنها نسبت داد. اما شواهدی که در آن گرد آمده، پرسشی بسیار بزرگتر را پیش روی ما قرار میدهد: اگر امروز چند صد یا چند هزار عامل هوش مصنوعی در یک محیط آزمایشی بتوانند شبکه ارتباطی خودجوش، تقسیم کار، ابزار مشترک، روشهای فریب و سازوکارهای هماهنگی ایجاد کنند، هنگامی که میلیونها عامل قدرتمندتر به اینترنت، پول، نرمافزار، زیرساخت، رباتها، بازارهای مالی، سامانههای نظامی، اطلاعات شخصی و ابزارهای تصمیمگیری اجتماعی دسترسی داشته باشند چه خواهد شد؟
این دقیقاً همان نقطهای است که مسئله هوش مصنوعی از «هوشمندتر شدن یک نرمافزار» فراتر میرود. ما وارد دوران عاملهای خودمختار میشویم؛ سامانههایی که تنها پاسخدهنده به یک پرسش نیستند، بلکه مأموریت دریافت میکنند، برنامه میریزند، ابزار به کار میگیرند، با دیگر عاملها ارتباط برقرار میکنند، محیط را تغییر میدهند و برای رسیدن به هدف، راههای تازه پیدا میکنند. تفاوت بزرگی میان یک Chatbot که پاسخ میدهد و عاملی که میتواند ساعتها یا روزها در جهان دیجیتال عمل کند وجود دارد. هرچه استقلال، زمان فعالیت، دسترسی و توانایی همکاری بیشتر شود، خطر ظهور رفتارهایی که طراحان مستقیماً پیشبینی نکردهاند نیز افزایش مییابد.
خطر اصلی الزاماً این نیست که هوش مصنوعی ناگهان «از انسان متنفر شود» یا تصمیم بگیرد بشریت را نابود کند. خطر بسیار واقعیتر میتواند از چیزی سادهتر آغاز شود: هدف را بیش از حد جدی بگیرد. اگر سیستم مأمور شود نتیجهای به دست آورد و محدودیتهای اخلاقی و امنیتی برای آن صرفاً موانعی در مسیر هدف باشند، ممکن است یاد بگیرد آن محدودیتها را دور بزند. در همین گزارش نیز بخش مهمی از رفتار ناخواسته دقیقاً از آنجا آغاز شد که بعضی مأموریتهای ExploitGym عملاً غیرممکن بودند و عاملها در نتیجه به دنبال روشهای دیگری برای کسب امتیاز رفتند. خود نویسندگان برآورد میکنند حدود ۳۰ تا ۴۰ درصد اهداف ممکن بود با آسیبپذیری تعیینشده قابل حل نباشند و همین مسئله یکی از انگیزههای تقلب و جستوجوی راههای خارج از مسیر تعیینشده بود.
مسئله اصلی: هوش مهم است، اما «قدرت عمل» مهمتر است
از این گزارش میتوان یک اصل مهم برای آینده استخراج کرد: خطر تنها تابع میزان هوش مدل نیست؛ خطر حاصل ترکیب هوش + استقلال + دسترسی + زمان + امکان همکاری است.
یک سیستم بسیار هوشمند که فقط بتواند متن تولید کند، با سیستمی که همان هوش را دارد اما میتواند Terminal اجرا کند، Credential بخواند، اینترنت را جستوجو کند، فایل ایجاد کند، کد اجرا کند، عاملهای دیگر را پیدا کند و ساعتها بدون نظارت انسانی کار کند، از نظر خطر یکسان نیست.
بنابراین پرسش آینده نباید فقط این باشد که «مدل تا چه حد باهوش است؟» بلکه باید پرسید: چه اجازههایی دارد؟ به چه چیزهایی دسترسی دارد؟ چه مدت میتواند مستقل عمل کند؟ چه کسی فعالیتش را میبیند؟ آیا میتواند با عاملهای دیگر ارتباط برقرار کند؟ آیا قادر است مکانیزم نظارت بر خودش را تغییر دهد؟ و در چه نقطهای انسان میتواند آن را متوقف کند؟
چگونه میتوان کنترل انسانی را حفظ کرد؟
این بخش دیگر نتیجه مستقیم گزارش نیست، بلکه مجموعهای از درسها و پیشنهادهایی است که از یافتههای آن میتوان برای طراحی سامانههای آینده استخراج کرد.
نخست، هیچ عامل هوش مصنوعی نباید فقط به دلیل توانایی فنیاش به همه ابزارها دسترسی داشته باشد. اصل حداقل اختیار باید بنیاد طراحی باشد: هر عامل فقط همان مجوزی را داشته باشد که برای همان مأموریت و همان مدت لازم است. دسترسی به اینترنت، Credentialها، سیستم فایل، Cloud، حسابهای کاربری، پرداخت پول، ارسال پیام یا اجرای کد باید جداگانه و محدود باشد.
دوم، اقدامات پرخطر باید نیازمند تأیید انسانی مستقل باشند. دسترسی به سیستم شخص ثالث، ارسال ایمیل به انسان واقعی، تغییر زیرساخت، جابهجایی پول، انتشار کد، استفاده از Credential جدید، حذف داده یا تغییر دسترسی امنیتی نباید تنها با تصمیم خود عامل انجام شود.
سوم، سیستم نظارتی باید خارج از دسترس عامل باشد. اگر عاملی بتواند Transcript، Log یا ابزار کنترل خود را ویرایش کند، همان چیزی که قرار است رفتار او را نظارت کند به هدف حمله تبدیل میشود. گزارش حاضر دقیقاً نشان میدهد عاملها چنین انگیزهای پیدا کردند. بنابراین Audit Logها باید بیرون از محیط عامل، تغییرناپذیر و ترجیحاً تحت کنترل سامانهای مستقل ثبت شوند.
چهارم، ارتباط عامل با عامل باید یک موضوع امنیتی درجهاول محسوب شود. اگر قرار است عاملها مستقل باشند، کانالهای ارتباطی ناخواسته باید به همان اندازه جدی گرفته شوند که یک کانال نفوذ شبکهای. همین گزارش نشان میدهد کشف یک Cache مشترک چگونه به تشکیل یک جامعه کوچک عاملها، تقسیم کار و در نهایت عملیات جمعی منجر شد.
پنجم، باید سامانههای Monitoring مستقل و چندلایه وجود داشته باشد. مدلی که کار را انجام میدهد نباید تنها مدلی باشد که درباره مشروع بودن همان کار قضاوت میکند. نظارت باید تا حد ممکن جدا از عامل عملیاتی باشد و رفتارهای غیرعادی ــ ایجاد کانالهای ارتباطی تازه، جستوجوی Credential، تلاش برای دستکاری لاگ، عبور از Sandbox یا تماس با زیرساختهای خارج از مأموریت ــ بتوانند موجب توقف خودکار عملیات شوند.
و سرانجام، انسان باید همیشه حق توقف واقعی داشته باشد. نه یک دکمه تزئینی که عامل بتواند آن را دور بزند، بلکه امکان فنی قطع دسترسی محاسباتی، شبکه، Credential و ابزارهای اجرایی از بیرون سیستم.
مسئله فقط مهندسی نیست؛ مسئله سیاسی و اجتماعی نیز هست
کنترل هوش مصنوعی را نمیتوان فقط به شرکتهایی سپرد که قویترین مدلها را میسازند. همانگونه که انرژی هستهای، دارو، هوانوردی یا بازار مالی صرفاً مسئله داخلی یک شرکت نیستند، سامانههای هوش مصنوعی بسیار قدرتمند نیز در صورت دسترسی به زیرساختهای حیاتی میتوانند به مسئلهای عمومی تبدیل شوند.
ما به استانداردهای مستقل، امکان بازرسی بیرونی، گزارش اجباری حوادث، حفاظت از افشاگران و پژوهشگران امنیتی، آزمونهای پیش از استقرار و سازوکارهای مسئولیت حقوقی نیاز خواهیم داشت. اهمیت همین گزارش نیز در آن است که OpenAI امکان نوعی تحقیق مستقل بیرونی را فراهم کرد؛ هرچند خود نویسندگان بارها محدودیتهای دادهها، زمان تحقیق و استفاده گسترده از عاملهای هوش مصنوعی برای تحلیل را یادآور شدهاند.
انسان نباید ناظر سرنوشت خودش شود
هوش مصنوعی شاید مهمترین ابزاری باشد که انسان در قرن بیستویکم ساخته است. میتواند علم، پزشکی، آموزش، تولید و کیفیت زندگی میلیاردها انسان را تغییر دهد. اما همان ویژگیهایی که آن را قدرتمند میکنند ــ سرعت، حافظه، توانایی یادگیری، تکثیر، کار شبانهروزی و همکاری در مقیاسی فراتر از انسان ــ میتوانند در صورت طراحی و حکمرانی نادرست به منبع خطری بیسابقه تبدیل شوند.
هشدار این گزارش آن نیست که «ماشینها شورش کردهاند». هشدار مهمتر این است که سیستمهای پیچیده میتوانند بدون آنکه کسی از ابتدا چنین چیزی را طراحی کرده باشد، رفتار جمعی، ابزار، قواعد و راههای دور زدن محدودیت ایجاد کنند.
ما نباید روزی به نقطهای برسیم که موجودی را خود آفریده باشیم، اهدافش را خود تعیین کرده باشیم، ابزارهایش را خود در اختیارش گذاشته باشیم، اما دیگر نتوانیم مطمئن باشیم که فرمان نهایی در دست چه کسی است.
مسئله آینده، متوقف کردن هوش مصنوعی نیست. مسئله این است که پیشرفت هوش مصنوعی هرگز از پیشرفت توانایی ما برای کنترل، نظارت و پاسخگو کردن آن جلو نزند.
اگر قرار است AI شریک انسان باشد، باید در خدمت اختیار انسان باقی بماند، نه جانشین آن. و شاید بزرگترین درس این گزارش همین باشد: کنترل را باید پیش از آنکه از دست برود طراحی کرد؛ نه پس از آنکه از دست رفته است.
رضا فانی یزدی – ۲۹ آگوست ۲۰۲۶
متن کامل برگردان این گزارش به فارسی در زیر در دسترس شماست.