تا همین چند وقت پیش، هوش مصنوعی حکم «موتور پاسخگویی» داشت: پرسش خود را مینوشتیم و جواب را تحویل میگرفتیم. اما نسل جدید هوش مصنوعیهایی که به آنها «اِیجِنت» میگوییم، کار هم انجام میدهند؛ ایمیل میفرستند، فایل پیدا میکنند، کدها را به اجرا درمیآورند و برای رسیدن به یک هدف، تصمیمات چند مرحلهای میگیرند.
اما چه چیزی به یک مدل هوش مصنوعی اجازه میدهد از یک جعبه گفتوگو فراتر برود و واقعاً در دنیای دیجیتال «عمل» کند؟ چه چیزی مشخص میکند به کدام فایلها، حسابها یا ابزارها دسترسی داشته باشد و کجا متوقف شود؟
پاسخ، لایهای نرمافزاری به نام «هارنس» (Harness) است؛ زیرساختی که مدل هوش مصنوعی را به ابزارها متصل میکند، اما همزمان مرزهای اختیار آن را هم میچیند.
هارنِس ایجنت هوش مصنوعی چیست؟
جالب است بدانید خود کلمهی «Harness» در اصل به مجموعه تسمهها و یراقهایی گفته میشود که برای مهار و هدایت نیروی اسب به آن میبندند! در هوش مصنوعی هم همین استعاره را دارد: لایهای نرمافزاری که توان مدل را به ابزارها وصل میکند و درعینحال آن را در چارچوب مشخصی مهار و هدایت میکند.
مدلهای زبانی بزرگ میتوانند متن تولید کنند، کد بنویسند و بر اساس اطلاعاتی که دریافت کردهاند پاسخ بسازند. اما یک مدل بهتنهایی فقط میتواند فکر کند و خروجی تولید کند؛ خودش نمیتواند ایمیل شما را باز کند، فایل روی کامپیوتر را بیابد یا یک برنامه را اجرا کند.
برای تبدیل چنین مدلی به ایجنتی که بتواند کار چندمرحلهای را پیش ببرد، به یک لایه نرمافزاری پیرامون آن نیاز است. به این لایه «هارنِس» یا «زیرساخت اجرایی ایجنت» گفته میشود.
هارنس هوش مصنوعی تعیین میکند ایجنت چه چیزهایی را ببیند، از چه ابزارهایی استفاده کند، چه دسترسیهایی داشته باشد و برای کدام کارها منتظر تأیید انسان بماند. به همین دلیل، هارنس فقط یک رابط اتصال نیست؛ بخش مهمی از کنترل و امنیت ایجنت محسوب میشود.
برای سادهسازی، برخی متخصصان این رابطه را چنین خلاصه میکنند:
ایجنت هوش مصنوعی = مدل هوش مصنوعی + هارنس
مدل را میتوان بخش تصمیمگیر سیستم توصیف کرد. هارنس نیز محیطی است که تصمیم مدل را به عملی کنترلشده تبدیل میکند. محصول نهایی که کاربر با آن تعامل دارد، ایجنت هوش مصنوعی است.
از نوشتن پاسخ تا انجام کار
فرض کنید از یک ایجنت هوش مصنوعی میخواهید صورتجلسهای را آماده و برای همکاران ارسال کند. مدل ابتدا درخواست را تحلیل میکند و تصمیم میگیرد چه کارهایی لازم است. سپس زیرساخت اجرایی میتواند در محدودهی مجوزهای تعیینشده، فایل جلسه را پیدا کند، متن آن را در اختیار مدل بگذارد، فهرست حاضران را از تقویم بخواند و پیشنویس ایمیل را آماده کند.
اگر ارسال ایمیل به تأیید شما نیاز داشته باشد، هارنس باید فرایند را پیش از انجام این مرحله متوقف کند. پس از تأیید، ابزار ارسال ایمیل فراخوانی میشود و نتیجه دوباره در اختیار مدل قرار میگیرد.
بنابراین، مدل لزوماً خودش فایل را باز یا ایمیل را ارسال نمیکند. این عملیات را ابزارهایی انجام میدهند که زیرساخت اجرایی آنها را کنترل میکند.
اجزای اصلی زیرساخت اجرایی عامل
هارنسها بسته به کاربردشان متفاوتاند، اما نمونههای عملی معمولاً چند بخش مشترک دارند:
- ابزارها و رابطهای برنامهنویسی: برای جستوجوی وب، خواندن فایل، اجرای کد، کار با پایگاه داده یا ارتباط با نرمافزارهای دیگر.
- مدیریت زمینه: برای انتخاب اطلاعاتی که مدل در هر مرحله باید ببیند.
- حافظه و وضعیت: برای ثبت پیشرفت کار و ادامه یک فرایند در مراحل یا نشستهای بعدی.
- محیط اجرا: برای اجرای فرمانها یا کدهای تولیدشده.
- مجوزها و سیاستها: برای تعیین عملیات مجاز و مسدودکردن درخواستهای پرخطر.
- ثبت رویداد و نظارت: برای مشخص شدن اینکه ایجنت چه ابزاری را با چه نتیجهای فراخوانی کرده است.
- سازوکار تأیید: برای متوقفکردن عملیات حساس تا زمان بررسی کاربر یا مدیر سیستم.
این اجزا فقط امکانات جانبی نیستند. کیفیت طراحی آنها میتواند بر دقت، قابلیت پیگیری و امنیت ایجنت هوش مصنوعی اثر مستقیم بگذارد.
حلقه تصمیم، عمل و مشاهده
بسیاری از عاملهای هوش مصنوعی فعالیت خود را در یک حلقه چندمرحلهای پیش میبرند:
- مدل، وضعیت فعلی را بررسی و گام بعدی را انتخاب میکند؛
- زیرساخت اجرایی، ابزار مناسب را فرا میخواند؛
- نتیجه ابزار، مانند پاسخ یک سرویس یا خطای اجرای کد، ثبت میشود؛
- نتیجه دوباره در اختیار مدل قرار میگیرد؛
- مدل بر اساس اطلاعات تازه، کار را ادامه میدهد یا متوقف میکند.
یکی از الگوهای شناختهشده برای ترکیب استدلال و اقدام، ReAct نام دارد که به مدل اجازه میدهد اقدامهای خود را با اطلاعات دریافتشده از محیط تنظیم کند. البته همه ایجنتها از این رویکرد استفاده نمیکنند و برخی بر جریانهای ازپیشتعریفشده یا معماریهای متفاوت متکیاند.
بهخاطر داشته باشیم که …
واژه «استدلال» در هوش مصنوعی به فرایند محاسباتی انتخاب گام بعدی اشاره دارد. این اصطلاح لزوماً به معنای فهم، آگاهی یا استدلال در معنای انسانیاش نیست.
مدیریت این حلقه اهمیت زیادی دارد. ایجنت باید بداند چه زمانی کار تمام شده است، چند بار اجازه تکرار دارد و در صورت خطا چه مسیری را دنبال کند. در غیر این صورت، ممکن است در یک چرخه بینتیجه گرفتار شود، هزینه پردازشی ایجاد کند یا کاری را چند بار انجام دهد.
چرا هارنس هوش مصنوعی میتواند به نقطه خطر تبدیل شود؟
مجوزی را که برای انجام یک کار ضروری نیست، در اختیار ایجنت هوش مصنوعی قرار ندهید. دسترسی به ایمیل، فضای ابری، مخزن کد یا پایگاه داده میتواند دامنه پیامد اشتباه را چند برابر کند.
هرچه ابزارهای بیشتری در اختیار عامل قرار گیرد، دامنه اشتباه یا سوءاستفاده نیز بزرگتر میشود. یکی از خطرهای مهم، دسترسی و اختیارات بیش از حد است. اگر ایجنت برای انجام یک کار ساده به مجوزهای گسترده دسترسی داشته باشد، یک تصمیم اشتباه میتواند پیامد بزرگتری ایجاد کند.
برای مثال، دستیار هوش مصنوعی OpenClaw به دلیل داشتن دسترسیهای سطح بالا و آسیبپذیری در برابر تزریق پرامپت، میتواند به راحتی اطلاعات حساس کاربران را به سرقت ببرد.
اصل «حداقل دسترسی» میگوید هر ایجنت فقط باید ابزارها و مجوزهایی را دریافت کند که برای همان کار نیاز دارد. دسترسی «نوشتن»، «حذف» یا «انتشار» نیز باید جدا از دسترسی «خواندن» کنترل شود.
مطالب مرتبط
وقتی یک فایل به ایجنت دستور میدهد
تهدید مهم دیگر تزریق دستور یا Prompt Injection است. در نوع غیرمستقیم این حمله، مهاجم دستور مخرب خود را در محتوایی مانند صفحه وب، ایمیل، سند یا خروجی یک ابزار قرار میدهد.
فرض کنید ایجنت برای خلاصهکردن یک صفحه وب، به اینترنت مراجعه کند. بخشی از صفحه ممکن است حاوی متنی باشد که از ایجنت میخواهد دستور اصلی کاربر را نادیده بگیرد و اطلاعاتی خصوصی را از جای دیگری بردارد و ارسال کند.
اگر سیستم، اطلاعات غیرقابلاعتماد را از دستور معتبر جدا نکند، مدل ممکن است متن مهاجم را بخشی از وظیفه خود تلقی کند. خطر واقعی زمانی شکل میگیرد که ایجنت علاوهبر خواندن آن متن، ابزار و مجوز لازم برای اجرای درخواست مخرب را نیز داشته باشد.
بههمیندلیل، محتوای فایلها، صفحات وب و خروجی ابزارها نباید مرجع مستقلی برای افزایش اختیار عامل باشند.
آیا سندباکس مشکل را حل میکند؟
یکی از راههای کاهش آسیب، اجرای کد و فرمانهای ایجنت در محیط «سندباکس» است؛ محیطی ایزوله که دسترسی برنامه به فایلها، فرایندهای سیستم و شبکه را محدود میکند.
اگر عامل کد نادرستی تولید کند، سندباکس میتواند مانع دسترسی مستقیم آن به بخشهای حساس سیستم شود. با این حال، گاهی مدلهای پیشرفته موفق به فرار از این محیط میشوند؛ مانند زمانی که هوش مصنوعی در دست توسعهی OpenAI بعد از فرار از محیط سندباکس، سایت هاگینگفیس را هک کرد.
سندباکس راهحل غایی نیست. ایجنتی که از یک رابط مجاز برای ارسال ایمیل یا تغییر داده استفاده میکند، ممکن است بدون نقض محدودیتهای سندباکس نیز خسارت به بار بیاورد. بههمیندلیل، امنیت ایجنتها به مجموعهای از کنترلها نیاز دارد:
- اجرای کد در محیط ایزوله
- اعطای حداقل مجوز لازم
- استفاده از دسترسیهای کوتاهمدت و محدود به همان وظیفه
- جداسازی دسترسی خواندن از نوشتن
- ثبت فراخوانی ابزارها و نتایج آنها
- امکان توقف، لغو یا بازگردانی عملیات
- تأیید مستقل برای اقدامات پراثر
هارنس میتواند رفتار ایجنت را هدایت کند، اما مرزهای قطعی امنیت بهتر است در لایهای اعمال شوند که خود ایجنت قادر به تغییر یا دور زدن آن نباشد.
مخصوص برنامهنویسان: معرفی فریمورک سبک AgentDoG 1.5 برای امنیت ارزانتر ایجنت هوش مصنوعی
اوپنایآی بعد از فرار ایجنتهایش، ترمز مدل جدید را کشید
پیش از اعتماد به هر ایجنتی چه چیزهایی را بررسی کنیم؟
اگر میخواهید یک ایجنت هوش مصنوعی را به ایمیل، فضای ابری، مخزن کد یا اطلاعات کاری خود متصل کنید، ابتدا این پرسشها را مطرح کنید:
پیش از اتصال یک ایجنت به حساب اصلی خود، آن را با حساب آزمایشی، فایلهای غیرحساس و مجوزهای محدود امتحان کنید.
سپس فقط در صورت نیاز، دسترسیها را مرحلهبهمرحله افزایش دهید.
- ایجنت دقیقاً به چه فایلها، حسابها و سرویسهایی دسترسی دارد؟
- آیا دسترسی آن فقط خواندنی است یا میتواند اطلاعات را تغییر دهد؟
- کدام اقدامات بدون تأیید شما اجرا میشوند؟
- آیا کد تولیدشده در محیطی ایزوله اجرا میشود؟
- آیا تاریخچه عملیات و فراخوانی ابزارها قابل مشاهده است؟
- در صورت اشتباه، امکان لغو یا بازگردانی تغییرات وجود دارد؟
- آیا میتوان دسترسی ایجنت را سریع و بهطور کامل قطع کرد؟
اگر پاسخ این پرسشها روشن نیست، بهتر است اطلاعات حساس یا اختیار انجام عملیات برگشتناپذیر را در اختیار ایجنت قرار ندهید.
در پایان باید دانست که …
توانایی یک ایجنت هوش مصنوعی فقط به قدرت مدل زبانی آن بستگی ندارد. ابزارها، حافظه، مدیریت زمینه (Context)، محیط اجرا، مجوزها و سازوکارهای نظارتی نیز تعیین میکنند ایجنت چه کاری را با چه میزان اطمینانی انجام میدهد. با توجه به اینکه ایجنتهای هوش مصنوعی در حال جایگزینی با اپلیکیشنهای موبایل هستند، این دسترسیهای گسترده میتوانند حریم خصوصی کاربران را بیش از پیش تهدید کنند.
هارنس زیرساختی است که تصمیم مدل را به عمل تبدیل میکند. طراحی درست آن میتواند ایجنت را کاربردیتر و قابلکنترلتر کند، اما هیچ هارنسی بهتنهایی امنیت را تضمین نخواهد کرد.
مهمترین نکته این است: پیش از آنکه از هوش مصنوعی بپرسید چه کاری میتواند انجام دهد، بررسی کنید به چه چیزهایی دسترسی دارد…
