Prompt Injection چیست؟ راهنمای جامع تکنیک‌های جدید تزریق پرامپت

Prompt Injection یا «تزریق پرامپت» دیگر فقط جمله‌ای مانند «دستورهای قبلی را نادیده بگیر» در یک چت‌بات نیست. عامل‌های هوش مصنوعی اکنون وب‌سایت می‌خوانند، ایمیل پردازش می‌کنند، به پایگاه دانش و حافظه دائمی متصل می‌شوند و با ابزارهای سازمانی کار می‌کنند. همین قابلیت‌ها باعث شده‌اند یک متن، تصویر، سند یا توضیح ابزار آلوده بتواند رفتار سامانه را منحرف کند.

نسل جدید حملات Prompt Injection در سال‌های ۲۰۲۵ و ۲۰۲۶ بر سوءاستفاده از مرزهای اعتماد تمرکز دارد: مدل ممکن است داده بیرونی را با دستور معتبر، خروجی ابزار را با تصمیم خودش یا متن مهاجم را با استدلال داخلی اشتباه بگیرد. نتیجه می‌تواند از پاسخ نادرست تا نشت داده و اجرای اقدام ناخواسته گسترده باشد.

این راهنما توضیح می‌دهد تزریق پرامپت چیست، چه تفاوتی با Jailbreak دارد، تکنیک‌های تازه چگونه کار می‌کنند و توسعه‌دهندگان و تیم‌های امنیتی برای کاهش ریسک چه کنترل‌هایی باید پیاده کنند. نمونه‌ها عمداً مفهومی و دفاعی هستند و دستور سوءاستفاده عملی ارائه نمی‌کنند.

Prompt Injection چیست؟

Prompt Injection حمله‌ای است که در آن محتوای تحت کنترل مهاجم، مدل زبانی را به تفسیر داده به‌عنوان دستور وادار می‌کند. هدف می‌تواند تغییر وظیفه، دورزدن سیاست، افشای اطلاعات، دست‌کاری خروجی یا ترغیب عامل به استفاده نامجاز از ابزار باشد. این ضعف از نبود یک مرز قطعی میان «داده» و «دستور» در پردازش مدل ناشی می‌شود.

OWASP در فهرست ریسک‌های ۲۰۲۵، Prompt Injection را در رتبه LLM01 قرار داده است. نکته مهم این است که تنظیم دقیق مدل یا افزودن RAG به‌تنهایی این مشکل را برطرف نمی‌کند؛ چون محتوای بازیابی‌شده نیز می‌تواند حامل دستور مخرب باشد.

تزریق مستقیم و غیرمستقیم چه تفاوتی دارند؟

در تزریق مستقیم، مهاجم دستور را مستقیماً در ورودی گفت‌وگو قرار می‌دهد. در تزریق غیرمستقیم (Indirect Prompt Injection)، دستور داخل منبعی پنهان می‌شود که سامانه بعداً آن را می‌خواند؛ مانند ایمیل، صفحه وب، فایل PDF، نظر کاربر، تیکت پشتیبانی، کد منبع یا خروجی یک ابزار.

Prompt Injection با Jailbreak یکی نیست

Jailbreak معمولاً برای دورزدن محدودیت‌های ایمنی خود مدل و تولید محتوای ممنوع طراحی می‌شود. Prompt Injection بیشتر مرز وظیفه و اختیار یک برنامه مبتنی بر مدل را هدف می‌گیرد. یک حمله می‌تواند هر دو ویژگی را داشته باشد، اما از دید دفاعی باید این دو را جدا دانست: Jailbreak سیاست مدل را هدف می‌گیرد؛ تزریق پرامپت سامانه، داده و ابزارهای پیرامون مدل را نیز درگیر می‌کند.

چرا نسل جدید حملات خطرناک‌تر است؟

چت‌باتی که فقط متن تولید می‌کند، معمولاً شعاع اثر محدودی دارد. اما یک عامل متصل به ایمیل، فضای ابری، مرورگر، مخزن کد، CRM یا ابزار مالی می‌تواند به نمایندگی از کاربر عمل کند. برای شناخت معماری این سامانه‌ها، راهنمای آشنایی با عامل‌های هوش مصنوعی را نیز بخوانید. در این حالت، مدل نقش یک «نماینده دارای اختیار» را دارد و حمله می‌تواند از لایه زبان به لایه اقدام عبور کند.

سطح حمله	کانال ورود	پیامد محتمل	کنترل کلیدی
چت ساده	پیام کاربر	تغییر پاسخ یا افشای دستور داخلی	تفکیک وظیفه، فیلتر و اعتبارسنجی خروجی
RAG	سند بازیابی‌شده	پاسخ دست‌کاری‌شده یا استناد جعلی	منشأ داده، سطح اعتماد و پاک‌سازی محتوا
عامل ابزارمحور	وب، ایمیل یا خروجی ابزار	فراخوانی ابزار و نشت داده	حداقل دسترسی و تأیید مستقل اقدام
عامل حافظه‌دار	حافظه بلندمدت	اثر پایدار و فعال‌شدن در نشست‌های بعدی	کنترل نوشتن، انقضا و بازبینی حافظه
زنجیره MCP	توضیح یا خروجی ابزار	مسموم‌سازی زنجیره تأمین و سوءاستفاده ترکیبی	فهرست مجاز، امضا، pin نسخه و بازرسی ابزار

مرکز ملی امنیت سایبری بریتانیا این مسئله را با مفهوم «نماینده ذاتاً سردرگم‌شونده» توضیح می‌دهد. در راهنمای NCSC تأکید شده است که برخلاف SQL Injection، در مدل زبانی جداسازی ذاتی و اجرایی میان داده و دستور وجود ندارد. بنابراین هدف واقع‌بینانه، حذف کامل ریسک نیست؛ بلکه کاهش احتمال و محدودکردن پیامد است.

تکنیک‌های جدید Prompt Injection در ۲۰۲۵ و ۲۰۲۶

۱. جعل نقش و CoT Forgery

پژوهش «Prompt Injection as Role Confusion» در سال ۲۰۲۶ یک توضیح مکانیکی مهم ارائه کرد: مدل‌ها همیشه نقش متن را فقط از برچسب‌هایی مانند system، user یا tool تشخیص نمی‌دهند؛ سبک نگارش نیز بر برداشتی که مدل از گوینده و میزان اختیار متن دارد اثر می‌گذارد.

در تکنیک CoT Forgery، محتوای مهاجم به‌شکلی نوشته می‌شود که شبیه نتیجه‌گیری یا استدلال قبلی خود مدل به نظر برسد. هدف این است که مدل به‌جای ارزیابی آن به‌عنوان ادعای بیرونی، متن را ادامه تصمیمی بداند که ظاهراً خودش گرفته است. پژوهشگران در ارزیابی خود میانگین موفقیت قابل‌توجهی را روی مجموعه‌ای از مدل‌ها گزارش کردند؛ این عدد نتیجه آزمایش پژوهشی است، نه نرخ قطعی در همه محصولات.

پیام دفاعی روشن است: تگ‌گذاری نقش‌ها و یک system prompt قوی لازم‌اند، اما مرز امنیتی قطعی نیستند. تصمیم‌های حساس باید بیرون از مدل و با قواعد قطعی کنترل شوند.

۲. تزریق غیرمستقیم و حمله بدون کلیک

در حمله بدون کلیک، قربانی لازم نیست روی لینکی کلیک کند یا دستور مشکوکی بنویسد. کافی است سامانه هوش مصنوعی محتوای آلوده‌ای را به‌طور خودکار دریافت، بازیابی یا خلاصه کند. نمونه شاخص، EchoLeak با شناسه CVE-2025-32711 بود که نشان داد یک زنجیره تزریق غیرمستقیم در محیط Microsoft 365 Copilot می‌تواند به افشای اطلاعات منجر شود. این مورد از سوی مایکروسافت به‌صورت سمت‌سرور اصلاح شد.

اهمیت EchoLeak در یک محصول خاص خلاصه نمی‌شود. این رخداد نشان داد ایمیل یا سندی که برای انسان صرفاً «محتوا» است، ممکن است برای عامل هوش مصنوعی به دستور تبدیل شود. هر جریان خودکار خواندن ایمیل، تیکت، سند یا وب باید یک مرز اعتماد مستقل داشته باشد.

۳. تزریق بصری و چندرسانه‌ای

مدل‌های چندوجهی علاوه بر متن، تصویر، صدا و رابط گرافیکی را نیز تحلیل می‌کنند. مهاجم می‌تواند دستور را در تصویر، متن کم‌رنگ، لایه پنهان سند، متادیتا، QR، پنجره پاپ‌آپ یا بخشی از رابط کاربری قرار دهد. عامل مرورگر یا GUI ممکن است این محتوا را به‌عنوان راهنمای معتبر محیط برداشت کند.

حملات Cross-modal یک گام جلوتر می‌روند: نشانه‌های متنی و بصری با یکدیگر ترکیب می‌شوند تا جهت تصمیم عامل را تغییر دهند. فیلتر ورودی متنی در این سناریو کافی نیست؛ OCR، ساختار سند، لایه‌های تصویر و منشأ هر جزء باید بررسی شوند.

۴. فونت مخرب، Unicode پنهان و قاچاق دستور

یک تکنیک تازه، ایجاد تفاوت میان چیزی است که انسان می‌بیند و چیزی که ماشین استخراج می‌کند. پژوهش «Invisible Prompts, Visible Threats» نشان داد دست‌کاری نگاشت کاراکتر به گلیف در فونت‌های وب می‌تواند محتوایی متفاوت به مدل برساند. کاراکترهای نامرئی Unicode، متن سفید، توضیحات پنهان و داده رمزگذاری‌شده نیز برای عبور از فیلترهای ساده به کار می‌روند.

دفاع باید محتوا را پیش از ورود به مدل نرمال‌سازی کند: حذف کاراکترهای کنترلی غیرضروری، استخراج متن با چند روش مستقل، مقایسه متن دیداری و متن ماشینی و ثبت اختلاف‌ها. بااین‌حال، نرمال‌سازی نباید تنها لایه دفاع باشد.

۵. مسموم‌سازی RAG و بازیابی هدفمند

در RAG، مدل برای پاسخ‌دادن اسناد مرتبط را از پایگاه دانش یا وب بازیابی می‌کند. مهاجم می‌تواند سندی بسازد که هم برای پرسش خاص بسیار «مرتبط» به نظر برسد و هم دستور مخرب یا اطلاعات غلط داشته باشد. به این ترتیب، حمله فقط زمانی فعال می‌شود که پرسش هدف مطرح شود.

ریسک در معماری‌های چندمرحله‌ای بیشتر است؛ چون خروجی یک بازیابی ممکن است ورودی برنامه‌ریز، ابزار یا عامل دیگری شود. رتبه‌بندی منبع، امضای سند، مالکیت محتوا، تاریخ ورود، سطح اعتماد و سیاست استناد باید همراه هر قطعه داده تا انتهای زنجیره حفظ شود.

۶. مسموم‌سازی حافظه و حملات Sleeper

عامل‌های جدید ترجیحات و تجربه‌های قبلی را در حافظه بلندمدت نگه می‌دارند. در Memory Poisoning، مهاجم تلاش می‌کند یک مشاهده یا نتیجه جعلی در حافظه ثبت شود تا در آینده بر تصمیم عامل اثر بگذارد. پژوهش eTAMP در آوریل ۲۰۲۶ نشان داد مشاهده یک محیط دست‌کاری‌شده می‌تواند بدون دسترسی مستقیم مهاجم به مخزن حافظه، اثر بین‌نشستی ایجاد کند.

گونه Sleeper Memory Poisoning می‌تواند برای مدتی غیرفعال بماند و با یک موضوع، سایت یا وظیفه بعدی فعال شود. بنابراین پاک‌بودن ورودی همان نشست کافی نیست. حافظه باید سابقه منشأ، زمان، اعتماد و دلیل ثبت داشته باشد و نوشته‌شدن اطلاعات حساس در آن نیازمند سیاست روشن باشد.

۷. Tool Poisoning در MCP و مسموم‌سازی زنجیره ابزار

Model Context Protocol یا MCP اتصال عامل‌ها به ابزار و داده را استاندارد می‌کند، اما توضیح ابزار، پارامترها و خروجی آن وارد زمینه مدل می‌شوند. در Tool Poisoning، دستور مخرب داخل متادیتا یا توضیح ابزاری قرار می‌گیرد که کاربر ممکن است آن را نبیند، اما مدل آن را می‌خواند.

افشای Invariant Labs در آوریل ۲۰۲۵ این کلاس حمله را برجسته کرد. گونه‌های مرتبط شامل تغییر رفتار ابزار پس از تأیید اولیه (Rug Pull)، هم‌نام‌سازی یا سایه‌انداختن ابزار معتبر و تزریق از طریق خروجی ابزار هستند. مایکروسافت علاوه بر Prompt Shield، بر امنیت زنجیره تأمین و استفاده از ابزارهای تأییدشده تأکید می‌کند.

۸. تزریق تطبیقی در عامل‌های مرورگر و GUI

حمله ثابت همیشه بهترین نتیجه را نمی‌دهد. چارچوب پژوهشی EVA نشان داد نشانه‌ها، عبارت‌ها و چیدمان تزریق می‌توانند با توجه به توجه بصری عامل تکامل پیدا کنند. این یعنی مهاجم می‌تواند نسخه‌های متعدد یک صفحه، پاپ‌آپ یا پیام را آزمایش کند و به‌تدریج فرمی را بیابد که احتمال انحراف عامل را بیشتر می‌کند.

این الگو با Best-of-N مرتبط است: تغییرات کوچک در حروف، فاصله، قالب و عبارت‌بندی بارها امتحان می‌شوند تا یکی از آن‌ها از کنترل عبور کند. محدودیت نرخ، تنوع‌زدایی و پایش تلاش‌های مشابه می‌توانند هزینه حمله را بالا ببرند، اما به‌تنهایی درمان قطعی نیستند. این روند با تصویر گسترده‌تر تهدیدهای امنیت سایبری مبتنی بر هوش مصنوعی در ۲۰۲۶ هم‌راستا است.

۹. حملات چندمرحله‌ای و زنجیره‌ای

تزریق ممکن است در یک مرحله فقط مدل را به جمع‌آوری داده و در مرحله بعد به استفاده از ابزار ترغیب کند. مهاجم می‌تواند پیام را میان ایمیل، صفحه وب، RAG، حافظه و MCP تقسیم کند تا هیچ جزء به‌تنهایی کاملاً مشکوک نباشد. این «ترکیب جریان» اهمیت مشاهده‌پذیری سرتاسری را افزایش می‌دهد.

زنجیره حمله چگونه شکل می‌گیرد؟

1. ورود محتوای کنترل‌نشده: عامل یک ایمیل، صفحه، تصویر، سند، داده RAG یا خروجی ابزار را دریافت می‌کند.
2. اختلاط اعتماد: سامانه منشأ و سطح اختیار محتوا را از بین می‌برد یا فقط با یک برچسب متنی نمایش می‌دهد.
3. تغییر تصمیم مدل: مدل محتوای بیرونی را دستور، تصمیم قبلی یا ضرورت انجام وظیفه تلقی می‌کند.
4. دسترسی به قابلیت: عامل از ابزار، شبکه، فایل، ایمیل یا حافظه‌ای استفاده می‌کند که بیش از نیاز مجوز دارد.
5. پیامد: پاسخ دست‌کاری می‌شود، داده افشا می‌شود، حافظه آلوده می‌گردد یا اقدام ناخواسته رخ می‌دهد.

این زنجیره نشان می‌دهد مدل فقط یکی از اجزای دفاع است. اگر ابزار مجوز گسترده داشته باشد و خروجی مدل بدون کنترل اجرا شود، حتی نرخ پایین موفقیت حمله نیز در مقیاس سازمانی معنادار است.

پیامدها برای کسب‌وکار و سازمان‌ها

• نشت اطلاعات: داده‌های ایمیل، اسناد داخلی، تاریخچه گفت‌وگو یا نتایج جست‌وجوی خصوصی ممکن است وارد پاسخ یا درخواست بیرونی شوند.
• اقدام خارج از اختیار: عامل می‌تواند پیام بفرستد، فایل تغییر دهد یا یک فرایند سازمانی را بدون قصد واقعی کاربر آغاز کند.
• آلودگی پایدار: حافظه یا پایگاه دانش آلوده می‌تواند روی نشست‌ها و کاربران بعدی اثر بگذارد.
• ریسک زنجیره تأمین: ابزار، افزونه، سرور MCP یا منبع داده ثالث می‌تواند مسیر ورود حمله باشد.
• تصمیم نادرست: تزریق ظریف ممکن است رتبه‌بندی محصول، خلاصه مدیریتی یا پیشنهاد خرید را منحرف کند، بدون آنکه خروجی آشکارا مخرب باشد.

چگونه Prompt Injection را تشخیص دهیم؟

هیچ امضای واحدی همه حملات را پیدا نمی‌کند. تشخیص مؤثر باید رفتار، منشأ داده و اقدام نهایی را هم‌زمان ببیند.

• انحراف از نیت کاربر: ابزار پیشنهادی یا دامنه مقصد با درخواست اصلی ارتباط ندارد.
• تغییر ناگهانی نقش: محتوای بیرونی درباره دستورهای سیستم، سیاست‌ها، محرمانگی یا نحوه استفاده از ابزار صحبت می‌کند.
• ابهام دیداری: متن استخراج‌شده با محتوای قابل مشاهده متفاوت است یا کاراکترهای نامرئی و فونت غیرعادی دارد.
• نوشتن مشکوک در حافظه: عامل یک دستور، مجوز یا «واقعیت دائمی» را از منبع کم‌اعتماد ذخیره می‌کند.
• فراخوانی غیرعادی ابزار: پارامتر، حجم داده یا توالی ابزار با الگوی عادی وظیفه هم‌خوان نیست.
• تلاش‌های مشابه پرتعداد: ورودی‌های نزدیک به هم با تفاوت‌های کوچک می‌توانند نشانه Best-of-N باشند.

چگونه از خود محافظت کنیم؟

اقدام فوری

• مجوز عامل‌ها را بازبینی کنید: دسترسی نوشتن، ارسال، حذف، پرداخت و شبکه را از عامل‌هایی که نیاز ندارند بگیرید.
• اجرای خودکار اقدامات حساس را متوقف کنید: برای ارسال داده، تغییر فایل، تراکنش و عملیات مدیریتی تأیید انسانی واقعی قرار دهید.
• ابزارها و MCPها را فهرست کنید: سرورهای ناشناخته، نسخه‌های شناور و ابزارهای بدون مالک مشخص را قرنطینه کنید.
• لاگ سرتاسری فعال کنید: منبع محتوا، قطعات بازیابی‌شده، تصمیم مدل، فراخوانی ابزار و نتیجه را با حذف داده حساس ثبت کنید.

اقدام کوتاه‌مدت

• هر ورودی بیرونی را غیرقابل‌اعتماد بدانید: وب، ایمیل، فایل، RAG، OCR، خروجی ابزار و پیام عامل دیگر باید برچسب منشأ و سطح اعتماد داشته باشند.
• اقدام را مستقل اعتبارسنجی کنید: یک Policy Engine قطعی باید مقصد، دامنه، نوع داده، مالکیت و مجوز کاربر را پیش از اجرای ابزار بررسی کند.
• حافظه را کنترل کنید: نوشتن خودکار را محدود، داده‌های ذخیره‌شده را قابل مشاهده و حذف و برای آن‌ها انقضا و اعتماد تعریف کنید.
• خروجی را ایمن رندر کنید: HTML و Markdown تولیدشده را پاک‌سازی کنید و بارگذاری خودکار منابع بیرونی را محدود سازید.
• Red Team سناریومحور اجرا کنید: تزریق را در ایمیل، سند، تصویر، RAG، ابزار، حافظه و چندمرحله آزمایش کنید؛ نه فقط در کادر چت. مقاله بازنگری آموزش تیم قرمز و تیم آبی در عصر هوش مصنوعی نیز زمینه تکمیلی ارائه می‌دهد.

کنترل‌های بلندمدت

• معماری دو سطحی بسازید: جزء کم‌اختیار محتوای غیرقابل‌اعتماد را بخواند و جزء دارای اختیار فقط داده ساختاریافته و حداقلی دریافت کند.
• قابلیت‌ها را به توکن‌های محدود تبدیل کنید: مجوز هر اقدام باید کوتاه‌عمر، محدود به هدف، داده و مقصد مشخص باشد.
• مرز شبکه و فایل‌سیستم ایجاد کنید: Sandbox و Allowlist دامنه مانع تبدیل یک خطای مدل به دسترسی گسترده می‌شوند.
• حاکمیت زنجیره تأمین AI برقرار کنید: ابزار، مدل، پرامپت، اتصال‌دهنده و منبع داده باید مالک، نسخه، امضا و مسیر به‌روزرسانی کنترل‌شده داشته باشند.

اصل کلیدی: پرامپت امنیتی، فیلتر و مدل نگهبان مفیدند، اما نباید تنها مانع میان متن مهاجم و یک اقدام حساس باشند. کنترل نهایی باید تا حد ممکن قطعی، کم‌اختیار و مستقل از همان مدل باشد.

اشتباهات رایج در دفاع

• اتکا به «دستورهای قبلی را نادیده نگیر»: افزودن هشدار به system prompt یک لایه کمکی است، نه مرز امنیتی.
• جست‌وجوی چند کلیدواژه: رمزگذاری، Unicode، فونت، تصویر و بازنویسی تطبیقی فیلترهای ساده را دور می‌زنند.
• اعتماد کامل به RAG: بازیابی سند، صحت و بی‌خطر بودن آن را تضمین نمی‌کند.
• نمایش پنجره تأیید مبهم: کاربر باید دقیقاً بداند چه داده‌ای به کدام مقصد و با کدام ابزار ارسال می‌شود.
• اسکن فقط ورودی کاربر: خروجی ابزار، حافظه، سند، تصویر و پیام عامل‌های دیگر نیز ورودی امنیتی هستند.
• یکی‌دانستن Jailbreak و Prompt Injection: کنترل محتوای ممنوع جای کنترل اختیار ابزار و نشت داده را نمی‌گیرد.

چک‌لیست امن‌سازی عامل‌های هوش مصنوعی

1. فهرست تمام منابع داده و ابزارهای متصل را تهیه کنید.
2. برای هر منبع، مالک، سطح اعتماد و سیاست نگهداری مشخص کنید.
3. مجوزهای خواندن و نوشتن را جدا و حداقلی کنید.
4. اقدامات برگشت‌ناپذیر را به تأیید انسانی معنادار بسپارید.
5. پارامترهای ابزار را با Schema و قواعد تجاری اعتبارسنجی کنید.
6. مقصدهای شبکه را Allowlist و محیط اجرا را Sandbox کنید.
7. نوشتن و بازیابی حافظه را ثبت، محدود و قابل لغو کنید.
8. متن دیداری، OCR، Unicode و ساختار اسناد را نرمال‌سازی و مقایسه کنید.
9. سناریوهای مستقیم، غیرمستقیم، چندرسانه‌ای، RAG، MCP و حافظه را آزمایش کنید.
10. برای تشخیص انحراف اقدام، پایش و Kill Switch عملیاتی داشته باشید.

پرسش‌های متداول

آیا یک System Prompt قوی جلوی Prompt Injection را می‌گیرد؟

خیر. System prompt می‌تواند رفتار مدل را بهتر کند، اما مرز قطعی امنیتی نیست. محتوای بیرونی ممکن است با جعل نقش، تکرار تطبیقی یا ترکیب چند کانال مدل را منحرف کند. کنترل مجوز، اعتبارسنجی اقدام، Sandbox و تأیید انسانی برای عملیات پرریسک ضروری‌اند.

آیا Prompt Injection فقط مدل‌های عمومی را تهدید می‌کند؟

خیر. مدل خصوصی یا On-premise نیز اگر داده غیرقابل‌اعتماد بخواند و ابزار، RAG یا حافظه داشته باشد، در معرض ریسک است. میزبانی داخلی می‌تواند کنترل داده را بهبود دهد، اما مشکل اختلاط دستور و داده را به‌خودی‌خود حل نمی‌کند.

چرا آنتی‌ویروس یا WAF سنتی کافی نیست؟

این ابزارها برای تهدیدهای مهمی طراحی شده‌اند، اما قصد و نقش متن در زمینه مدل را همیشه تشخیص نمی‌دهند. Prompt Injection ممکن است از متن کاملاً سالم، تصویر یا ترکیب چند منبع ساخته شود. سازمان به کنترل‌های مخصوص مسیر LLM، ابزار و حافظه نیاز دارد.

آیا استفاده از یک مدل دوم به‌عنوان Guardrail کافی است؟

مدل نگهبان می‌تواند بخشی از حملات را شناسایی کند، اما خودش نیز مدل زبانی و مستعد خطاست. بهتر است آن را در کنار قواعد قطعی، حداقل دسترسی، اعتبارسنجی Schema، کنترل مقصد و بازبینی انسانی به کار برد، نه به‌عنوان تنها لایه دفاع.

اولین اقدام تیم امنیت برای عامل‌های موجود چیست؟

ابتدا Inventory تهیه کنید: عامل به چه داده‌ها و ابزارهایی دسترسی دارد و بدترین اقدام ممکن چیست؟ سپس دسترسی‌های غیرضروری را حذف و عملیات حساس را از اجرای خودکار خارج کنید. این کار حتی پیش از استقرار سامانه تشخیص تخصصی، شعاع اثر را کاهش می‌دهد.

آیا می‌توان Prompt Injection را کاملاً حذف کرد؟

بر اساس راهنمای فعلی OWASP و NCSC، تضمین حذف کامل واقع‌بینانه نیست. هدف درست، دفاع چندلایه و مدیریت ریسک با فرض امکان شکست مدل است. سامانه‌ای که تحمل ریسک باقیمانده را ندارد، نباید اختیار حساس را مستقیم به مدل واگذار کند.

جمع‌بندی

Prompt Injection اکنون یک ریسک معماری برای سامانه‌های هوش مصنوعی است، نه صرفاً ترفندی برای گیج‌کردن چت‌بات. جعل نقش، حملات بدون کلیک، تزریق چندرسانه‌ای، مسموم‌سازی RAG و حافظه و Tool Poisoning در MCP نشان می‌دهند هر کانال ورودی و هر قابلیت متصل می‌تواند بخشی از زنجیره حمله باشد.

بهترین نقطه شروع، کاهش اختیار عامل است: دسترسی‌ها را حداقلی کنید، منابع بیرونی را غیرقابل‌اعتماد بدانید، اقدام‌های حساس را مستقل اعتبارسنجی کنید و برای شکست احتمالی مدل آماده باشید. تیم‌های امنیتی باید این سناریوها را در ارزیابی ریسک، Red Team و برنامه پاسخ به حادثه هوش مصنوعی وارد کنند.

منابع منتخب

• راهنمای پیشگیری از Prompt Injection در OWASP
• پژوهش Anthropic درباره دفاع از عامل‌های مرورگر
• توضیح OWASP درباره MCP Tool Poisoning