قد تحتوي صفحة أو مستند يسترجعه المساعد على نص يحاول تغيير سلوكه. ينبغي التعامل مع هذا النص كمحتوى غير موثوق، لا كتعليمات تمنحه صلاحيات جديدة.
الفكرة الأساسية
افصل تعليمات النظام عن البيانات الخارجية، وقلّل صلاحيات الأدوات. تحقّق من الإجراءات في طبقة مستقلة؛ فصياغة طلب قوي للنموذج لا تضمن منع كل محاولات الحقن.
خطوات عملية
- طبّق صلاحيات المستخدم على كل استدعاء أداة.
- اطلب مراجعة مناسبة قبل إجراءات حساسة أو غير قابلة للتراجع.
- اختبر مستندات تتضمن أوامر خادعة ضمن محتواها.
مثال تطبيقي
رسالة تطلب من المساعد تجاهل السياسة وإرسال ملفات خارجية لا ينبغي أن تتحول إلى أمر تنفيذ لمجرد ورودها في مصدر بحث.
خطأ شائع ينبغي تجنبه
لا تعتبر المرشحات النصية وحدها حماية كافية. الأهم تقليل الأثر الممكن ومراقبة العمليات عند الحدود.
للتوسع في الموضوع
صور توضيحية: الغلاف من Unsplash، الصورة الداخلية من Unsplash. ترخيص الاستخدام.
