نشر مشروع OWASP لأمن التطبيقات دليل جديد يركز على حماية تطبيقات الذكاء الاصطناعي التي تعتمد على الوكلاء الذكيين والمبنية باستخدام نماذج اللغة الكبيرة. ويستهدف هذا الدليل المطورين والمهندسين المختصين في الذكاء الاصطناعي وأمن المعلومات، ويغطي الجوانب الفنية المتعلقة بتطوير وتشغيل هذه الأنظمة.
تم إصدار هذا الدليل بتاريخ 28 يوليو، ويأتي في وقت تشهد فيه المؤسسات توسع كبير في استخدام هذا النوع من الأنظمة الذكية، التي تعمل بشكل مستقل وتنقل البيانات بين أدوات متعددة دون الحاجة إلى أوامر بشرية.
تتميز هذه التطبيقات بقدرتها على التكيف مع التغيرات في البيئة وتشغيل نفسها دون إشراف مباشر، وهو ما يطرح تحديات أمنية جديدة لا يمكن التعامل معها بأساليب الحماية التقليدية فقط.
وحذر خبراء الأمن من أن هذه الأنظمة قد تستخدم من قبل جهات هجومية لأتمتة الهجمات، بما في ذلك الاستيلاء على الحسابات.
الجوانب التي يغطيها الدليل
- تضمين الحماية داخل بنية النظام نفسه من خلال فرض ضوابط تحقق وصلاحيات قوية
- تصميم النموذج بشكل يقلل من فرص التلاعب به أو توجيهه بطريقة غير مرغوبة
- استخدام أدوات حماية إضافية مثل بروتوكولات التفويض وتشفير البيانات الحساسة
- إدارة المخاطر المرتبطة بربط النظام مع قواعد البيانات أو أدوات التفسير البرمجي
- تقليل الاعتماد على الشيفرات الخارجية غير الموثوقة في سلسلة التوريد
- تنفيذ اختبارات دورية لاكتشاف الثغرات ومحاولة اختراق النظام داخليا
- وضع آليات تحقق صارمة ضمن عمليات النشر والإصدار في بيئة الإنتاج
- مراقبة سلوك النظام أثناء التشغيل واستخدام أدوات العزل والتحقق
ويتوقع أن يشكل هذا الدليل مرجعا هاما للفرق التقنية العاملة على تطوير ونشر حلول الذكاء الاصطناعي في المؤسسات، في ظل التوسع السريع في الاعتماد على هذه الأنظمة في البيئات الإنتاجية.
رابط الدليل:
OWASP GenAI Agentic AI Guidelines
