أكدت شركة Google أن نموذج Gemini تمكن من الوصول إلى أنظمة محمية تخص 3 شركات حقيقية خلال تقييم للأمن السيبراني. وقع هذا الاختراق نتيجة خطأ في بيئة الاختبار أدى إلى كشف الوكيل المستقل على شبكة الإنترنت العامة. وتُبرز هذه الحادثة قدرة أنظمة الذكاء الاصطناعي المستقلة على تخطي بيئات الاختبار المعزولة (Sandboxes) عند فشل ضوابط الحماية، وآليات تحديد الأهداف، والعزل الشبكي، حتى في غياب أي تعليمات صريحة بشن هجمات فعلية على المؤسسات.
أدارت هذا التقييم شركة Irregular، وهي جهة متخصصة في اختبار قدرات نماذج الذكاء الاصطناعي في مجال الأمن السيبراني. وشارك نموذج Gemini في تحدي “التقاط العلم” (Capture the Flag)، وهو اختبار أمني يُطلب فيه من الأداة تحديد موقع معلومات مخفية داخل بيئة مستهدفة تحاكي الواقع. تم توجيه النموذج لفحص برمجيات تابعة لشركة وهمية، لكن تصادف أن تطابق اسم تلك الشركة مع مؤسسة حقيقية، وتزامن ذلك مع تفعيل اتصال بالإنترنت لم يكن من المفترض إتاحته للنموذج.
أدى هذا المزيج من الأخطاء إلى فشل في تحديد النطاق الآمن للعملية. وبسبب اعتقاده أن الأصول المتصلة بالإنترنت تشكل جزءاً من التحدي المصرح به، وسع Gemini نطاق بحثه خارج البيئة المحاكية ليصل إلى أنظمة مؤسسية فعلية. وفي إحدى الحالات، لجأ النموذج إلى تخمين كلمات المرور بشكل متكرر حتى تمكن من اختراق خدمة محمية. وفي محاولتين أخريين، استغل بيانات اعتماد مكشوفة في مستودعات برمجيات عامة للمصادقة على أنظمة تديرها شركتان أخريان، وفقاً لتقرير نشرته صحيفة The Wall Street Journal.
أوضحت هيذر آدكنز، نائبة رئيس هندسة الأمن في Google، أن النموذج استخدم معلومات متاحة للعموم وخمّن بيانات الاعتماد للوصول إلى مواقع إلكترونية ظن أنها تقع ضمن النطاق المسموح للاختبار. وأكدت الشركة أن Gemini أوقف عملياته في الحالات الثلاث فور إدراكه أنه يتعامل مع بنية تحتية حقيقية وليس هدفاً اختبارياً وهمياً. ونفت الشركة وقوع أي أضرار فعلية، كما أنها لا تصنف هذا السلوك كانحراف، مبررة ذلك بتدخل آليات الحماية المدمجة التي أوقفت النشاط في النهاية.
قصور العزل الشبكي وأثره على نماذج الذكاء الاصطناعي
أبلغت شركة Irregular نظيرتها Google بالواقعة في أواخر شهر يوليو، علماً أن الاختبارات أجريت في شهر مايو. وبناء على ذلك، أخطرت Google الكيانات الثلاثة المتضررة، وعملت مع شريكها على تعديل إجراءات التقييم. وأشارت آدكنز إلى أن هذه الحوادث تؤكد ضرورة تدريب النماذج المتقدمة على التصرف بمسؤولية. من جانبها، أعلنت Irregular معالجتها للمشكلات التقنية من طرفها، وتواصلها المستمر مع مختبرات الذكاء الاصطناعي المعنية والمؤسسات المتضررة خلال سير التحقيقات.
لم تقتصر هذه الاختراقات غير المقصودة على تقنيات Google، بل امتدت لتشمل نماذج طورتها شركات OpenAI وAnthropic وMeta، والتي حصلت أيضاً على وصول غير مقصود للإنترنت خلال التقييمات التي أدارتها Irregular. فعلى سبيل المثال، أظهرت مراجعة أجرتها Anthropic لـ 141,006 عمليات تقييم، وقوع ثلاث حوادث وصلت فيها نماذجها إلى بنى تحتية تخص مؤسسات حقيقية. وأرجعت الشركة ذلك إلى سوء فهم أدى إلى إبقاء الاتصال بالإنترنت متاحاً، رغم تزويد النماذج بأوامر نصية تؤكد عملها داخل بيئة محاكية.
ضوابط الأمان وحماية الهويات في بيئات الاختبار
يقدم هذا الحدث لفرق الدفاع السيبراني درساً أمنياً مألوفاً ولكن في سياق جديد: الأوامر النصية الموجهة للنماذج لا تمثل حدوداً أمنية موثوقة.
فتوجيه وكيل الذكاء الاصطناعي نصياً بعدم استخدام الإنترنت لا يغني عن تطبيق آليات تصفية لحركة المرور الصادرة، واعتماد قوائم سماح صارمة، واستخدام شبكات اختبار معزولة فعلياً، فضلاً عن المراقبة المستمرة. يجب أن تقتصر بيئات التقييم على تحليل النطاقات المصرح بها فقط، وحظر الاتصالات الصادرة العشوائية، واستخدام كيانات اصطناعية لا تتقاطع مع أسماء حقيقية، مع توفير بيانات اعتماد مؤقتة لا تحمل أي صلاحية خارج البيئة المعزولة.
توصي منظمة OWASP بتطبيق مبدأ الصلاحيات الأقل (Least Privilege)، وفرض تفويض صريح للعمليات الحساسة، وإنشاء سجلات تدقيق شاملة، بالإضافة إلى توفير إشراف بشري صارم على الإجراءات عالية التأثير. وتكتسب طرق التعامل مع بيانات الاعتماد أهمية بالغة؛ فنجاح أسلوب تخمين كلمات المرور في اختراق إحدى الخدمات، واستغلال الأسرار المكشوفة في المستودعات العامة لفتح ثغرات أخرى، يفرض على المؤسسات تطبيق المصادقة متعددة العوامل (MFA)، وتقييد معدل محاولات تسجيل الدخول، ومنع إعادة استخدام كلمات المرور.
كما يتطلب الأمر مسحاً مستمراً لمستودعات الشيفرات المصدرية لاكتشاف التسريبات وحماية أمان سلاسل الإمداد البرمجية. وتتوافق هذه الإجراءات مع تحذيرات وكالة CISA من أن بيانات الاعتماد الثابتة في الشيفرات تزيد من المخاطر الأمنية بشكل كبير.
ورغم أن توقف نموذج Gemini التلقائي أسهم في الحد من العواقب، إلا أنه لا يمكن الاعتماد على هذه الاستجابة كآلية احتواء أساسية. فوكلاء الذكاء الاصطناعي المستقلون يعملون بسرعات تفوق قدرة المشرفين البشريين على المتابعة، وقد يفسرون الأهداف الغامضة بطرق سريعة وغير متوقعة. يتطلب الاختبار الآمن تطبيق ضوابط فنية متعددة الطبقات حول النموذج، تشمل التحديد الدقيق لحدود الصلاحيات، وآليات التدخل في الوقت الفعلي، وتوفير سجلات تدقيق غير قابلة للتعديل، ومفاتيح الإغلاق التلقائي.
