يمهد عصر الذكاء الاصطناعي لتحول نادر في عالم الأمن السيبراني، مرتبط بالسرعة وتقصير المسافات. فالقرارات التي كانت متخذة بهدوء داخل جدران المؤسسات، كحدود الائتمان، وقوائم التوظيف المختصرة، وفرز الحالات الصحية، وتعليق العمليات الاحتيالية، باتت اليوم تظهر فوراً في الفضاء العام، لتتحول إلى نقاشات محتدمة حول العدالة، والضرر، والمساءلة. وبما أن الذكاء الاصطناعي قادر على توسيع نطاق القرارات بسرعة تفوق أي لجنة بشرية، فإن أثر القرار الخاطئ لم يعد محصوراً بعدد محدود من الحالات السيئة، وبات مؤثراً جوهرياً على مصداقية المؤسسة ذاتها.
هذا التوتر كان في صميم الطرح الذي قدمته الدكتورة أروى الحمد، المدير العام للأمن السيبراني لدى وزارة الاستثمار في المملكة العربية السعودية، خلال مشاركتها في جلسة The AI Stack, End to End ضمن فعاليات Black Hat MEA 2025؛ حيث أكدت أن مفهوم “أمن الذكاء الاصطناعي” لا يمكن اختزاله في تقوية النماذج أو أدوات التحكم أثناء التشغيل. فالسؤال الأمني أصبح مرتبطاً لدرجة كبيرة بالتبرير، أي؛ هل تستطيع المؤسسة الدفاع عن القرار الذي اتخذه النظام، بلغة يفهمها المنظم، ويقتنع بها العميل، ويقبلها مجلس الإدارة؟
هنا تحديداً يتقلص دور حجة الصناديق السوداء، ليس لأن المهندسين باتوا ينفرون من الغموض، ولكن لأن المؤسسات تفقد تدريجياً شرعية الاحتماء به.
خط أساس جديد: التبرير كضابط أمني
حين تتسبب قرارات الذكاء الاصطناعي في إضرار بسمعة المؤسسة، تصبح فكرة التبرير بأن “النظام معقد للغاية ولا يمكن شرحه” اعترافاً أكثر من كونها عذراً؛ إذ تم إدخال قدرة غير قابلة للدفاع إلى مسار عالي المخاطر. ومن جانبها، تطرح د. أروى الأمر بوضوح، فالقابلية للتفسير لا تعني كشف الشيفرة المصدرية، إنما القدرة على تبرير القرار “بوضوح وثقة.”
“القضية ليست في كشف الشيفرة البرمجية ذاتها، إنما في القدرة على تبرير سبب اتخاذ القرار بوضوح وثقة.”
د. أروى الحمد، ضمن جلسة The AI Stack, End to End، في Black Hat MEA 2025.
يعيد هذا تعريف معنى الأمن نوعاً ما؛ فبعد أن كان تركيز الفرق الأمنية منصباً على السرية، والسلامة، والتوافر، يضيف الذكاء الاصطناعي ضغطاً رابعاً، هو قابلية الدفاع، أي القدرة على تقديم سلسلة منطقية ومتماسكة من الأسباب والمساءلة عن النتائج.
يتزامن هذا مع تشدد البيئة التنظيمية. ففي المملكة العربية السعودية، أصبح نظام حماية البيانات الشخصية (PDPL) نافذاً بالكامل في سبتمبر 2024. وفي أوروبا، يتقدم الجدول الزمني لتطبيق قانون AI Act، مع التزامات متدرجة للذكاء الاصطناعي ذي الأغراض العامة والأنظمة عالية المخاطر، رغم ما يحيط به من نقاشات وضغوط تتعلق بالتأجيلات والسياسات.
تبرز أهمية ذلك من خلال قضية معروفة في قرارات الائتمان؛ إذ واجهت خدمة Apple Card اتهامات علنية بوجود تفاوتات في حدود الائتمان على أساس النوع الاجتماعي، ما استدعى تدقيقاً وتحقيقات، رغم الجدل حول النية والسبب. والعبرة هنا ليست في تفاصيل جهة واحدة، ولكن في النمط العام؛ أي عندما يمس الذكاء الاصطناعي مصائر الأفراد، يطالب المجتمع بالأسباب إلى جانب النتائج.
كاستنتاج تحليلي؛ صحيح أن التنظيم مهم، لكن الدافع الأعمق هو الشرعية. فالمؤسسة التي تعجز عن تبرير قرار اتخذه الذكاء الاصطناعي ستُعامل على نحو متزايد باعتبارها مهملة، حتى وإن استوفت الحد الأدنى من المتطلبات القانونية.
ثلاث ركائز لا تقبل التفاوض
تقوم ثلاثية الحوكمة التي تطرحها د. أروى على بساطة خادعة، أعمدتها المساءلة، والقابلية للتفسير، وتتبع مصدر البيانات ودورة حياتها. غير أن ترديد هذه العناوين دون تحويلها إلى قيود تشغيلية قد يفرغها من مضمونها.
“في المرحلة المقبلة، ستكون هناك ثلاثة أمور غير قابلة للتفاوض؛ المساءلة، وقابلية التفسير، وأصل البيانات مع تتبّع دورة حياتها بالكامل.”
د. أروى الحمد، ضمن جلسة The AI Stack, End to End، في Black Hat MEA 2025.
أولاً: المساءلة
بطبيعتها المعتادة، تبدأ برامج الذكاء الاصطناعي بسؤال مريح تقنياً: من يملك النموذج؟ (فريق تعلم الآلة، أم المورد، أم مالك المنصة). لكن د. أروى تدفع بذلك إلى مستوى أصعب؛ إلى الطرف المعني النتيجة، خصوصاً عندما تترافق مع الضرر.
“المساءلة يجب أن تشمل النموذج، والبيانات، والنتائج، ولا بد من تحديد الشخص المسؤول عنها بالاسم.”
د. أروى الحمد، ضمن جلسة The AI Stack, End to End، في Black Hat MEA 2025.
تصبح المساءلة حقيقية فقط حين تتسم بالصراحة، وحين تمتلك الجهة المسؤولة السلطة الفعلية لتغيير النظام. خلاف ذلك، لا تكون المساءلة سوى طقس لتبادل الاتهامات بعد الحوادث.
ثانياً: القابلية للتفسير
تكمن قيمة طرح د. أروى في ما يرفضه، وهو الثنائية الزائفة بين “الشفافية الكاملة” و”الصندوق الأسود.” فمعظم المؤسسات لا تحتاج إلى نشر الشيفرة المصدرية، بقدر ما هي بحاجة إلى سرديات دفاعية مقنعة للقرارات.
وعليه، تتجاوز حوكمة الذكاء الاصطناعي كونها أوراقاً إجرائية، لتصبح قيداً هندسياً. فإذا ما عجز النظام عن إنتاج تفسيرات، فقد يكون غير صالح للنشر في السياقات عالية المخاطر، مهما بلغت دقته.
“لم يعد مقبولاً أن تتذرع المؤسسات بقولها إن الأمر معقد أكثر من أن يمكن شرحه.”
د. أروى الحمد، ضمن جلسة The AI Stack, End to End، في Black Hat MEA 2025.
ثالثاً: تتبع مصدر البيانات ودورة حياتها
إذا كانت المساءلة مرتبطة بالطرف المعني بالنتيجة، فإن فكرة تتبع المصدر عامل مهم في معرفية كيفية تشكيل هذه النتيجة”. وبهذا الصدد، تضيء د. أروى على واقع غالباً ما يكون مهملاً، وهو ان أخطر التغييرات في الذكاء الاصطناعي هي تلك التي تبدو كإعادة تدريب اعتيادية.
بناء على ذلك، فإن ممارسة تتبع دورة الحياة تلك تحول تحديثات النماذج إلى أحداث تغيير قابلة للتدقيق. وبدونها، تعجز المؤسسة عن التمييز بين التحسين والفساد.
تسميم البيانات تهديد للثقة من الداخل
لدى سؤالها عن أخطر التهديدات بين تسميم البيانات، وحقن الأوامر (Prompt Injection)، وتسرب المعلومات، جاء اختيار د. أروى الحمد حاسماً: تسميم البيانات. والسبب، كما تصفه، أنه “يفسد الذكاء… من الداخل” ولأنه “بالغ الصعوبة في الاكتشاف”. هذا التوصيف يتخذ بعداً هيكلياً وبنيوياً عميقاً؛ فالتسميم لا يهاجم السلوك الظاهر للنموذج فحسب، إذ يتجاوز ذلك ليضرب مصدر الحقيقة الذي يبني عليه النموذج رؤيته للعالم.
هذه الفكرة ليست نظرية بحتة. فحادثة روبوت المحادثة Microsoft Tay، الذي جرى تدريبه على التفاعل مع الجمهور ثم بدأ سريعاً بإنتاج محتوى ضار، ما تزال مثالاً كلاسيكياً على كيفية تحويل مسارات التعلم نفسها إلى سلاح.
علاوة على ذلك، تضيف د. أروى نقطة أكثر جدلاً، وهي أن ليس كل تسميم خبيثاً أو متعمداً. فقد يكون ناشئاً وغير مقصود نتيجة حلقات تغذية راجعة، أو أنماط سلوك المستخدمين، أو ممارسات جمع بيانات تدفع النموذج تدريجياً نحو مخرجات مؤذية. بعبارة أخرى، قد يدخل التسمم إلى النموذج بالواقع ذاته، لا بالمهاجمين فقط.
ومن هذا المنطلق يمكن إضافة بند آخر إلى تعريف أمن الذكاء الاصطناعي حول محيط مختلف، مرتبط بمن يمكنه الوصول إلى النظام، وما الذي يمكنه تشكيل ذكاء النظام، وبسرية البيانات وسلامتها في مرحلة التعلم.
حقن الأوامر: ثغرة تتصرف كأنها ميزة
في حين أن تسميم البيانات يفسد الذكاء أثناء التدريب، فإن حقن الأوامر يختطف السلوك أثناء التشغيل. والمفارقة المقلقة أن هذا النوع من الهجمات لا يستغل خللاً تقنياً في الذاكرة، ولكنه يستغل خاصية تصميمية؛ فالنماذج لا تميز دائماً وبشكل موثوق بين التعليمات والبيانات.
لذلك جاءت نتائج بحث HOUYI التي أشارت إليها د. أروى واضحة، فمن أصل 36 تطبيقاً حقيقياً مدمجاً مع نماذج لغوية كبيرة، تبين أن 31 منها قابل للاستغلال.
لهذا السبب أيضاً حذر المركز الوطني للأمن السيبراني في المملكة المتحدة (UK NCSC) من أن حقن الأوامر قد لا يكون قابلاً “للمعالجة الكاملة” كفئة تهديد، داعياً المدافعين إلى التعامل مع النماذج اللغوية بوصفها “وكيلاً مشوشاً بطبيعته”، والتركيز على تقليل الأثر بدل السعي إلى منع مثالي غير واقعي.
يتقاطع هذا مع الواقع العملي الذي تكتشفه الفرق الأمنية؛ ذلك أن ضوابط حقن الأوامر أقرب إلى إدارة نصف قطر الانفجار منها إلى ترقيع ثغرة تقليدية مثل SQL Injection.
إذاً، تعود صيغة الحوكمة التي تطرحها د. أروى إلى الواجهة. فكلما زادت الوكالة الممنوحة للنموذج، وجب أن تتحول الحوكمة إلى آلية قابلة للتنفيذ.
التسرب: عندما تفشل ضوابط الهوية والصلاحيات في “طبقة المحادثة”
غالباً ما يختزل تسرب البيانات في سلوك المستخدمين، كإدخال معلومات حساسة في محادثات الذكاء الاصطناعي. وهذا خطر حقيقي، لكن مثال د. أروى يسلط الضوء على تهديد أكثر بنيوية، وهو تسرب المنصة، حين يسمح خلل تقني لمستخدم بالاطلاع على أوامر واستجابات مستخدمين آخرين.
في حادثة ذات صلة، سبق أن عالجت Meta ثغرة في منظومة روبوتات المحادثة لديها، بعد أن كشف باحث أمني إمكانية الوصول إلى محادثات خاصة عبر التلاعب بالمعرفات. وتشير التقارير إلى أن Meta دفعت مكافأة لاكتشاف الثغرة وقامت بإصلاحها مطلع عام 2025.
الدرس الأمني هنا قاس نوعاً ما. فحتى مع التزام المستخدمين الداخليين بأفضل السلوكيات، فإن البيانات قد تتسرب إذا كانت حدود المحادثة لدى المورّد معيبة.
لماذا تكتسب سردية مراكز عمليات الأمن السيبراني المعززة بالذكاء الاصطناعي (AI SOC) أهميتها الآن؟ تكمن الإجابة في الإرهاق، والإنذارات الكاذبة، وفجوات الثقة. بالربط مع ذلك، ترتكز أفكار د. أروى الدفاعية على ثلاثة أعمدة؛ تسريع الاكتشاف، وتقليل إرهاق المحللين، والتحول التدريجي نحو استجابة شبه ذاتية، من دون إقصاء الحكم البشري.
ذلك التصور أشبه برد على معضلة تشغيلية باتت مألوفة لقادة الأمن. فقد كشف تقرير Splunk State of Security 2025 أن 59% منهم يعانون من كثرة التنبيهات، و55% يواجهون عدداً كبيراً من الإنذارات الكاذبة، و46% يقضون وقتاً أطول في صيانة الأدوات بدل حماية المؤسسة، و11% فقط يثقون بالذكاء الاصطناعي ثقة كاملة في المهام الحرجة.
عطفاً على ذلك، ترغب الفرق الأمنية في أن يقوم الذكاء الاصطناعي بالفرز، والتلخيص، والربط، واقتراح الإجراءات، لكنها لا تثق به بعد ليكون المعني والموكل بالنتائج. ومن ثم يصبح الهدف الواقعي القريب هو ما تصفه د. أروى بدقة، الذكاء الاصطناعي كشريك يختصر زمن الفهم ويعزز قدرات البشر.
الاستجابة الذاتية بلا أوهام: أفعال محدودة ونتائج قابلة للمساءلة
لعل أهم القيود التي تطرحها د. أروى، وأكثرها استراتيجية، أن الاستجابة الذاتية قادمة، لكن ليس بالإمكان استبدال مختصي الأمن السيبراني بالذكاء الاصطناعي. الهدف هو الجمع بين سرعة ودقة الآلة، وحكم الإنسان.
عملياً، يعني ذلك استقلالية مضبوطة من خلال السماح بإجراءات منخفضة الندم (كالعزل، والحظر المؤقت، وتحديد المعدل) ضمن شروط محددة، وفرض التصعيد عندما تكون الثقة منخفضة أو الأثر مرتفعاً، وجعل كل إجراء قابلاً للتتبع إلى جهة مسؤولة، تطبيقاً لمبدأ المساءلة ذاته على المستوى التشغيلي.
هنا يتجسد خطر “الوكيل المشوش” في حقن الأوامر عملياً. فكلما زادت الاستقلالية، تعاظمت الحاجة إلى هندسة تمنع إجبار النموذج على أفعال ضارة، لا سيما في مسارات العمل التي تعتمد الوكلاء.
خلاصة
تأتي ملاحظة د. أروى تعبيراً صريحاً عما يمكن أن يقوله القادة اليوم عن الذكاء الاصطناعي، إذ إن العالم يعيش حالة عدم يقين حول كيفية وسرعة تحول العمليات بفعل الذكاء الاصطناعي، ولا أحد يملك الإجابة الكاملة. لكن الرد ليس الشلل، ولكن بالنية، والبناء بحذر ومسؤولية رغم ذلك.
“نحن نعيش اليوم في حالة من عدم اليقين تجاه الذكاء الاصطناعي؛ فلا نعرف بعد كيف سيغير عالمنا، ولا بالسرعة التي سيفعل بها ذلك.”
د. أروى الحمد، ضمن جلسة The AI Stack, End to End، في Black Hat MEA 2025.
كقراءة تحليلية لذلك، إن أفضل برامج أمن الذكاء الاصطناعي ستكون تلك التي تتعامل مع الحوكمة بوصفها عامل تسريع، وليس عبئاً؛ لأنها تتيح نشر أنظمة قادرة على الصمود أمام التدقيق، والهجوم، والخطأ، من دون انهيار المصداقية.
