في ديسمبر 2025 قال ماثيو برنس، الرئيس التنفيذي في Cloudflare، إن الشركة حجبت 416 مليار طلب من زواحف الذكاء الاصطناعي منذ 1 يوليو 2025، تحديداً منذ أن بدأت تطبيق سياسة افتراضية جديدة تحجب زواحف الذكاء الاصطناعي (AI crawlers) عن النطاقات الجديدة، ما لم يقرر مالك الموقع صراحة السماح لها بالوصول أو التفاوض على شروط استخدام المحتوى.
هذه الخطوة تبدو في ظاهرها مجرد إعداد إضافي في لوحة تحكم، لكنها عملياً تمس بنية اقتصاد المحتوى على الويب، وتضع الناشرين وشركات الذكاء الاصطناعي ومنصات البحث أمام أسئلة مباشرة حول: من يملك الحق في استخدام محتوى الويب لتدريب النماذج وتشغيلها؟ وبأي مقابل؟
ولأن جزءاً كبيراً من حركة الويب يمر عبر شبكة Cloudflare، فإن تغييراً كهذا ليس محصوراً في نطاق الخيار التقني لمزود واحد، ويقترب من تشكيل “قواعد لعب” جديدة لمن يريد استخدام المحتوى في عصر الذكاء الاصطناعي. فما الذي قامت به Cloudflare فعلياً على المستوى التقني؟ وكيف تنظر الأطراف المختلفة – من Google وشركات الذكاء الاصطناعي إلى الناشرين الكبار والصغار – إلى هذا التحول؟
من الإعدادات إلى البنية: ماذا فعلت Cloudflare؟
تقليدياً كان منطق الويب هو: “الزحف مسموح ما لم يُمنع”. مع الخطوة الجديدة، تحاول Cloudflare دفع جزء من المنظومة نحو منطق مختلف: “الزحف محجوب ما لم يُصَرَّح به” على الأقل عندما يتعلق الأمر بزواحف الذكاء الاصطناعي.
عملياً، قررت Cloudflare أن زواحف الذكاء الاصطناعي لن تحصل تلقائياً على حق الوصول إلى النطاقات الجديدة التي تمر عبر شبكتها. فعندما ينضم نطاق جديد إلى خدمات Cloudflare، يتفعل الحجب افتراضياً، ولا تكون الزواحف مخولة بالوصول إلى المحتوى إلا إذا اختار مالك الموقع غير ذلك صراحة. وبهذا، يتحول “السكوت” من إذن ضمني إلى حجب ضمني، وتصبح حالات السماح قراراً واعياً يجب المبادرة به واتخاذه.
أدوات التحكم التي توفرها Cloudflare
خوضاً في الجوانب التقنية بعض الشيء، تتجاوز استراتيجية Cloudflare الحجب الافتراضي، إذ ترفق الشركة ذلك بحزمة أدوات تمنح الناشرين قدراً أكبر من التحكم في كيفية تعامل زواحف الذكاء الاصطناعي مع محتواهم، سواء بالقبول أو الرفض أو فرض شروط مسبقة.
من أمثلة ذلك خاصية Block AI Bots، التي تسمح لأصحاب المواقع باختيار سياسة واضحة تجاه روبوتات الذكاء الاصطناعي من خلال ثلاثة أوضاع رئيسية؛ هي عدم الحجب، أو الحجب على جميع الصفحات، أو الحجب على النطاقات التي تعرض الإعلانات كمصدر دخل، في محاولة لحماية عوائد الإعلانات من التآكل نتيجة الملخصات والإجابات المباشرة التي ينتجها الذكاء الاصطناعي.
هنالك أيضاً خاصية AI Crawl Control، التي تحول مسألة الزحف من زر تشغيل أو إيقاف إلى لوحة تحكم أكثر تفصيلاً تتيح للناشر رؤية أي خدمات ذكاء اصطناعي تزور الموقع، وعدد الطلبات التي ترسلها خلال فترات زمنية مختلفة، ومدى التزامها بتعليمات ملف robots.txt وسياسات الموقع.
تقدم الشركة كذلك خاصية AI Labyrinth، وهي أشبه بآلية دفاعية تعتمد فكرة “المتاهة”؛ من خلال زرع صفحات الموقع بروابط غير مرئية للمستخدم العادي، لكنها قابلة للقراءة والزحف من قبل الروبوتات التي تمسح الكود HTML مباشرة. وعندما تتبع الزواحف المخالِفة هذه الروابط، تجد نفسها في متاهة من الصفحات التي لا قيمة حقيقية لها للزائر البشري، لكنها تستهلك وقت البوت وموارده.
من بين الخيارات الأخرى التي تعتمدها Cloudflare إضافة إشارات للمحتوى تتيح للناشر التفريق بين ثلاثة أنواع من استخدامات الذكاء الاصطناعي للمحتوى، تدريب النماذج، والظهور في نتائج البحث، وتوظيف المحتوى كمدخل لحظي للإجابة على استفسارات المستخدمين، دون إدخاله في بيانات التدريب الدائمة.
بهذا، يمكن لمؤسسة إعلامية مثلاً أن تسمح باستخدام مقالاتها للإجابة عن الأسئلة في واجهات الذكاء الاصطناعي، وتسمح بظهورها في نتائج البحث، لكنها تمنع إدخال أرشيفها التحريري في قواعد بيانات التدريب.
هذا النوع من التفريق لم يكن متاحاً سابقاً بشكل قياسي وموحد. مع ذلك، تبقى نقطة أساسية يجب التنبه لها، وهي أن الالتزام بهذه الإشارات طوعي في جوهره. أي أن فعاليتها الحقيقية تعتمد على مدى التزام شركات الذكاء الاصطناعي بهذه المعايير، أو وجود اتفاقيات تعاقدية وقانونية تجعل تجاهلها مكلفاً أو مخالفاً للأنظمة.
إلى جانب سياسات الحجب والسماح، قدمت Cloudflare نموذجاً تجريبياً جديداً تحت اسم Pay Per Crawl، يهدف إلى تحويل جزء من الزحف إلى علاقة تجارية واضحة بين الناشر وزواحف الذكاء الاصطناعي.
عبر هذا النهج، يحدد الناشر، عبر إعدادات Cloudflare، أن الوصول الآلي إلى نوع معين من المحتوى (أو إلى الموقع ككل) مشروط بالدفع. فعندما يحاول زاحف الذكاء الاصطناعي الوصول إلى صفحة مشمولة بهذه السياسة، إذا لم يعلن عن استعداده للدفع وفقاً لشروط الناشر، يمكن أن يتلقى استجابة 402 Payment Required، مع معلومات تسعير، أما إذا قدم ما يثبت استعداده للالتزام بنموذج الدفع (وفق بروتوكول تفاهم بين الطرفين)، فيُعامل كزاحف مصرح له ويتلقى استجابة عادية.في هذا النموذج لا تكون Cloudflare مجرد ناقل للبيانات، بل تتحول إلى وسيط يطبق قواعد مالية يحددها الناشر ويتولى جانباً من تسوية المدفوعات أو التحقق من أهلية الزواحف.
مع ذلك، لا يزال هذا النموذج في مرحلة تجريبية، ومتاحاً في البداية لشريحة من الناشرين والشركاء، لا لجميع المواقع الصغيرة دفعة واحدة. ونجاحه الفعلي سيعتمد على عاملين رئيسيين؛ استعداد شركات الذكاء الاصطناعي الكبرى للدخول في ترتيبات دفع منتظمة مقابل الزحف، وعدد وحجم الناشرين الذين سيختارون ربط وصول زواحف الذكاء الاصطناعي بمثل هذه الآلية.
كيف ترى الأطراف المختلفة المشهد؟
تنطلق Cloudflare، ومعها عدد كبير من الناشرين، من فرضية تقول إن نماذج الذكاء الاصطناعي تستهلك محتوى الويب على نطاق واسع جداً، لكنها لا تعيد زيارات أو عوائد متناسبة إلى المواقع الأصلية.
تستشهد الشركة، على سبيل المثال، ببيانات عن أحد روبوتات الذكاء الاصطناعي يرسل عشرات الآلاف من الطلبات مقابل إحالة واحدة فقط إلى الموقع المصدر، وهو أمر يمكن قراءته كاختلال اقتصادي واضح من وجهة نظر الناشرين.
بالنسبة للمؤسسات الإعلامية الكبرى، تبدو أدوات وخيارات Cloudflare التي تطرقنا إليها أعلاه أكثر من مجرد وسائل حماية، وقد تستخدمها أيضاً كأوراق ضغط تفاوضية. ذلك أن وجود “بوابة” تقنية تضبط الزحف يمنح هذه المؤسسات خيارات أوسع؛ مثل الترخيص بشروط تعاقدية واضحة، أو الحجب الكامل أو الجزئي، أو السماح بالظهور في واجهات البحث مع تقييد التدريب، أو المزج بين نماذج مجانية ومدفوعة بحسب نوع المحتوى وقيمته.
Google وشركات الذكاء الاصطناعي
أحد أكثر النقاط إثارة للجدل يتعلق بتصميم Google نفسه. تشير Cloudflare إلى أن Google تدمج إلى حد كبير بين زاحف البحث التقليدي والزاحف المستخدم في منتجات الذكاء الاصطناعي، ما يجعل من الصعب عملياً على الناشر أن يسمح بالظهور في نتائج البحث التقليدية، في الوقت الذي يريد فيه منع استخدام المحتوى في التدريب أو في ميزات إجابة تعتمد على نفس الزاحف.
يمكن فهم تصميم Google على أنه محاولة لتقديم تجربة موحدة للمستخدم، وتبسيط إدارة سياسات الزحف من خلال الاعتماد على زاحف رئيسي واحد أو مجموعة محدودة من الزواحف. في المقابل، تشير Google إلى وجود آليات مختلفة للتحكم – مثل استخدام robots.txt وuser-agents خاصة ببعض منتجات الذكاء الاصطناعي – إلا أن الجدل ما زال قائماً حول مدى وضوح هذه الآليات للناشرين، ومدى كفايتها لمن يريد الفصل الصارم بين “الظهور في البحث” و”المساهمة في تدريب النماذج”.
هذا ليس خلافاً تقنياً فقط؛ وهو أقرب لكونه نزاعاً على “سلطة البوابة” في الوصول للجمهور.
بالنسبة لشركات الذكاء الاصطناعي الأخرى، تبدو سياسات Cloudflare سيفاً ذا حدين؛ فمن جهة، توفر إطاراً واضحاً يمكن التفاوض في ظله مع الناشرين؛ ومن جهة أخرى، تزيد كلفة الوصول إلى بيانات التدريب عالية الجودة، وتفتح الباب أمام سوق ترخيص قد يفضل الشركات الأكبر القادرة على الدفع.
الناشرون الصغار والباحثون والجهات المعنية بالمعرفة المفتوحة
الصورة أكثر التباساً لدى الناشرين الصغار والمستقلين. إذ إن من شأن الحجب حماية محتواهم من الاستنساخ غير المصرح به، ويمنحهم ورقة تفاوضية مستقبلية إن أصبح لمحتواهم وزن في سوق الترخيص. لكنه في المقابل قد يحرمهم من فرص ظهور جديدة في أدوات البحث والإجابة المعتمدة على الذكاء الاصطناعي، في وقت ما زال من الصعب قياس وزن هذه القنوات مقارنة بمحركات البحث التقليدية.
إلى جانب ذلك، يحذر بعض الباحثين في قضايا الفضاء العام الرقمي من أن تسليع الزحف بالكامل قد يقود تدريجياً إلى نوع من “الخصخصة غير المباشرة للمجال العام الرقمي”، حيث تصبح بيانات التدريب عالية الجودة متاحة أساساً للجهات القادرة على الدفع، بينما تتضرر مشاريع المعرفة المفتوحة والأرشفة العامة – مثل أرشفة الويب والمكتبات الرقمية – إذا لم تُمنح استثناءات واضحة أو ترتيبات خاصة.
بالنسبة للباحثين في الذكاء الاصطناعي نفسه، يثير هذا التحول أسئلة إضافية حول إمكانية إجراء أبحاث مستقلة على البيانات العامة، والفارق بين تدريب نماذج تجارية ضخمة، وبين استخدام البيانات في سياقات أكاديمية غير ربحية.
أسئلة استراتيجية في مواجهة زحف الذكاء الاصطناعي
تفرض التطورات الأخيرة على صناع القرار في المؤسسات، سواء كانت إعلامية أو تجارية أو أكاديمية، أسئلة تتجاوز الجانب التقني البحت إلى خيارات استراتيجية أوسع، من بينها:
هدف الحضور الرقمي
هل الأولوية القصوى هي الانتشار والتأثير، حتى لو كان ذلك على حساب جزء من العوائد المباشرة؟
أم أن حماية نموذج الإيرادات والإبقاء على المحتوى وراء جدار حجب أو ترخيص مدفوع هو الهدف الأساسي؟ تختلف الإجابة جذرياً بين مؤسسة أكاديمية، ومؤسسة إعلامية تجارية، ومنصة مجتمعية.
توزيع السياسات داخلياً
أدوات مثل Content Signals تتيح تفريقاً دقيقاً بين تدريب النماذج، والبحث، والإجابات اللحظية. ما يسمح بوضع سياسات مختلفة لأنواع مختلفة من المحتوى داخل المؤسسة الواحدة (أخبار عاجلة، أرشيف مدفوع، محتوى مفتوح،…).
المخاطر القانونية والتنظيمية
القرارات التي تُتخذ اليوم حول السماح أو الحجب قد تتحول غداً إلى سوابق تنظيمية، أو نقاط مرجعية في قوانين تفرض شروط موافقة وتعويضات على استخدام المحتوى في التدريب. ما يجعل بعض المؤسسات تميل إلى الحذر، وأخرى إلى المبادرة المبكرة لتشكيل هذه السوابق.
توقيت التحرك
هناك خيار بين المبادرة المبكرة لتجريب أدوات الحجب والترخيص وبناء خبرة عملية، أو التريث حتى تتضح معايير السوق والتشريعات، مع قبول أخطار استغلال الفترة الانتقالية من قبل أطراف أخرى.
خاتمة: تغيير نقطة الانطلاق
لا تحسم Cloudflare، في نهاية المطاف، مسألة “من يملك الحق النهائي” في استخدام المحتوى لأغراض الذكاء الاصطناعي. هذه المسألة ستبقى مرتبطة بالتشريعات الوطنية والدولية وبالتفاوض بين الأطراف المختلفة. لكن يمكن النظر إلى ما تفعله الشركة باعتباره محاولة لتغيير نقطة الانطلاق؛ من افتراض أن الزحف مسموح ما لم يُمنَع، إلى افتراض أن الزحف ـ على الأقل لجزء كبير من الويب الذي يمر عبر شبكتها –ـمحجوب ما لم يُؤذَن به.
بهذا، يصبح من المشروع لكل ناشر أن يحدد شروط مشاركة محتواه في بيئة الذكاء الاصطناعي، ولا يكون ذلك عبر بيان موقف أخلاقي فقط، إنما عبر إعدادات فنية قابلة للتنفيذ. السؤال لم يعد إذن عن القدرة التقنية على التحكم، بقدر ما أصبح عن الاستراتيجية الأنسب وممارسات الحوكمة. متى نسمح؟ ومتى نحجب؟ ومتى نطلب تعويضاً؟
في مشهد رقمي يتحول سريعاً، قد يكون الفرق الحقيقي بين مؤسسة وأخرى هو قدرتها على الإجابة عن هذه الأسئلة بوضوح، قبل أن تُفرَض عليها الإجابات من الخارج.
