شركات الذكاء الاصطناعي لا تزال تحذف مواقع الويب
تعرضت شركة Perplexity، التي تصف منتجها بأنه "محرك بحث مجاني يعمل بالذكاء الاصطناعي"، لانتقادات شديدة خلال الأيام القليلة الماضية. بعد وقت قصير من اتهام فوربس لها بسرقة قصتها وإعادة نشرها عبر منصات متعددة، ذكرت مجلة Wired أن شركة Perplexity كانت تتجاهل بروتوكول استبعاد الروبوتات، أو robots.txt، وتقوم بإلغاء موقعها الإلكتروني ومنشورات Condé Nast الأخرى. كما اتهم موقع التكنولوجيا The Shortcut الشركة بحذف مقالاتها. الآن، ذكرت رويترز أن Perplexity ليست شركة الذكاء الاصطناعي الوحيدة التي تتجاوز ملفات robots.txt وتستخرج مواقع الويب للحصول على محتوى يتم استخدامه بعد ذلك لتدريب تقنياتها.
وقالت رويترز إنها شاهدت رسالة موجهة إلى الناشرين من شركة TollBit، وهي شركة ناشئة تجمعهم مع شركات الذكاء الاصطناعي حتى يتمكنوا من التوصل إلى صفقات الترخيص، تحذرهم من أن "وكلاء الذكاء الاصطناعي من مصادر متعددة (وليس شركة واحدة فقط) يختارون تجاوز الروبوتات. بروتوكول txt لاسترداد المحتوى من المواقع." يحتوي ملف robots.txt على تعليمات لبرامج زحف الويب حول الصفحات التي يمكنهم الوصول إليها وتلك التي لا يمكنهم الوصول إليها. يستخدم مطورو الويب البروتوكول منذ عام 1994، ولكن الالتزام به طوعي تمامًا.
لم يذكر خطاب TollBit أي شركة، لكن موقع Business Insider يقول إنه علم أن OpenAI وAnthropic - منشئي ChatGPT وClaude chatbots، على التوالي - يتجاوزون أيضًا إشارات robots.txt. أعلنت الشركتان سابقًا أنهما تحترمان تعليمات "عدم الزحف" التي تضعها مواقع الويب في ملفات robots.txt الخاصة بهما.
أثناء التحقيق، اكتشفت Wired أن جهازًا على خادم Amazon "يتم تشغيله بالتأكيد بواسطة Perplexity" كان يتجاوز تعليمات robots.txt الخاصة بموقعه على الويب. للتأكد مما إذا كانت Perplexity تحذف محتواها، زودت Wired أداة الشركة بعناوين رئيسية من مقالاتها أو مطالبات قصيرة تصف قصصها. وبحسب ما ورد توصلت الأداة إلى نتائج أعادت صياغة مقالاتها بشكل وثيق "مع الحد الأدنى من الإسناد". وفي بعض الأحيان، أنتجت حتى ملخصات غير دقيقة لقصصها - تقول Wired إن برنامج الدردشة الآلي ادعى كذبًا أنه أبلغ عن شرطي محدد في كاليفورنيا ارتكب جريمة في حالة واحدة.
في مقابلة مع شركة Fast Company، صرح أرافيند سرينيفاس، الرئيس التنفيذي لشركة Perplexity، للنشرة أن شركته "لا تتجاهل بروتوكول استثناءات الروبوت ثم تكذب بشأنه". لكن هذا لا يعني أنها لا تستفيد من برامج الزحف التي تتجاهل البروتوكول. وأوضح سرينيفاس أن الشركة تستخدم برامج زحف الويب التابعة لجهات خارجية بالإضافة إلى برامج الزحف الخاصة بها، وأن الزاحف الذي حددته شركة Wired كان واحدًا منها. عندما سألت شركة Fast Company عما إذا كانت شركة Perplexity قد طلبت من مزود الزاحف التوقف عن حجب موقع Wired، أجاب فقط بأن "الأمر معقد".
دافع سرينيفاس عن ممارسات شركته، قائلاً للنشرة إن بروتوكول استبعاد الروبوتات "ليس إطارًا قانونيًا" واقترح أن الناشرين والشركات مثل شركته قد يتعين عليهم إنشاء نوع جديد من العلاقة. وبحسب ما ورد ألمح أيضًا إلى أن Wired استخدمت المطالبات عمدًا لجعل روبوت الدردشة الخاص بـ Perplexity يتصرف بالطريقة التي تصرف بها، لذلك لن يحصل المستخدمون العاديون على نفس النتائج. أما عن الملخصات غير الدقيقة التي أنتجتها الأداة، فقال سرينيفاس: "لم نقل قط إننا لم نهلوس قط".
