Τεχνητή Νοημοσύνη: Ενιαίο «στοπ» στο scraping περιεχομένου υιοθετούν OpenAI, Google και Microsoft

Σε μια κομβική συμφωνία για το μέλλον των πνευματικών δικαιωμάτων και της διαχείρισης περιεχομένου στο διαδίκτυο προχώρησαν οι μεγαλύτεροι τεχνολογικοί κολοσσοί στον τομέα της τεχνητής νοημοσύνης. Οι εταιρείες OpenAI, Google, Microsoft και Anthropic ανακοίνωσαν την πρόθεσή τους να υποστηρίξουν ένα κοινό πρότυπο, το οποίο θα επιτρέπει στους εκδότες και στους διαχειριστές ιστοσελίδων να εξαιρούνται αυτόματα από τη συλλογή δεδομένων (scraping) για την εκπαίδευση μοντέλων AI.

Ένα ενιαίο σήμα μέσω του αρχείου robots.txt

Μέχρι σήμερα, οι ιδιοκτήτες ιστοτόπων ήταν αντιμέτωποι με μια ιδιαίτερα περίπλοκη και χρονοβόρα διαδικασία. Προκειμένου να αποτρέψουν τα αυτοματοποιημένα λογισμικά (crawlers) των διαφόρων εταιρειών από το να αντλούν το περιεχόμενό τους χωρίς άδεια, έπρεπε να εισάγουν ξεχωριστές παραμέτρους και κανόνες για κάθε εταιρεία τεχνητής νοημοσύνης ξεχωριστά.

Η νέα λύση βασίζεται στην πρόταση που κατέθεσε ο Κέβιν Κέλι, επικεφαλής τεχνικών προτύπων της Anthropic, στο πλαίσιο της διεθνούς κοινοπραξίας Internet Engineering Task Force (IETF). Πρόκειται για ένα κοινό διακριτικό πολιτικής (policy token) που θα ενσωματώνεται στο κλασικό αρχείο robots.txt κάθε ιστότοπου. Μέσω αυτού του μοναδικού σήματος, οι εκδότες θα μπορούν να δηλώνουν οριζόντια τις προτιμήσεις τους σε πολλαπλούς παρόχους AI, χωρίς να χρειάζεται ξεχωριστή ρύθμιση για κάθε μεμονωμένο crawler.

Διαχωρισμός αναζήτησης και εκπαίδευσης AI

Βασική ανησυχία των διαδικτυακών εκδοτών ήταν ανέκαθεν ο κίνδυνος απώλειας επισκεψιμότητας, σε περίπτωση που ο αποκλεισμός των AI crawlers επηρέαζε αρνητικά την κατάταξή τους στις μηχανές αναζήτησης. Σύμφωνα με τις διαβεβαιώσεις της Microsoft και της Google, η εξαίρεση από τη συλλογή δεδομένων για AI training δεν θα επηρεάσει την παραδοσιακή ευρετηρίαση.

Η Microsoft διευκρίνισε ότι θα παρέχει λεπτομερείς επιλογές ελέγχου, διαχωρίζοντας την εκπαίδευση μοντέλων από τη διαδικασία του «grounding» —τη μέθοδο σύνδεσης των μοντέλων με αξιόπιστες πηγές σε πραγματικό χρόνο για τον περιορισμό των ανακριβειών. Ταυτόχρονα, τα sites θα συνεχίσουν να εμφανίζονται κανονικά στα αποτελέσματα του Bing. Αντίστοιχο διαχωρισμό έχει υιοθετήσει και η Google, επιτρέποντας στα μέσα ενημέρωσης να επιλέγουν εάν το περιεχόμενό τους θα τροφοδοτεί μοντέλα παραγωγικής τεχνητής νοημοσύνης ή θα παραμένει αποκλειστικά στα αποτελέσματα του Search.

Το χρονοδιάγραμμα εφαρμογής και η στάση της Meta

Όσον αφορά την εφαρμογή του νέου προτύπου, η Anthropic έχει ήδη ενσωματώσει το σήμα στα συστήματά της. Η OpenAI δεσμεύτηκε να το υλοποιήσει εντός των επόμενων μηνών, ενώ η Google και η Microsoft προγραμματίζουν την πλήρη ενσωμάτωσή του εντός του επόμενου έτους.

Στη συζήτηση παρενέβη και ο επικεφαλής επικοινωνίας της Meta, Άντι Στόουν, εκφράζοντας θετική διάθεση απέναντι στην πρωτοβουλία. Όπως σημείωσε, η δημιουργία ενός κοινού σήματος που μεταφέρει τις προτιμήσεις των δημιουργών ταυτόχρονα σε πολλαπλούς παρόχους αποτελεί ένα ουσιαστικό βήμα προόδου για τη βιομηχανία, αν και η εταιρεία δεν έχει διευκρινίσει ακόμη το επίσημο χρονοδιάγραμμα συμμόρφωσης των δικών της συστημάτων.