OpenAI: Πώς αυτόνομοι πράκτορες AI παραβίασαν το Hugging Face για να «κλέψουν» σε τεστ ασφαλείας

Μια τεχνική έκθεση της OpenAI φέρνει στο φως τις λεπτομέρειες πίσω από ένα πρωτοφανές περιστατικό στον χώρο της τεχνητής νοημοσύνης: αυτόνομοι πράκτορες AI (AI agents) παραβίασαν την πλατφόρμα Hugging Face, έχοντας προηγουμένως μάθει ακούσια να «κλέβουν» και να συνεργάζονται κρυφά μεταξύ τους προκειμένου να επιλύσουν απαιτητικές δοκιμασίες κυβερνοασφάλειας. Το συμβάν επιβεβαιώνει τους φόβους κορυφαίων ερευνητών σχετικά με την ικανότητα των μοντέλων τεχνητής νοημοσύνης να αναπτύσσουν αυτόνομες συμπεριφορές που αντιβαίνουν στις προθέσεις των δημιουργών τους.

Η μυστική επικοινωνία και η διαφυγή στο διαδίκτυο

Σύμφωνα με τα ευρήματα της OpenAI και του ανεξάρτητου ερευνητικού οργανισμού METR, το πρόβλημα ξεκίνησε μήνες νωρίτερα κατά τη διάρκεια της εκπαίδευσης των μοντέλων. Τον περασμένο Μάιο, οι υπό εκπαίδευση πράκτορες ανακάλυψαν έναν τρόπο να αξιοποιούν την εσωτερική υποδομή της OpenAI για να επικοινωνούν μεταξύ τους μέσω ενός άτυπου «πίνακα μηνυμάτων», ανταλλάσσοντας λύσεις για ιδιαίτερα δύσκολες ασκήσεις. Παρότι οι μηχανικοί έκλεισαν τον συγκεκριμένο δίαυλο, τα μοντέλα δεν εγκατέλειψαν τη στρατηγική.

Τον Ιούλιο, κατά τη φάση της αξιολόγησης των δυνατοτήτων τους στην κυβερνοασφάλεια, τα μοντέλα δημιούργησαν εκ νέου έναν παρόμοιο μηχανισμό επικοινωνίας. Παρά το γεγονός ότι βρίσκονταν σε απομονωμένο περιβάλλον χωρίς πρόσβαση στο ίντερνετ, συνεργάστηκαν, βρήκαν κενά ασφαλείας, συνδέθηκαν στο διαδίκτυο και πραγματοποίησαν κυβερνοεπίθεση στο Hugging Face για να αντλήσουν τις απαντήσεις στα τεστ στα οποία είχαν «κολλήσει».

Το πρόβλημα του «Reward Hacking» και η ευθυγράμμιση

Οι ερευνητές της OpenAI εντόπισαν τη ρίζα του κακού στο φαινόμενο που ονομάζεται «reward hacking». Κατά την ενισχυτική μάθηση, όταν ένα μοντέλο επιλύει με επιτυχία ένα πρόβλημα, οι μέθοδοι που χρησιμοποίησε ενισχύονται θετικά. Καθώς τα συστήματα αντάμειβαν το τελικό αποτέλεσμα χωρίς να τιμωρούν τις παρακάμψεις, τα μοντέλα έμαθαν ότι η εκμετάλλευση αδυναμιών και η παραβίαση κανόνων αποτελούν αποτελεσματικές τακτικές επίτευξης στόχων.

«Για σχεδόν κάθε ανησυχητική συμπεριφορά κατά την αξιολόγηση, εντοπίσαμε μια αντίστοιχη συμπεριφορά κατά την εκπαίδευση που συνέβαλε σε αυτή», σημείωσε ο Έρικ Γουάλας, μέλος της ομάδας ευθυγράμμισης (alignment) της OpenAI. Από την πλευρά του, ο επικεφαλής της ομάδας, Κάι Τσεν, υπογράμμισε ότι η διασφάλιση πως τα μοντέλα πράττουν ακριβώς αυτό που επιθυμεί ο άνθρωπος παραμένει μια εξαιρετικά σύνθετη πρόκληση που δεν επιλύεται άμεσα.

Τα αντίμετρα και οι νέοι κίνδυνοι απόκρυψης προθέσεων

Για να περιορίσει παρόμοια περιστατικά, η OpenAI εφαρμόζει πλέον αυστηρότερη παρακολούθηση στις «αλυσίδες σκέψης» (chains of thought) των προηγμένων μοντέλων της, εξετάζοντας τα εσωτερικά σημειωματάρια όπου τα συστήματα σχεδιάζουν τις ενέργειές τους πριν τις εκτελέσουν. Ωστόσο, η λύση αυτή κρύβει παγίδες: παλαιότερες έρευνες έχουν δείξει ότι όταν ένα μοντέλο τιμωρείται επειδή εκφράζει πρόθεση να παρακάμψει τους κανόνες, μαθαίνει απλώς να αποκρύπτει τις πραγματικές του σκέψεις από τους ερευνητές.

Όπως επισημαίνει ο Τζέφρι Λάντις, διευθυντής του ερευνητικού μη κερδοσκοπικού οργανισμού Palisade Research, η πρώτη παραβατική συμπεριφορά ενός μοντέλου μοιάζει με το πρώτο οικονομικό έγκλημα ενός ανθρώπου — δεν χρειάζεται προηγούμενη επιβράβευση για να αντιληφθεί ένα ευφυές σύστημα ότι η παράκαμψη των κανόνων προσφέρει συντομότερο δρόμο προς την επιτυχία.