Τεχνητή νοημοσύνη: Πρώην στελέχη των Anthropic και METR βάζουν «φρένο» στους ανεξέλεγκτους AI agents

Καθώς η τεχνητή νοημοσύνη εξελίσσεται με ραγδαίους ρυθμούς, η ενσωμάτωση αυτόνομων πρακτόρων (AI agents) στον επιχειρηματικό τομέα δημιουργεί νέες, πρωτόγνωρες προκλήσεις ασφάλειας και αξιοπιστίας. Σε μια προσπάθεια να δώσουν λύση στο συγκεκριμένο ζήτημα, ο Ρούνε Κβιστ, ένα από τα πρώτα στελέχη της Anthropic, και ο Ρατζίβ Ντατάνι, πρώην επιχειρησιακός διευθυντής (COO) του ερευνητικού οργανισμού METR, ίδρυσαν την startup AIUC (Artificial Intelligence Underwriting Company).

Η νεοφυής εταιρεία στοχεύει να λειτουργήσει ως ένας ανεξάρτητος φορέας πιστοποίησης και ελέγχου για συστήματα τεχνητής νοημοσύνης, επιτρέποντας στις επιχειρήσεις να υιοθετούν την τεχνολογία χωρίς τον φόβο απρόβλεπτων συμπεριφορών ή διαρροών δεδομένων.

Το πρότυπο AIUC-1 και ο έλεγχος ασφαλείας

Βασισμένη στο γνωστό πρότυπο κυβερνοασφάλειας SOC 2, η AIUC ανέπτυξε το πρωτόκολλο αξιολόγησης «AIUC-1». Για τη διαμόρφωσή του, οι ιδρυτές συνεργάστηκαν με μια κοινοπραξία περίπου 250 επικεφαλής ασφαλείας και διαχείρισης ρίσκου από κορυφαίους οργανισμούς, καταγράφοντας τις βασικές απαιτήσεις και ανησυχίες τους.

Η διαδικασία αξιολόγησης περιλαμβάνει περισσότερες από 5.000 δοκιμές αντοχής, οι οποίες εξετάζουν πώς αντιδρά ένας AI agent σε σενάρια παραβίασης ασφαλείας (jailbreaks), παραγωγής ψευδών πληροφοριών (hallucinations) και διαρροής ευαίσθητων δεδομένων. Αν και η AIUC αξιοποιεί αυτοματοποιημένα εργαλεία τεχνητής νοημοσύνης για την εκτέλεση των ελέγχων και την ανάλυση των δεδομένων, η τελική έκθεση –που ξεπερνά συχνά τις 100 σελίδες– επικυρώνεται πάντοτε από εξειδικευμένους ανθρώπινους ελεγκτές.

Όπως επισημαίνει ο Ρούνε Κβιστ, τράπεζες, νοσοκομεία και κυβερνητικοί οργανισμοί δεν διστάζουν πλέον να αξιοποιήσουν την τεχνητή νοημοσύνη λόγω έλλειψης δυνατοτήτων των μοντέλων, αλλά επειδή δεν μπορούν να εγγυηθούν στους πελάτες τους ότι τα συστήματα αυτά θα παραμείνουν εντός των προκαθορισμένων ορίων λειτουργίας.

Επενδυτική εμπιστοσύνη 55 εκατομμυρίων δολαρίων

Η πρόταση της AIUC προσέλκυσε ισχυρό ενδιαφέρον από τη διεθνή επενδυτική κοινότητα, καθώς η εταιρεία ανακοίνωσε την ολοκλήρωση ενός γύρου χρηματοδότησης Series A ύψους 40 εκατομμυρίων δολαρίων υπό την ηγεσία της Ribbit Capital και τη συμμετοχή της First Harmonic. Μαζί με τον αρχικό γύρο εκκίνησης (seed) ύψους 15 εκατομμυρίων δολαρίων –όπου συμμετείχαν ο Νατ Φρίντμαν μέσω του fund NFDG, η Emergence, η Terrain και ο συνιδρυτής της Anthropic, Μπεν Μαν– η συνολική χρηματοδότηση της εταιρείας ανέρχεται πλέον στα 55 εκατομμύρια δολάρια.

Στο πελατολόγιο της AIUC συγκαταλέγονται ήδη γνωστές εταιρείες του τεχνολογικού κλάδου, όπως οι Cursor, Lovable, Harvey και ElevenLabs. Η πρωτοβουλία αυτή ευθυγραμμίζεται με τις πρόσφατες εκκλήσεις κορυφαίων στελεχών της βιομηχανίας, όπως ο διευθύνων σύμβουλος της Anthropic, Ντάριο Αμοντέι, ο οποίος ζήτησε αυστηρότερο έλεγχο και τη συμμετοχή ανεξάρτητων αξιολογητών για την επαλήθευση της ασφάλειας των μοντέλων νέας γενιάς.