PrismML: Πώς τα «μικροσκοπικά» γλωσσικά μοντέλα φέρνουν την Τεχνητή Νοημοσύνη απευθείας στα smartphone μας

Η κυρίαρχη τάση στην τεχνητή νοημοσύνη υπαγορεύει ότι όσο μεγαλύτερο είναι ένα γλωσσικό μοντέλο, τόσο πιο έξυπνο γίνεται. Ωστόσο, η ανερχόμενη startup PrismML έρχεται να ανατρέψει αυτή την παραδοχή, αποδεικνύοντας ότι τα ισχυρά μοντέλα συλλογιστικής (reasoning LLMs) δεν χρειάζεται να καταλαμβάνουν τεράστιους πόρους σε απομακρυσμένα data centers, αλλά μπορούν να λειτουργήσουν απευθείας σε προσωπικούς υπολογιστές και smartphones.

Συμπίεση χωρίς απώλεια νοημοσύνης: Το επίτευγμα του Bonsai 2

Η νεοφυής εταιρεία, η οποία ιδρύθηκε από ερευνητές του Caltech με επικεφαλής τον καθηγητή Μπάμπακ Χασίμπι, παρουσίασε πρόσφατα το μοντέλο Bonsai 2 27B. Πρόκειται για μια εντυπωσιακά συμπιεσμένη εκδοχή του ανοιχτού κώδικα μοντέλου Qwen3.8 27B της Alibaba, το μέγεθος του οποίου μειώθηκε στα μόλις 5,9 GB — δηλαδή μείωση κατά 9 έως 10 φορές σε σχέση με το αρχικό.

Το πιο εντυπωσιακό στοιχείο της τεχνολογίας της PrismML είναι ότι αυτή η δραστική συρρίκνωση δεν θυσιάζει την αποτελεσματικότητα. Το Bonsai 2 διατηρεί το 98% των συνολικών επιδόσεων του αρχικού μοντέλου στις καθιερωμένες δοκιμές αξιολόγησης (benchmarks), βελτιώνοντας το ποσοστό 95% της πρώτης έκδοσης Bonsai, η οποία έχει ήδη συγκεντρώσει πάνω από 11 εκατομμύρια λήψεις.

Η μέθοδος της εταιρείας βασίζεται στη δραστική απλοποίηση των «βαρών» (weights) του νευρωνικού δικτύου. Αντί για την παραδοσιακή αποθήκευση 16-bit ανά βάρος, η PrismML χρησιμοποιεί μια τεχνική τριών καταστάσεων (+1, -1 ή 0), μειώνοντας κατακόρυφα τον απαιτούμενο αποθηκευτικό χώρο και την κατανάλωση μνήμης RAM.

Τοπική εκτέλεση, ιδιωτικότητα και το μέλλον του On-Device AI

Η δυνατότητα τοπικής εκτέλεσης εξελιγμένων μοντέλων AI αλλάζει ριζικά την εμπειρία χρήσης. Όπως επισημαίνει ο σύμβουλος της PrismML και συνιδρυτής της Databricks, Ίον Στόικα, η τεχνολογία αυτή προσφέρει δωρεάν επεξεργασία χωρίς κόστος συνδρομών στο cloud, ενώ παράλληλα διασφαλίζει απόλυτη ιδιωτικότητα, καθώς τα προσωπικά δεδομένα δεν εγκαταλείπουν ποτέ τη συσκευή του χρήστη.

Έχοντας ήδη αντλήσει χρηματοδότηση εκκίνησης ύψους 22,25 εκατομμυρίων δολαρίων από επενδυτικά κεφάλαια όπως η Khosla Ventures και η Cerberus Capital, η PrismML φημολογείται πως βρίσκεται ήδη σε επαφές με τεχνολογικούς κολοσσούς, συμπεριλαμβανομένης της Apple. Επόμενος στόχος της εταιρείας είναι η εφαρμογή της τεχνικής συμπίεσης σε μοντέλα εκατοντάδων δισεκατομμυρίων παραμέτρων, ανοίγοντας τον δρόμο για εξαιρετικά ισχυρή τεχνητή νοημοσύνη στην τσέπη κάθε καταναλωτή.