Η PrismML φέρνει τα εξαιρετικά συμπαγή LLM στα έξυπνα γυαλιά με επεξεργαστές Qualcomm

Σε ένα σημαντικό βήμα για την ενσωμάτωση της Τεχνητής Νοημοσύνης σε φορετές συσκευές (wearables) προχώρησε η PrismML, παρουσιάζοντας μια ειδική έκδοση των μικρών γλωσσικών της μοντέλων (LLMs), η οποία έχει βελτιστοποιηθεί για να εκτελείται απευθείας σε smart glasses που τροφοδοτούνται από επεξεργαστές της Qualcomm.

Η επίσημη επίδειξη πραγματοποιήθηκε στο πλαίσιο του συνεδρίου Snapdragon Summit της Qualcomm, όπου παρουσιάστηκε το μοντέλο Bonsai LLM τεχνολογίας 1-bit της PrismML. Το εν λόγω μοντέλο είναι σχεδιασμένο να λειτουργεί τοπικά στην πλατφόρμα Snapdragon AR1 Gen 1, επιτρέποντας την εκτέλεση σύνθετων διεργασιών AI χωρίς την ανάγκη συνεχούς σύνδεσης με απομακρυσμένους διακομιστές στο cloud.

Υψηλή απόδοση και πολυτροπικές δυνατότητες σε ελάχιστο μέγεθος

Η PrismML, η οποία ιδρύθηκε από ερευνητές του Τεχνολογικού Ινστιτούτου της Καλιφόρνιας (Καλτέκ) και έχει ως σύμβουλο τον καθηγητή Ίον Στόικα από το Πανεπιστήμιο της Καλιφόρνιας στο Μπέρκλεϊ, έχει γίνει γνωστή για την τεχνογνωσία της στη δραστική μείωση του όγκου των μεγάλων μοντέλων. Στη συγκεκριμένη περίπτωση, η εταιρεία κατάφερε να συμπιέσει το μέγεθος του μοντέλου κατά τέσσερις φορές, διατηρώντας παράλληλα σχεδόν αναλλοίωτη την απόδοσή του στα καθιερωμένα σημεία αναφοράς (benchmarks).

Η έκδοση που προορίζεται για έξυπνα γυαλιά διαθέτει 2 δισεκατομμύρια παραμέτρους και είναι ειδικά προσαρμοσμένη για επεξεργασία όρασης και φυσικής γλώσσας (multimodal vision and language). Αυτό σημαίνει ότι οι χρήστες των γυαλιών μπορούν να ρωτούν τη συσκευή σε πραγματικό χρόνο για αντικείμενα ή καταστάσεις που βρίσκονται στο άμεσο οπτικό τους πεδίο, λαμβάνοντας άμεσες και ακριβείς απαντήσεις.

Επικέντρωση στην ιδιωτικότητα και την τοπική επεξεργασία

Ο ευρύτερος στρατηγικός στόχος της PrismML επικεντρώνεται στην προώθηση μοντέλων ανοιχτών βαρών (open-weight AI), τα οποία εκτελούνται απευθείας πάνω στις συσκευές των χρηστών, αξιοποιώντας στο έπακρο την ήδη διαθέσιμη υπολογιστική ισχύ. Η προσέγγιση αυτή προβάλλεται ως μια αξιόπιστη εναλλακτική απέναντι στα κλειστά συστήματα των μεγάλων τεχνολογικών εργαστηρίων, εξασφαλίζοντας μεγαλύτερη προστασία της ιδιωτικότητας και περιορίζοντας την εξάρτηση από ενεργοβόρα κέντρα δεδομένων.

Το μέλλον των καταναλωτικών smart glasses

Η συνεργασία με την Qualcomm και η επιτυχής προσαρμογή του Bonsai LLM στα τσιπ Snapdragon αποτελεί ένα κρίσιμο βήμα προς την κατεύθυνση των αυτόνομων συσκευών επαυξημένης πραγματικότητας. Παρά το γεγονός ότι μέχρι στιγμής δεν έχουν ανακοινωθεί συγκεκριμένα εμπορικά προϊόντα έξυπνων γυαλιών που να ενσωματώνουν τη συγκεκριμένη τεχνολογία, η τεχνολογική επίδειξη ανοίγει τον δρόμο για τους κατασκευαστές υλικού να δημιουργήσουν την επόμενη γενιά ευφυών wearables.