Durante il Microsoft Build 2023, Qualcomm Technologies ha mostrato le sue ultime innovazioni nel campo dell'AI on-device, tra cui l'IA generativa in esecuzione sulle piattaforme di calcolo Snapdragon, oltre a nuovi percorsi per gli sviluppatori che realizzano applicazioni per i PC Windows 11 alimentati da Snapdragon.
"Affinché l'AI generativa diventi veramente mainstream, gran parte dell'inferenza dovrà essere eseguita sui dispositivi edge",
ha dichiarato Ziad Asghar, senior vice president of product management di Qualcomm. "Il nostro hardware e software AI migliore della categoria consente agli sviluppatori di sfruttare appieno le nostre potenti capacità di intelligenza artificiale, offrendo nuove incredibili esperienze utente su laptop, telefoni e altri dispositivi dotati di Snapdragon".
Il futuro dell'AI deve includere sia l'AI su dispositivo che quella su cloud. L'esecuzione di applicazioni AI sul dispositivo migliora l'efficacia dei costi, la privacy, la personalizzazione e la latenza. Le piattaforme Snapdragon includono un Qualcomm AI Engine dedicato che elabora i carichi di lavoro AI in modo più efficiente rispetto all'elaborazione puramente su CPU o GPU, rendendo possibile l'AI on-device anche in dispositivi piccoli, sottili e leggeri.
In occasione del Microsoft Build, Qualcomm Technologies ha mostrato nuovi
strumenti per aiutare a sviluppare l'AI generativa sulla prossima generazione di PC Windows 11. Stable Diffusion, un modello di AI generativa da testo a immagine con oltre 1 miliardo di parametri, viene ora eseguito interamente sul dispositivo e l'azienda afferma di vedere un percorso chiaro per l'esecuzione di modelli con fino a 10 miliardi di parametri sui dispositivi nei prossimi mesi, compresi i modelli linguistici di grandi dimensioni (LLM).
Per migliorare il Qualcomm AI Stack e aiutare gli sviluppatori a creare la prossima generazione di esperienze AI su dispositivo, il Qualcomm AI Engine Direct SDK è stato reso disponibile al pubblico per la prima volta al Microsoft Build. Con ONNX Runtime e Qualcomm AI Stack, è possibile eseguire i carichi di lavoro AI su Snapdragon 8cx Gen 3 AI Engine
sia su Surface Pro 9 5G che su Lenovo ThinkPad x13s.