Advantech ha mostrato la demo Generative AI con Mic-733-AO, basato su Nvidia Jetson Agx Orin. La demo mostra agli sviluppatori IA come trarre beneficio da maggiore immediatezza, sicurezza avanzata e costi di connettività ridotti rispetto all’IA generativa in cloud. I modelli Generative AI del laboratorio di intelligenza artificiale di Jetson offrono un modello di IA fondazionale gratuito che consente la personalizzazione e riduce drasticamente i tempi di sviluppo grazie al sistema Edge Generative AI Mic-733-AO.
IA Generativa su Mic-733-AO
Il sistema Mic-733-AO Edge Generative AI di Advantech, compatibile con i modelli Nvidia Generative AI del laboratorio IA di Jetson, è ora in grado di eseguire in modo efficiente modelli linguistici di grandi dimensioni (Llm), modelli di linguaggio visivo (Vlm), trasformatori di visione (ViT), generazione di immagini e Llamaspeak nell’edge, grazie a Nvidia Jetson Agx Orin. Le offerte uniche della piattaforma abbracciano diversi livelli, fra cui calcolo accelerato, software IA vitale e modelli preaddestrati, agevolando la creazione, la personalizzazione e l’implementazione di modelli di IA generativa adatti a svariati impieghi e luoghi. Con i modelli Generative AI del Jetson AI Lab, gli sviluppatori possono sfruttare la tecnica di Retrieval-Augmented Generation per connettere Llm e Vlm al patrimonio di conoscenze di un’azienda. Questo approccio evita il ricorso al tradizionale addestramento dei modelli IA, consentendo semplici interazioni conversazionali con il sistema per ottenere inferenze IA che accorciano drasticamente i tempi di sviluppo.
Mic-733-AO di Advantech vanta prestazioni di intelligenza artificiale elevate e molteplici interfacce video, come telecamera IP, telecamere industriali Usb/gigE, telecamere Gmsl, Lidar e altri sistemi, consentendo l’operatività del modello di IA generativa basata sull’edge. La progettazione termica eccezionale previene crash da surriscaldamento, anche quando Nvidia Jetson Agx Orin opera a piena capacità.
IA generativa nell’edge per applicazioni ad alta reattività
L’IA generativa sta rivoluzionando l’interazione fra esseri umani e computer, creando nuovi contenuti sulla base di svariati input e output, come testi e immagini. Lo spostamento della domanda dal cloud all’edge posiziona la GenAI come soluzione ideale per ambienti ad alta reattività e bassa latenza.
L’IA generativa basata sull’Edge offre numerosi vantaggi rispetto alle soluzioni in cloud
- Risposta immediata: I sistemi di edge computing, integrando sorgenti di dati come telecamere e sensori, consentono risposte GenAI immediate senza i ritardi associati al caricamento dei dati sul cloud.
- Sicurezza informatica: I dati restano all’interno del sistema edge, evitando i rischi di sicurezza associati alla trasmissione dei dati al cloud.
- Connessione di rete stabile: Funzionando senza una rete wireless, il sistema edge memorizza i dati localmente fino al ripristino della rete, a differenza dell’IA in cloud che cessa di funzionare in assenza di connettività di rete.
- Costi di trasmissione ridotti: L’Edge AI non comporta costi di trasmissione se la comunicazione backend non è necessaria ed è sufficiente una trasmissione a larghezza di banda ridotta, più economica rispetto alla banda larga richiesta dal caricamento sul cloud.
