Edge server e Local Ai sono probabilmente la nuova combinazione vincente nel mercato dell’It. La potenza di calcolo sviluppata da un edge server, infatti, permette di far girare algoritmi di intelligenza artificiale praticamente a bordo macchina, consentendo di analizzare enormi quantità di dati provenienti dai sensori in tempo reale, senza la latenza tipica di sistemi basati su cloud. Ma si può fare anche di più: adottando adeguati software di virtualizzazione, un edge server può sostituire decine di Pc industriali, o addirittura fare le veci dei Plc. Questo almeno per la parte digitale, che viene virtualizzata sul server e bypassata nel dispositivo reale, connettendo il server direttamente alla parte che si occuperà poi di interfacciarsi con la macchina. È proprio un’installazione di questo tipo che da qualche tempo opera con successo nello stabilimento di Vhit, azienda lombarda specializzata nella produzione di componentistica per il mercato automotive – in particolare, pompe per l’olio e pompe per il vuoto.
Del case study di Vhit avevamo fatto cenno in una recente intervista (Dall’iperconvergenza all’edge computing e all’Intelligenza artificiale. Conversazione a 360 gradi con Massimo Chiriatti (Lenovo) tra i massimi tecnologi italiani – industria italiana) con Massimo Chiriatti, Lenovo Chief Technical Innovation Officer. Lenovo, multinazionale dell’informatica da 70 miliardi di dollari, ricopre un ruolo importante in questa applicazione, in quanto fornitore dell’infrastruttura It, costituita da edge server dotati di schede Gpu per l’AI, e con a bordo la piattaforma di virtualizzazione Lynx. Vhit, che arrivava da una lunga esperienza di utilizzo dei metodi di Lean Manufacturing, ha iniziato un percorso di trasformazione digitale nel 2016, partendo da un assunto: i dati archiviati non servivano a nulla, essi andavano raccolti in tempo reale, trasformati in informazioni e analizzati “qui e ora” per essere veramente d’aiuto nel prendere decisioni corrette e tempestive.
E muovendosi da questo punto forte, Vhit ha ristrutturato le sue dashboard di shopfloor per estrarre i dati, trasformarli in informazioni, analizzarli localmente anche con l’intelligenza artificiale. Dopo una fase di crescita delle applicazioni su vari edge computer, di recente l’azienda ha adottato una soluzione più strutturata e gestibile: ha installato un edge server Lenovo (in particolare si tratta del modello ThinkSystem SE350, che i nostri lettori conoscono bene – qui trovate il test Tutti i segreti del server edge ThinkSystemSE350 di Lenovo – Industria Italiana) dotato di software Lynx, un sistema operativo Unix-based in real time tramite il quale la macchina è in grado di virtualizzare svariati Edge Pc, ciascuno dei quali potrà operare indipendentemente dagli altri, pur condividendo lo stesso hardware. Il server è equipaggiato con una scheda dedicata Nvidia che viene usata come acceleratore per i compiti di intelligenza artificiale. E in effetti il primo compito al quale è stato chiamato il nuovo sistema è stato di far girare un sistema di controllo degli scarti a bordo macchina, che grazie all’uso dell’AI connessa a un sistema di visione digitale ha permesso di ridurre il numero di pezzi scartati all’incirca di un fattore 10.
Ma non finisce qui: l’uso del server infatti ha consentito di consolidare su un unico hardware di piccole dimensioni (il ThinkSystem SE350 è poco più grande di un laptop) tutti gli edge Pc che prima erano necessari per far girare vari software della linea di produzione; e ora, si sta lavorando addirittura per portare a bordo dell’SE350 la versione virtualizzata dei Plc: in pratica, la parte “digitale” del Plc non è altro che un edge computer, e virtualizzandola sul server si ottengono immediati vantaggi in termini di semplicità di utilizzo e gestione: diventa possibile utilizzare strumenti di debugging, cambiare rapidamente parametri, settaggi o addirittura tutto il software, e in generale si va a dotare il Plc di un’intelligenza che prima non aveva. Con questo tipo di configurazione, del Plc tradizionale rimane in uso solamente la parte che si occupa di “far parlare” le interfacce digitali con i sensori e gli attuatori, tramite uno strato software di comunicazione basato sull’IioT Gateway di Alleantia.
La soluzione adottata ha permesso di consolidare in un unico apparato facilmente gestibile una lunga serie di applicazioni AI sviluppate internamente: dal riconoscimento degli scarti alla manutenzione predittiva, dal controllo del consumo dell’utensile su determinati macchinari alla verifica che nei contenitori dei pezzi prodotti non finiscano per errore pezzi di altro tipo, dai sistemi di “early warning” che indicano lo scostamento dalla norma dei parametri di funzionamento delle macchine o delle caratteristiche dei pezzi prodotti, all’identificazione automatica immediata del motivo per cui un pezzo va scartato, senza dover attendere il fine turno – quando ormai è troppo tardi per intervenire sul problema.
Intelligenza Artificiale locale: all’inseguimento dei dati
Il case study su Vhit mostra i rilevanti vantaggi ottenibili con l’utilizzo dell’Intelligenza Artificiale nelle aziende manifatturiere, a patto di adottare soluzioni architetturali adeguate. In particolare, la soluzione adottata da Vhit si caratterizza per lo spostamento degli algoritmi di AI a bordo macchina, cosa resa possibile dall’adozione di Edge Server e piattaforme di virtualizzazione real time. Raccolta ed elaborazione avvengono quindi senza ritardi, consentendo una serie di utilizzi impensabili se ci fosse di mezzo la latenza introdotta dalla trasmissione verso datacenter remoti o sistemi cloud. «È stimolante quando abbiamo l’opportunità, come Lenovo, di incontrare clienti che comprendono davvero la tecnologia, ma soprattutto che la mettono in subordine perché c’è l’intelligenza umana che la sa usare bene – ci ha detto Chiriatti – Oggi trattiamo di macchine che parlano. Il nostro obiettivo, come Lenovo, è di creare una soluzione intelligente, affinché dai macchinari si possano fare uscire dei dati. Dati che i nostri Edge Server possono “inseguire”. Prima il paradigma era che noi fornivamo dei datacenter, e dei server nel datacenter, i quali elaboravano i dati provenienti dall’esterno. Oggi, accanto a quel modello di datacenter che conosciamo da anni, in più abbiamo gli Edge Server, macchine piccole con potenza elaborativa e Gpu all’interno, capaci di lavorare in un ampio range di temperature e umidità, quindi in grado di essere usate anche in un ambiente industriale. Mettendo quei sistemi fuori dal datacenter, nella “periferia”, nello shopfloor, si riesce a fare il “qui e ora” delle informazioni. Così si evita la latenza dei dati che devono viaggiare fino al cloud, o fino al data center, e poi tornare allo stabilimento. Lenovo ha una soluzione davvero globale, dall’edge al cloud, passando dal data center. Grazie alla lungimiranza di un cliente come Vhit, abbiamo realizzato sistemi dove puoi virtualizzare l’edge server, si può monitorare, e si può fare Local AI sulla macchina utensile».
Ma quale deve essere quindi il ruolo dell’AI in ambito manifatturiero? Non vorremo creare macchine capaci di prendere decisioni? «L’AI sull’Edge Server Lenovo riesce a correlare dei dati che prima non era così facile correlare – vibrazioni, energia elettrica, calore – esemplifica Chiriatti – perché gli utensili che creano oggetti sofisticati vanno incontro a una naturale usura. Prima si doveva fare una valutazione un po’ “spannometrica”, non si poteva predire con precisione quando l’utensile si stava per rompere. Se lo si lasciava arrivare a rottura, si causava una perdita. E se lo si cambiava troppo presto si aveva comunque una perdita, perché l‘utensile costa. Qui l’intelligenza artificiale non prende la decisione, ma è in grado di suggerire un range più preciso rispetto all’intuizione umana, perché è capace di esaminare tutti i diversi parametri in velocità e in economicità, cosa che gli umani non sono in grado di fare. La decisione, quindi rimane umana – non dovremmo lasciare alla macchina il compito di decidere tutto per noi».
La digital transformation basata sul “qui e adesso”
Ma come inizia il percorso di trasformazione digitale di Vhit? Perché l’azienda ha intrapreso questo viaggio? «Questo percorso inizia con una data precisa, maggio 2016 – ci ha detto Corrado La Forgia, operation manager & managing director di Vhit – Questa azienda aveva già un processo molto ben strutturato di Lean Manufacturing, di ispirazione Toyota: produzione snella, produrre quello che serve quando serve, con grande propensione al visual management. Ma a un certo punto abbiamo realizzato che c’era un problema: all’epoca c’era una corrente di pensiero secondo la quale scrivere le cose permetteva di ricordarle meglio. Ma la realtà è che se scrivo un dato, non lo sto utilizzando. E noi scrivevamo i dati ma non li utilizzavamo, nessuno andava ad analizzarli. Il problema, insomma, era che noi avevamo una valanga di dati ben strutturati che non si trasformavano in informazioni. Ora, se non trasformi il dato in informazione, non fai parlare l’impianto. E se l’impianto non parla, non migliori le prestazioni, la produttività, la competitività. Ma un’azienda come la nostra, che è nel campo delle commodity, deve fare competizione. Oltretutto operiamo nel settore automotive, un settore soggetto a profondi cambiamenti, e dobbiamo essere competitivi sui prodotti e sui processi. Ma come puoi essere competitivo se i tuoi dati giacciono depressi in un armadio?».
Da questa esigenza e da questa situazione dunque è partita la trasformazione digitale di Vhit, che ha visto una prima fase nella quale sono state trasformate le varie dashboard dello shopfloor management cycle, usate per il lean manufacturing. La trasformazione puntava prima di tutto a estrarre i dati dalle dashboard, poi a trasformarli in informazioni, infine a rendere automatica l’estrazione. «Siamo partiti con dei fogli Excel, io e il responsabile Ict. Poi abbiamo cercato altre persone in grado di seguirci in quello che era un approccio quasi pionieristico, con la visione del “qui e adesso”: avere i dati qui e adesso, analizzarli qui e adesso, trasformarli in informazioni utili a prendere decisioni qui e adesso. A partire da questa visione abbiamo fatto evolvere il nostro sistema, e man mano che anche le tecnologie evolvevano, ci siamo concentrati prima sull’acquisizione dei dati, poi sul loro trasferimento, e infine sulla loro elaborazione. L’ultimo punto è importante, perché se dispongo da tanti dati, e voglio avere le informazioni qui e subito, specie con gli algoritmi di intelligenza artificiale, se riesco a fare le elaborazioni dove le cose accadono (usando, per esempio, l’edge computing), evito di dover andare nel cloud e riduco la latenza. Ed è ciò che stiamo facendo adesso, per esempio con controlli ottici basati su intelligenza artificiale, che ci hanno permesso di ridurre lo scarto di pezzi dall’1-2% allo 0,1-0,2%, creando valore. Inoltre, facendo lavorare la tecnologia, metto gli uomini nelle condizioni migliori per fare quello che può: pensare. L’execution dei calcoli di Excel la lasciamo all’intelligenza artificiale, che lo sa fare meglio di noi, e agli uomini riservo il judgement: decidere se quello che viene proposto dall’AI va bene o no. E questo ci sta dando grandi vantaggi». L’Intelligenza Artificiale, La Forgia la conosce bene: non per nulla è autore, insieme proprio a Massimo Chiriatti, del manifesto “L’intelligenza Artificiale non è nemica: dobbiamo imparare a lavorarci insieme”, scritto con Nicola Intini e Paola Liberace, nel quale si definiscono meglio alcuni concetti legati a che cosa è l’AI, quale può essere il suo ruolo, e quali gli atteggiamenti da tenere nei confronti di queste tecnologie.
Gestire il day by day di decine di Pc è un problema
Il percorso che ha portato Vhit all’adozione di un Edge Server inizia dunque parecchio tempo fa, ma qual è stato il fattore che ha portato a preferire l’installazione di un server a soluzioni più tradizionali? Il fatto è che le soluzioni “tradizionali” erano state provate, ma presentavano una serie di problematiche. «Sulle nostre linee di assemblaggio applichiamo dei controlli ottici, per esempio per verificare che il pezzo sia buono o sia uno scarto. I sistemi che usavamo all’inizio, a scala di grigio, erano soggetti a problemi di illuminazione – ci spiega Riccardo Sesini, digital transformation manager di Vhit – Oltre a questo contesto, ce n’era anche uno legato alle macchine utensili, dove c’erano delle esigenze legate alla manutenzione, che veniva fatta in modalità preventiva (secondo le ore lavorate) ma si voleva passare a una modalità predittiva (sostituzione dei pezzi quando veramente necessario per evitare rotture). Oltre a questi due esempi ce ne sono molti altri ma già questo dà un’idea delle esigenze che avevamo. Per risolvere i problemi la prima cosa che abbiamo realizzato è stata un’architettura per la raccolta e l’utilizzo dei dati, sfruttando un Pc con un software (una sorta di IoT bridge) che prendesse i dati dalle macchine utensili. I dati da lì andavano su un edge pc, poi andavano su un cloud dove venivano analizzati per esempio per le applicazioni di manutenzione predittiva».
Il fatto è che, mano a mano che la soluzione prendeva piede, gli uomini di Vhit creavano sempre nuovi algoritmi di AI da applicare ai singoli macchinari. E a un certo punto, è stato deciso che questi algoritmi (ormai mission critical), non dovevano più girare al centro, ma vicino alla macchina, per non avere problemi di latenza. Così ci si è trovati con un normale Pc sul quale giravano sia l’IoT gateway, sia “n” algoritmi di AI da gestire come classici servizi di Windows. La situazione era complicata dal fatto che, per esempio, gli algoritmi di AI andavano modificati nel tempo a livello centrale, e le versioni aggiornate andavano ricaricate sui Pc (che nel frattempo si erano moltiplicati). «A un certo punto ci siamo trovati con una linea, e decine di applicazioni da gestire su un normale Pc. Con le classiche operazioni di DevOps: se devo aggiornare un’app perché magari aggiorno un modello di intelligenza artificiale, devo andare fisicamente (o con un desktop remoto) su questo Pc, aggiornare l’applicazione e farla ripartire. Oppure, se cade un applicativo, devo accedere al pc per sistemare la problematica. Ma con oltre 100 macchine utensili e oltre 25 linee di assemblaggio, ci siamo trovati in una situazione dove era complicato gestire il day by day degli algoritmi e in generale dei programmi che giravano a bordo linea».
La soluzione: virtualizzare l’hardware a bordo linea
La soluzione al problema di gestire decine di Pc – oltretutto poco adatti al funzionamento in shopfloor – è arrivata da Lenovo, con il portfolio di edge server ThinkSystem, e precisamente il modello SE350. Per chi non lo sapesse, l’Edge Server è la versione informatica di Rambo: una macchina da guerra nata per operare in ambienti ostili (caldo, polvere, vibrazioni…), capace di cavarsela da sola (senza la presenza in loco di tecnici esperti a gestirla) e in grado di resistere ad attacchi o tentativi di intrusione, cyber o fisici. E in più, dotata di grande potenza di calcolo anche per compiti complessi di Intelligenza Artificiale e Machine Learning, grazie a schede dedicate.
«Abbiamo sostituito i vari Pc con un server di Lenovo – prosegue Sesini – sul quale è installata una piattaforma di virtualizzazione sulla quale possiamo far girare “n” software per ciascuna linea di assemblaggio o macchina utensile. Quindi tutte le operazioni classiche di DevOps, aggiornamento eccetera diventano centralizzate, molto più facili da espletare e molto più veloci, con un netto vantaggio lato operations». È interessante notare che un singolo server ThinkSystem SE350 viene utilizzato per gestire tutte le macchine virtuali relative a due linee di assemblaggio. Il che non testimonia solo l’elevata potenza di calcolo della macchina, ma anche la sua affidabilità, visto che non è stato necessario installare due SE350 in coppia ridondata.
Il software
Per la parte relativa agli algoritmi di intelligenza artificiale, all’inizio Vhit si è rivolta al mercato, ma oggi crea tutto al suo interno. L’azienda conta oggi su due data scientist dedicati, ma in più la conoscenza delle tecnologie è stata diffusa internamente, cosicché oggi anche personale di altri reparti – per esempio, ingegneri meccanici di produzione – è in grado di realizzare applicazioni AI. Per quanto riguarda la piattaforma su cui il sistema è basato, sull’SE350 possono essere installate varie soluzioni di virtualizzazione. In questo caso, è stata scelta la soluzione Lynx Mosa.ic, al posto dei più comuni virtualizzatori di tipo business, in quanto si tratta di un software concepito come un sistema operativo Real Time, e quindi particolarmente adatto all’uso industriale e più in generale nel controllo di apparati che richiedono elevata velocità di risposta e assoluta sicurezza di funzionamento – tanto da essere utilizzato dalla maggior parte dei produttori di avionica (fra i clienti troviamo Airbus, Boeing, Nasa, General Dynamics, Lockeed Martin, Northrop Grumman, Raytheon eccetera). Un sistema operativo real time, ricordiamo, è un software in grado di commutare fra i vari task molto velocemente, tanto da dare l’impressione che multipli programmi siano eseguiti contemporaneamente sullo stesso processor core.
«Su questa piattaforma andiamo poi a installare dei container, che sono le applicazioni che facciamo girare. Di fatto, non andiamo a simulare o virtualizzare interi Pc, come si fa per esempio con le tecnologie Vdi, ma sfruttiamo un’architettura a microservizi lato singola macchina, facendo girare singole applicazioni» conclude Sesini. Una soluzione di questo tipo presenta diversi lati positivi, dal basso overhead al totale isolamento dei container – tanto che, se un’applicazione dovesse andare in crash, non influenzerebbe minimamente il funzionamento di tutti gli altri microservizi che stanno girando sul server. E se si dovesse aggiornare un algoritmo di IA, potrebbe essere sostituito e fatto ripartire senza dover fermare gli altri container. Tutte le operazioni sul server, naturalmente, vengono svolte da remoto. Per i task di ordinaria amministrazione, e in generale di gestione del server, si utilizza un desktop remoto tipo Vnc. La gestione dei container invece è remotizzata direttamente dalla piattaforma Lynx.
Virtualizzare il Plc
Ma l’utilizzo di questa architettura di virtualizzazione presenta anche un altro vantaggio, che Vhit sta al momento sperimentando. «Al momento siamo ancora in fase di definizione e sperimentazione, ma un altro vantaggio di questa piattaforma è che è possibile virtualizzare non solo i Pc, ma anche i Plc. Sarà il nostro prossimo passo». spiega Sesini. In Vhit ci sono i classici Plc che girano su Pc industriali. Ma il Plc, dal punto di vista software, è un mondo a sé, ed è una tecnologia piuttosto obsoleta, per cui per esempio è difficile fare il debugging quando l’apparecchio si blocca. «Sulle nostre linee vediamo che molte fermate tecniche sono dovute al Plc che si ferma – spiega Sesini – e andare a mettere le mani sul programma del Plc per capire dove il software si è bloccato, senza un debugger è molto difficile. Quello che stiamo cercando di capire è se, virtualizzando il software del Plc e mettendolo in un container all’interno di questa infrastruttura, potremo applicare le classiche logiche del debug lato software per capire perché il Plc si blocca. Così, sanando anche questi bug, riusciremo a eliminare quegli sprechi dovuti a fermate tecniche della linea, ottenendo un concreto e rilevante vantaggio lato business». Per arrivare a questo nuovo traguardo, comunque, bisogna risolvere problematiche di due tipi. Dal punto di vista software si tratta appunto di far girare sotto forma di container il programma che normalmente risiede nella parte “digitale” del Plc, in modo da poterlo trattare come gli altri software dal punto di vista dello sviluppo e (soprattutto) del debugging. Dal punto di vista hardware, invece, si tratta di definire in che modo “bypassare” la sezione digitale del Plc (che fondamentalmente è costituito da un Pc industriale e da un modulo di I/O analogico/digitale per comunicare con i sensori e gli attuatori) per consentire al modulo analogico di trasmettere e ricevere dati e istruzioni direttamente al/dal server.
Risultati concreti
Che risultati concreti è possibile ottenere dall’impiega dell’intelligenza artificiale nel manufacturing? Ci sono Kpi misurabili? «Certo – afferma Sesini – per esempio, nel caso d’uso del riconoscimento degli scarti di produzione, quando usavamo un sistema ottico che era soggetto a problemi di illuminazione avevamo un tasso di falsi positivi intorno al 2,3%. Ovvero, un 2,3% di pezzi buoni che buttavamo via. Oggi, con il sistema ottico sostituito dall’AI, i falsi positivi sono scesi allo 0,2%. Quindi una riduzione intorno al 2% di falsi positivi, che su un milione di pezzi che produciamo fa la differenza. L’ultimo “dettaglio” è rappresentato dai costi. Quanto costa all’azienda installare un sistema basato su Edge Server e Ai, al posto di macchine e soluzioni “tradizionali”? «Posso farle un esempio – spiega Sesini – un sistema di riconoscimento ottico degli scarti, sul mercato, costa anche 20.000 euro. Quello che abbiamo installato noi, comprando all’esterno solo la telecamera, e sviluppando internamente il software AI e di interfacciamento, ci è costato circa 2.000 euro».
(Ripubblicazione articolo del 5 luglio 2022)
