Il supercalcolo è da sempre un asset strategico per i Paesi che aspirano alla leadership mondiale, ma negli ultimi anni è diventato fondamentale non solo per l’apparato militare e per la ricerca scientifica, ma anche per l’industria. Se infatti le applicazioni “storiche” dei supercomputer sono collegate principalmente al nucleare bellico (simulazione di esplosioni di ordigni eccetera) o alla scienza applicata (dai calcoli fluidodinamici alle previsioni meteo), stanno crescendo gli impieghi nel settore civile: dalla simulazione di sistemi complessi applicati alla progettazione di prodotti nell’industria manifatturiera, alle applicazioni collegate all’intelligenza artificiale.
Con tutto questo, la domanda di supercalcolo si è impennata negli ultimi anni, così come la potenza delle macchine, cresciuta esponenzialmente da quando si è iniziato a utilizzare sistemi a parallelismo massivo, che hanno reso più semplice scalare le prestazioni verso l’alto. In questo quadro di espansione della domanda si colloca l’annuncio del nuovo arrivo nell’arsenale del Cineca, il sistema Marconi 100 di Ibm che, strettamente imparentato con i supercomputer che dominavano fino a giugno le classifiche delle Top 500 macchine più potenti, ha riportato in alto l’Italia nella classifica mondiale, installandosi al secondo posto assoluto fra le macchine più performanti operative in Europa.
Per saperne di più su questo mostro abbiamo parlato con chi lo conosce bene: Marco Briscolini di Ibm, Ai&Hpc Business Development Executive Ibm Italia. A lui abbiamo chiesto per prima cosa come nasce il progetto di Marconi 100.
Alle origini del progetto
«Il progetto Marconi 100 risale almeno un paio di anni fa – racconta Briscolini – È un progetto che è stato finanziato per quasi il 50% dall’Unione Europea e rientra in un investimento che l’Europa sta facendo verso l’area del supercalcolo nei confronti di alcuni centri europei di riferimento, come appunto il Cineca, o il Barcelona Supercomputing Center. C’è stata una fase iniziale di qualifica fornitori, sulla base delle referenze e poi c’è stata la partecipazione alla gara vera e propria».
Lei come è coinvolto nel progetto?
«Io mi occupo del settore del supercalcolo ormai quasi da 30 anni, sono entrato in Ibm nell’87, però dopo la laurea avevo lavorato in Università per 3-4 anni interessandomi alle problematiche di simulazione, soprattutto nell’ambito della fisica dei fluidi. Naturalmente ero un utilizzatore di computer, non un venditore. Quando sono entrato in Ibm ho continuato questo percorso, inizialmente come sistemista e poi nel settore vendite. Mi sono sempre occupato a livello nazionale di questo tipo di offering, che ha delle sue peculiarità, perché di solito è sempre alla frontiera delle soluzioni tecnologiche disponibili e quindi è anche affascinante, perché si va su delle soluzioni innovative e che poi si riflettono anche sul mercato dei sistemi più tradizionali, un po’ come la Formula 1 nei confronti del mercato automobilistico. È un settore di punta dove le tecnologie sono particolarmente esasperate, che però produce una ricaduta nei settori più tradizionali dell’informatica».
Il Progetto Marconi
Tutto inizia quindi da un progetto europeo. «Cineca ha avuto un finanziamento nel 2015 sul progetto Marconi – continua Briscolini – quel progetto è stato vinto dalla Lenovo, che l’anno precedente aveva acquisito da Ibm il business dei server x86, quindi è stata un po’ una prosecuzione logica dei progetti che Ibm aveva fatto fino al 2014 con il Cineca. Questo progetto era programmato con una durata di 4/5 anni. Il primo step è stato appunto il progetto Marconi, e lo step successivo è stato il Marconi 100, un’evoluzione del progetto. L’aspetto fondamentale che qualifica il progetto Marconi 100 è stato l’importante cambiamento tecnologico, legato a ciò che sta succedendo nel mondo del supercalcolo. Fino a qualche anno fa prevalevano le architetture cosiddette omogenee, cioè quelle nelle quali la potenza di calcolo del server veniva prodotta da processori – che siano x86 o Ibm Power, ma comunque processori. Il passaggio successivo, per la richiesta di avere sempre maggiori prestazioni a condizioni compatibili dal punto di vista dei consumi energetici, è stato quello di equipaggiare i server di acceleratori grafici, consentendo di aumentare in maniera importante la prestazione del singolo server. L’azienda leader in questo settore è Nvidia, che ha una lunga storia di sviluppo di acceleratori grafici e che in particolare da un po’ di anni a questa parte ha diversificato la produzione, inserendo anche acceleratori fortemente finalizzati proprio alla parte computazionale. Quindi la grafica non è più l’unico oggetto, ma anche la parte computazionale diventa molto importante. Anche perché dobbiamo traguardare tutto il mondo dell’intelligenza artificiale, dove chiaramente è presente una componente di elaborazione. Il progetto Marconi 100 si distingue per questo: è una macchina di riferimento a livello europeo, perché non a caso è nella lista dei primi dieci in Europa e nel mondo, e per inciso è la seconda macchina in Europa a livello di capacità di elaborazione, perché monta degli acceleratori grafici Volta 100, che erano gli acceleratori top di gamma di Nvidia al momento del progetto. Da qui nasce il nome Marconi 100: Marconi come prosecuzione del progetto Marconi, 100 perché recepisce questa tecnologia di Nvidia ».
Nvidia Volta 100
Gran parte della potenza di calcolo di Marconi 100 arriva quindi dalle schede Nvidia, basate sull’architettura Volta. Rispetto alle precedenti Gpu Nvidia, che erano state progettate essenzialmente per garantire elevate prestazioni finalizzate alla grafica, Volta è pensata fin dall’inizio per il supercalcolo, e in particolare per l’intelligenza artificiale. Volta 100 incorpora ben 640 core “Tensor”, capaci di eseguire calcoli con precisione mista che si adatta in modo dinamico per massimizzare la produttività preservando l’accuratezza. La nuova generazione fornisce accelerazioni 10 volte superiori nel training Ai grazie all’uso della precisione Tensor Float 32, e di 2,5 volte nel calcolo in virgola mobile Fp64 ad altissima precisione. Il tutto si traduce in una potenza di circa 100 Tflops in deep learning, circa 5 volte le prestazioni della precedente architettura Nvidia Pascal. A questo poi si aggiungono i 5.120 core Cuda, capaci di 14 Tflops in precisione singola, e la connessione NvLink di nuova generazione, con velocità raddoppiata.
L’evoluzione verso l’architettura non omogenea
Marconi 100 non è la prima macchina di questo tipo prodotta da Ibm. «L’architettura è simile, in scala ridotta, a quella dei grandi sistemi americani Summit e Sierra, che IBM ha consegnato tra il 2018 e il 2019 – spiega Briscolini – Sono le macchine che fino alla precedente edizione della lista Top 500 erano prima e seconda al mondo, adesso sono seconda e terza perché alla posizione numero 1 è entrata la macchina giapponese Fugaku. L’architettura in comune con queste macchine è stato un punto cardine per vincere la gara, perché Ibm ha capitalizzato sull’esperienza fatta sui progetti Usa, a livello di supporto applicativo, di conoscenza di queste architetture, e potendole posizionare anche in maniera competitiva sul mercato. Perché così come abbiamo detto che il settore supercalcolo è un po’ la frontiera, è innegabile che le prime installazioni fanno un po’ da test, sono delle specie di installazioni cavia dove si affinano i vecchi strumenti e finanche l’affidabilità stessa del sistema. Quindi quando abbiamo partecipato alla gara di Marconi 100, indubbiamente avevamo alle spalle l’esperienza ormai consolidata da quasi un anno che era stata fatta sui sistemi americani, oltre ad alcune esperienze importanti come quella del progetto che è stato fatto in Francia per Total, con architettura anche qui del tutto simile a quella di Marconi 100. Questo ci ha facilitato il compito, non eravamo proprio degli apripista, avevamo già una visione abbastanza chiara di quelli che potevano essere i vantaggi e i limiti dell’architettura offerta. Un aspetto essenziale di Marconi 100 per Cineca e per l’ecosistema degli utenti che utilizzeranno questa macchina, è quello di abituare gli utenti a migrare le proprie applicazioni da architetture più tradizionali, quelle che dicevo prima di tipo omogeneo, ad architetture accelerate che sono chiamate anche ibride, perché lì c’è una necessità di revisione delle applicazioni che non è una cosa da poco. Richiede un impegno abbastanza importante da parte degli utenti, e quindi questo sistema si spera che servirà anche ad abilitare delle aree, dei gruppi di utenti che lavorano in certi settori, che non hanno utilizzato prima macchine accelerate e che in questo caso possono cominciare a farlo su un sistema chiaramente di tutto rispetto dal punto di vista delle prestazioni che si possono ottenere».
Che tipo di calcoli eseguono i processori Nvidia?
«L’architettura Nvidia è sostanzialmente un’architettura con un parallelismo molto spinto, ed è fortemente sincrona. Cioè elabora delle istruzioni ben codificate e permette un’elaborazione concorrente per le centinaia di core che fanno parte della Gpu. In questa maniera si può accelerare notevolmente la simulazione. In pratica, se la scheda Nvidia marcia con un clock tipicamente da 1 a 1,3 GHz, vuol dire che nell’unità di tempo data da un ciclo di clock la macchina è in grado di fare un certo numero di operazioni in contemporanea – qualche centinaio. L’obiettivo dell’utente è quello di riuscire a programmare la propria applicazione, utilizzando anche specifici strumenti di programmazione, per sfruttare il più possibile questo parallelismo, in modo tale da poter fare in un singolo ciclo un numero elevato di operazioni in contemporanea. Non è molto dissimile da quello che succede nel mondo vettoriale, però possiamo dire che mentre le macchine ad architettura vettoriale aiutavano parecchio lo sviluppo delle applicazioni per potere utilizzare appunto le funzioni vettoriali, le schede acceleratrici richiedono uno sforzo ulteriore, perché sono un po’ più difficili da programmare».
Sviluppare e ottimizzare il software
Ma non ci sono preprocessor capaci di elaborare il mio sorgente in versione parallelizzata, capaci di espandere automaticamente i loop e così via? Sono operazioni da fare ancora a mano?
«Questo è un bel punto. Uno degli aspetti fondamentali del progetto Ibm Summit/Sierra, quello degli Stati Uniti, è stato proprio di sviluppare in una logica di Open Community e quindi su una base Open Source, un ambiente, un compilatore che consentisse di semplificare la vita dell’utente medio, cioè di poter migrare la propria applicazione, in linea di principio senza stravolgerla, da un’architettura omogenea a un’architettura accelerata, per averne i benefici. Come possiamo immaginare, non sempre tutto fila liscio e quindi c’è sempre un po’ un compromesso: ci sono delle applicazioni che effettivamente si riescono a portare sugli acceleratori abbastanza bene, senza dover necessariamente riscrivere nel linguaggio Cuda che è il linguaggio tipico degli acceleratori Nvidia, ma utilizzando un linguaggio di più alto livello (che è chiamato Open Mp) che consente di programmare queste macchine come se fossero dei sistemi omogenei. Qui viene in aiuto l’architettura del server Marconi 100. Ibm, quando ha fatto il progetto per questo tipo di architettura in collaborazione con Nvidia, ha inserito una soluzione che consente di far sì che la Gpu e la Cpu collaborino e comunichino in maniera molto efficiente, tanto che la memoria della Cpu e la memoria della Gpu sono in realtà indirizzabili in un unico spazio. Questo aiuta molto l’utilizzo di sistemi di programmazione di più alto livello, perché è come se io avessi un oggetto tipo omogeneo, anche se poi sotto ho un acceleratore. È una cosa molto diversa rispetto a un’architettura basata su processore x86, dove quello che accade è che la Gpu – almeno con la tecnologia odierna, poi in futuro le cose potranno evolvere – comunica con la Cpu con una penalizzazione importante rispetto alla capacità della Gpu. Allora è come se esistessero due mondi separati, il mondo della Cpu e il mondo della Gpu, e lì la programmazione richiede all’utente di tener poco conto di questo fatto, per poter avere prestazioni accettabili. Quindi diciamo che l’hardware e il software in qualche modo sono andati insieme nel progetto Ibm con i server disponibili sul Marconi 100 proprio per cercare di migliorare o garantire una migliore portabilità e una semplificazione dei codici sui sistemi accelerati. Poi chiaramente per certe applicazioni, a volte bisogna programmare in linguaggio nativo Cuda».
Che tipo di software è disponibile per l’utente di questo computer? Quali sono i linguaggi, e qual è il sistema operativo, è un Linux ma quale, il vostro Red Hat o qualcosa d’altro? «Tendenzialmente certifichiamo i sistemi con Red Hat, ma sono possibili altre distribuzioni, Ubuntu, CentOS, per questi sistemi non c’è un vincolo stringente. Red Hat implementa qualche modifica e customizzazione specifica sul kernel base Linux, in particolar modo per quanto riguarda l’utilizzo di periferiche, e dà un supporto, ma CentOS e Ubuntu nei fatti hanno una logica similare, anche se in quel caso si parla di Open Community e se c’è un problema, mentre con Red Hat in teoria apro una chiamata e ho un supporto e ottengo in teoria delle fix, nell’altro meccanismo apro una richiesta e magari qualcuno avrà già visto il problema, magari avrò suggerimenti eccetera eccetera. Però devo dire, con molta onestà, che ormai nel settore supercalcolo anche distribuzioni tipo CentOS e Ubuntu hanno fatto grossi passi avanti. Cineca stesso utilizza CentOS su molti sistemi e nei fatti vanno avanti senza particolari problemi, perché sono all’interno della Open Community.
Ma il Marconi 100 che sistema sta usando in questo momento? «Marconi 100 usa Red Hat. Questo perché abbiamo voluto anche in qualche modo garantire un livello di supporto che riteniamo migliore. È innegabile che con l’acquisizione di Red Hat sono nate diverse sinergie, e sono stati fatti degli sviluppi ad hoc proprio sull’architettura Power. E questo può garantire una maggiore stabilità. Ma non è un requisito stringente, per essere chiari».
Oltre ai linguaggi di programmazione, sono anche disponibili applicativi specifici, per esempio per l’uso scientifico, statistico, intelligenza artificiale eccetera o viene tutto fornito di volta in volta dall’utente che vuole usare la capacità di calcolo bruta, diciamo così? «Il sistema è equipaggiato con diverse librerie matematiche, che sono state sviluppate e ottimizzate per questa architettura, e che consentono di utilizzare alcuni algoritmi molto comuni. Un esempio per tutti sono le trasformate di Fourier, che sono algoritmi molto comuni nella settore della ricerca. Sono ottimizzate per questa architettura e questo aiuta molto l’utente, che può benissimo interfacciarsi con questa libreria ed evitare di perdere tempo a cercare e ottimizzare una libreria Open Source. Poi ci sono librerie tipiche del mondo dell’intelligenza artificiale, la possibilità di usare Tensorflow, di usare Python, e tutta quella miscellanea di applicativi nel mondo dell’Intelligenza Artificiale. Qui c’è molto più uno sviluppo un po’ caso per caso, è un settore in forte evoluzione anche dal punto di vista degli applicativi. Ci sono tantissime piccole società, medie società, o anche ricercatori che sviluppano specifici algoritmi e framework nell’ambito del settore dell’Ia e quindi la macchina dà gli strumenti base, poi chiaramente ognuno farà i suoi sviluppi. Diciamo che normalmente gran parte delle librerie per l’Ia sono disponibili anche su questo sistema».
L’hardware è basato sui Power 9
Dal punto di vista hardware, molti hanno scritto che Marconi 100 usa come come base i server tipo S822LC, che però sono server Power 8, mentre Marconi 100 dovrebbe essere basato su Cpu Power 9. Qual è la tesi corretta?
«Il sistema usato nel Marconi 100 si chiama AC922, ed è l’evoluzione in chiave Power 9 del server citato prima. Essendo un’evoluzione presenta alcune similarità, ma in realtà ci sono molte differenze fra le due macchine. A parte le maggiori prestazioni del processore, ci sono due differenze sostanziali. La prima è il fatto di poter ospitare chiaramente le schede acceleratrici di tipo Volta 100, che sono differenti dalle schede acceleratrici ospitate nel precedente sistema, che si chiamavano P100. La differenza è nelle prestazioni ma anche nei consumi. È ovvio che quando bisogna ospitare schede in grado di consumare fino a 300 watt ciascuna, anche l’ingegnerizzazione della macchina ha bisogno di qualche accorgimento. Il secondo punto essenziale è che le schede V100 sfruttano il protocollo NvLink 2.0, che è un protocollo di comunicazione fra le schede che consente loro di comunicare una con l’altra senza dover necessariamente comunicare col processore. L’evoluzione di NvLink 2.0 rispetto a NvLink 1.0, che era presente nel server precedente, consente di migliorare significativamente la bandwidth e consente anche di avere una maggiore flessibilità nel pattern di comunicazione. Oggi parliamo di bandwidth di comunicazione tra le Gpu di circa 80 Gigabyte al secondo, che è l’equivalente anche di quella tra Gpu e Cpu. Nella versione precedente eravamo circa alla metà di questo numero, circa 35-40 Gigabyte al secondo, quindi si tratta di un’evoluzione significativa dal punto di vista della comunicazione. Terzo punto importante è il bus Pci. Power 9 ha introdotto il Pci 4.0, di quarta generazione, prima che questo fosse disponibile sulle architetture x86. Questo ha consentito di migliorare sensibilmente le prestazioni nella comunicazione fra i server, perché poi non dimentichiamoci che in queste architetture i server sono collegati fra di loro tramite rete ad alte prestazioni. E questo è un altro punto non trascurabile, chiaramente se il server comunica male con gli altri, posso anche avere tutta la capacità di elaborazione che voglio su un singolo server, ma se ho bisogno di sfruttare un parallelismo tra più server mi trovo un collo di bottiglia importante».
La comunicazione fra i server sfrutta Infiniband? «Sì, i server sono connessi tramite una rete Infiniband. Ibm ha stabilito una collaborazione con Mellanox, la società che sviluppa questo tipo di interconnessione, e che è stata acquisita da Nvidia lo scorso anno, quindi oggi Mellanox è un brand di Nvidia, ed è ormai l’unica azienda che sviluppa ancora tecnologia Infiniband. Questo tipo di tecnologia consente di avere prestazioni elevate dal punto di vista della comunicazione, da un minimo di 100 Gigabit al secondo per arrivare a 200 Gigabit e oltre. Questo si ricollega al discorso del Pci 4.0 perché concorre a garantire una velocità di comunicazione adeguata, tenuto conto della capacità di elaborazione del singolo server. Perché è evidente che se andassimo oggi a fare un rapporto tra la capacità di elaborazione e la banda di comunicazione, la capacità di elaborazione del server nel suo complesso e la bandwidth di comunicazione, troveremmo una differenza di un’ordine di grandezza, che non è poco. Se pensiamo che un server oggi, con questi acceleratori, fa circa 30 Teraflops di picco, e una scheda fa circa 100/200 Gigabit al secondo, praticamente noi abbiamo un discreto collo di bottiglia nella comunicazione. Quindi è importante programmare gli applicativi in modo da sfruttare bene la capacità di elaborazione del singolo server e ridurre la comunicazione tra i server stessi, se no alla fine si perde il vantaggio».
L’hardware è di serie, ma il raffreddamento è personalizzato
I server AC922 usati all’interno del Marconi, sono in qualche modo stati modificati rispetto al server di serie? Immaginiamo che impacchettarli così stretti e sfruttarli sempre al 100% della capacità, pieni di schede da 300 Watt, ponga problemi di consumo, di asportazione del calore, di comunicazione… la macchina è di serie o è stato implementato qualche cosa di diverso?
«No, la macchina è di serie e questa è una caratteristica tipica di Ibm, che generalmente non fa macchine specializzate per un determinato progetto. C’è però una qualche customizzazione o personalizzazione, se vogliamo dire così, che riguarda sostanzialmente la tipologia di raffreddamento di questi sistemi. Questo perché nel settore del supercalcolo di solito abbiamo utenti con particolare esperienza, e quello che accade è che sfruttano molto il sistema stesso, e tendono a esasperare il consumo. Per capire cosa significa facciamo un esempio banale: il sistema Marconi 100 ha 20 server in un rack. Dalle varie misure che abbiamo fatto, risulta che un server riesce a consumare, se in condizione di particolare carico, fino a circa 1,5 o 1,7 kW. Questi sono i range massimi. Questo vuol dire che se prendiamo 20 server abbiamo circa 34-35 kWatt in un unico rack. La dispersione del calore per sistemi di questo tipo non è banale. Le tecnologie sono due: la prima è quella totalmente ad acqua, che vuol dire che esiste una serpentina che va nei server e raffredda ad acqua il server stesso; questa tecnologia ha dei pregi, per esempio quello di essere molto efficiente, perché l’acqua sicuramente consente di raffreddare meglio dell’aria. Questo è il metodo che usano i sistemi Sierra e Summit. Qui invece, per il Cineca, abbiamo preferito adottare una soluzione diversa, una soluzione che raffredda il server ad aria, ma che poi abbatte in maniera importante il calore che viene estratto dall’aria tramite dei pannelli (che sono posti dietro le porte del rack) i quali hanno delle serpentine ad acqua. Questo sistema che è un po’ un ibrido fra aria e acqua consente una cosa fondamentale, che è stato un fattore importante per il Cineca: di ridurre in maniera importante l’investimento sul data center, perché quello che succede che è quando si acquista una macchina da supercalcolo, poi bisogna anche adeguare il data center per raffreddarla opportunamente. Se avessimo offerto una macchina raffreddata ad acqua, Cineca avrebbe dovuto fare un investimento importante per poter adeguare il data center per un raffreddamento completamente ad acqua. Invece con una soluzione di questo tipo abbiamo potuto utilizzare il sistema di raffreddamento che Cineca aveva già in essere, che consente in parte di raffreddare ad acqua. Tornando all’esempio di prima, parliamo di circa 1000 server e abbiamo detto che ogni server consuma circa 1,6 kWatt. Siamo dunque su un ordine di grandezza intorno a 1,6 Mwatt. Cineca aveva già una capacità di raffreddamento ad acqua di circa 800 kWatt, e una capacità di raffreddamento ad aria dell’ordine di 700 kWatt. La somma dei due sistemi è all’incirca quell’1,6 che dicevo prima. Quindi senza fare investimenti importanti sul data center (di fatto senza spese, perché il sistema così come era andava bene) si è potuto garantire un raffreddamento adeguato del sistema stesso. Quindi si è fatta un po’ di personalizzazione da questo punto di vista, cioè nel calare una configurazione di un sistema che potesse funzionare adeguatamente nel data center Cineca senza richiedere aggiornamenti sulla facility di raffreddamento».
Quindi di fatto il server al suo interno non ha condotti per il raffreddamento ad acqua, ma solo quelli per l’aria, mentre nel retro dell’armadio troviamo la serpentina di raffreddamento dell’aria in uscita? «Esattamente, come fosse un radiatore con una serpentina dove passa dell’acqua a circa 18 gradi e questo praticamente consente di abbattere di circa il 60/70% il calore dell’aria e far sì che l’aria che arriva nella sala sia intorno ai 35-40 gradi. L’aria di ingresso è fra i 20 e 30 gradi, l’aria in uscita è al massimo a 40 gradi, quindi il delta della temperatura dell’aria tra l’ingresso e l’uscita è circa 10 gradi e questo consente l’uso di un sistema di raffreddamento cosiddetto free-cooling, che sfrutta sostanzialmente per buona parte il raffreddamento naturale dovuto alle temperature esterne – chiaramente non in estate con 37 gradi, ma in inverno sicuramente a Bologna si può sfruttare bene. Sul raffreddamento ad acqua, invece abbiamo detto che c’è un sistema che consente di abbattere quasi il 50/60% del calore prodotto».
Il problema del raffreddamento è molto importante per i grossi sistemi di calcolo, perché è strettamente legato alla più generale tematica dell’efficientamento energetico. Si sta mettendo infatti una grande attenzione sull’efficientamento dei data center, soprattutto di quelli che ospitano sistemi di supercalcolo. Tanto che molto presto le caratteristiche di efficienza energetica avranno la stessa importanza della potenza di calcolo e della disponibilità di software nelle decisioni di acquisto dei sistemi.
Il problema del consumo globale di energia dei data center è, in ogni caso, già molto sentito. Nel 2018 si stimava che i data center consumassero circa l’1% di tutta l’energia elettrica prodotta nel mondo, e circa la metà serviva non per i server, ma per i condizionatori. I progettisti stanno lavorando in più direzioni per minimizzare il problema. Per esempio, le nuove generazioni di Cpu e Gpu, basate su geometrie sempre più miniaturizzate, a parità di potenza di calcolo consumano e scaldano meno delle precedenti. E si stanno diffondendo sistemi di raffreddamento ad alta efficienza, non più basati su condizionatori d’aria a compressione. Soddisfare le crescenti esigenze di supercalcolo dell’industria mondiale incrementando il meno possibile i consumi energetici sarà la prossima sfida da vincere.
