Frida

Opis

Podrobnosti

logo
Naročnik:
Univerza v Ljubljani, Fakulteta za računalništvo in informatiko (UL FRI)
Naročnik

NTRsolutions

Modularni hibridni podatkovni center za umetno inteligenco


FRIDA

 
 logo

 NAROČNIK

Univerza v Ljubljani, Fakulteta za računalništvo in informatiko (FRI)

Na Fakulteti za računalništvo in informatiko Univerze v Ljubljani so naredili nov pomemben korak v razvoju nacionalne superračunalniške infrastrukture. Njihovo večdesetletno ukvarjanje z umetno inteligenco botruje številnim projektom strojnega učenja, govornih tehnologij, velikih jezikovnih modelov, računalniškega vida, biometrije, generativnih modelov in medicinske diagnostike ipd., zato se soočajo s skokovito rastjo potreb po računski moči.

 CILJ

Zadostiti zahtevam po računski zmogljivosti, ki jih prinašajo sodobne raziskave na področjih umetne inteligence ter obstoječo podatkovno infrastrukturo nadgraditi tako, da bo kompatibilna z že vzpostavljenim IT okoljem, obenem pa dovolj prilagodljiva za prihodnje tehnološke in kapacitetne razširitve.

 IZZIVI

  • o mogočiti sočasno uporabo zračno in tekočinsko hlajenih sistemov, kar je ključno za učinkovito delovanje sodobnih strežniških konfiguracij z visoko gostoto, vključno z naprednimi NVIDIA GPU platformami;
  • pripravljenost na nadaljnje povečanje deleža tekočinsko hlajenih bremen;
  • minimalen poseg v obstoječo infrastrukturo ter namestitev na prostorsko omejeni lokaciji.

 REŠITEV

Modularni hibridni računski center za najzahtevnejša UI okolja, s hibridnim hlajenjem, ki omogoča sočasno uporabo zračno in tekočinsko hlajenih sistemov in je zasnovan tako, da omogoča nadaljnje povečanje deleža tekočinsko hlajenih bremen brez večjih posegov v osnovno infrastrukturo.

UL FRI

 

 ZGODBA PROJEKTA

Na UL FRI se že več desetletij ukvarjajo z umetno inteligenco. Zaradi hitre rasti števila raziskovalcev in obsega dela na projektih strojnega učenja, predvsem za učenje modelov globokih nevronskih mrež, se seveda soočajo tudi s strmo naraščajočo potrebo po računski moči. Obstoječa podatkovna infrastruktura je zahtevala nadgradnjo, ki bi bila kompatibilna z že vzpostavljenim IT okoljem, obenem pa omogočala nadaljnje nadgradnje superračunalniških kapacitet še deset let.

 

 REZULTAT PROJEKTA

Za delo z umetno inteligenco smo v NTR inženiringu zasnovali in izvedli modularni hibridni računski center, ki združuje vse ključne elemente sodobnega HPC in UI okolja v enem namensko izdelanem kontejnerskem modulu nadstandardnih dimenzij. Zasnovan je kot samostojna, v celoti integrirana enota, ki vključuje IT prostor, sistem neprekinjenega napajanja, razvod električne energije, tehnično hlajenje, varnostne sisteme ter centralni nadzorni sistem (DCIM). V notranjosti je osem zračno hlajenih sistemskih omar z aktivnimi hladilnimi vrati (RDHx) ter prostor za dodatne tekočinsko hlajene omare s pripravljenimi priklopi za CDU enote. Takšna arhitektura omogoča optimalno izrabo zmogljivosti sodobnih GPU pospeševalnikov, ki v hibridnem okolju lahko delujejo pri bistveno višjih gostotah moči.

Sistem tehničnega hlajenja temelji na visoko učinkovitih adiabatskih hladilnih agregatih in RDHx enotah v N+1 redundanci. Zasnova omogoča energetsko učinkovito obratovanje v širokem razponu zunanjih temperatur, pripravljena pa je tudi za izrabo odpadne toplote. S tem rešitev ne prispeva le k učinkovotosti, temveč tudi k ozaveščanju o vzdržni umetni inteligenci in računalništvu nasploh. Celoten sistem napajanja je podprt z modularnim UPS sistemom z Li-Ion baterijami, ki zagotavlja visoko učinkovitost in kratke odzivne čase.

 

 
 

izvedba

izvedba

izvedba

 

 

»Na Fakulteti za računalništvo in informatiko smo pridobili superračunalnik na dosegu roke, ki našim raziskovalcem omogoča, da lahko učijo bistveno večje modele globokih nevronskih mrež in hitreje pridejo do rezultatov računsko zelo zahtevnih algoritmov. Še posebej nas veseli, da je sodobna energetsko učinkovita modularna zasnova omogočila hitro postavitev in so na novi opremi v nekaj mesecih že lahko tekle prve raziskave.«

izr. prof. dr. Mojca Ciglarič
Dekanja UL FRI

 

 

 Modular Hybrid Data Center for Artificial Intelligence - FRIDA
(PDF | EN)

 

 Modularni hibridni podatkovni center za umetno inteligenco - FRIDA
(PDF | SL)

Ključni izziv projekta je bila prostorska omejitev, ki je narekovala umestitev sistema na strešno teraso. Ta je zahtevala natančno statično presojo, optimizacijo mase in premišljeno razporeditev vse infrastrukture. Obenem je bilo treba zagotoviti visoko stopnjo zanesljivosti, redundance in energetske učinkovitosti, primerljivo s klasičnimi podatkovnimi centri, vendar v bistveno bolj kompaktni in prefabricirani obliki. Hibridni center, ki so ga naročniki poimenovali FRIDA, je bil izveden kot rešitev na ključ – od idejne zasnove in projektiranja, preko proizvodnje in tovarniškega testiranja, do transporta, montaže in zagona na lokaciji pa je minilo manj kot šest mesecev.

Modularna zasnova zagotavlja hitro postavitev, minimalno zasedbo prostora, visoko stopnjo varnosti ter odpornost na vremenske vplive, obenem pa zagotavlja hitre in stroškovno učinkovite rešitve za prihodnje kapacitetne in tehnološke nadgradnje.

S podatkovnim centrom FRIDA je fakulteta pridobila dodatno superračunalniško zmogljivost – okolje, v katerem lahko raziskovalci izvajajo najkompleksnejše operacije, učijo modele globokih nevronskih mrež in gradijo velike jezikovne modele.

 

data center

 

SPECIFIKACIJE KLJUČNE ZMOGLJIVOSTI
Dimenzije modula: 12.800 x 3.900 x 3.833 mm (D x Š x V)
Število sistemskih omar: 8 zračno hlajenih sistemskih ter 1 vodno hlajena sistemska omara
5 zračno hlajenih omar in 4 vodno hlajene omare
Skupna največja električna moč IT opreme: 385 kW
UPS sistem: modularni UPS Vertiv APM2-600, nazivna moč 600 kW oz. 540 kW z N+1 redundanco
Tip baterij: Li-Ion baterije Vertiv Vision
Hlajenje: hibridni sistem tehničnega hlajenja: 8 aktivnih RDHx enot Liebert DCD50 (N+1 redundanca) na zračno hlajenih omarah, 2 zunanja adiabatska hladilna agregata Vertiv FGA 020 (vsak s svojo črpalko), zalogovnik hladilnega medija za neprekinjeno hlajenje, ločen tekočinski krog s CDU za vodno hlajene omare.
Skupna moč hlajenja /redundanca: 2 zunanja adiabatska hladilna agregata Vertiv FGA 020, skupaj 482,2 kW, notranje RDHx enote delujejo v konfiguraciji 8 (N) / 7 (N+1), vsaka načrtovano do 35 kW / hladilne moči
Požarna zaščita: sistem javljanja požara z aspiracijskim zaznavanjem in stabilna gasilna naprava s plinom NOVEC 1230
Drugi varnostni sistemi: protivlomno varovanje, dostopna kontrola, video nadzor z IP kamerami Mobotix, strelovodni sistem ter drugi pomožni sistemi (razsvetljava, nadzor okolice).
Nadzorni sistem: LMI centralni nadzorni sistem CDC LMI