„Jau daugiau nei 30 metų kuriame DI technologijas ir nuosekliai stengiamės išlikti tarp pasaulyje pirmaujančių įmonių biometrijos srityje. Išskirtinė nauja įranga padės tobulinti mūsų biometrinius algoritmus ir spartins aktualių DI sprendimų kūrimą, ypač tų, kurie susiję su natūralios kalbos apdorojimu“, – sako „Neurotechnology“ direktorius Irmantas Naujikas. Jo teigimu, NVIDIA H100 grafiniai procesoriai keleriopai paspartins kuriamų DI modelių mokymą ir suteiks įmonei išskirtinį konkurencinį pranašumą.
Našumas – keleriopai didesnis
Šiuolaikinių superkompiuterių grafinių procesorių palyginimui naudojamas teraflopso matavimo vienetas (Tflops), kuris atitinka trilijoną (10^12) operacijų per sekundę (FLOPS).
Gamintojo duomenimis, NVIDIA H100 grafinis procesorius pasiekia įspūdingą 1 979 Tflops (FP16 tikslumas) rezultatą, kas yra 3 kartus daugiau negu ankstesnės kartos NVIDIA A100 grafinis procesorius (624 Tflops FP16 tikslumas) ir net 14 kartų daugiau negu dažnai žaidimų kompiuteriuose naudojamas NVIDIA RTX 3080 Ti grafinis procesorius (136 Tflops FP16 tikslumas).
Šiais metais „Neurotechnology“ įsigijo dešimt naujų NVIDIA H100, kurie kartu su šiuo metu turimais dešimčia NVIDIA A100 grafinių procesorių pasiekia išskirtinį 26 030 Tflops rezultatą, kuris yra daugiau nei 8 kartus didesnis negu Vilniaus Universiteto naudojamos trys DGX-1 sistemos su V100 grafiniais procesoriais (3000 Tflops FP16 tikslumas).
NVIDIA H100 naudoja būtent DI mokymams sukurtų „Tensor“ branduolių ketvirtą kartą, kuri leidžia sparčiau mokyti ir efektyviau naudoti apmokytus didelius kalbos modelius. Naudojant tokius kalbos modelius kaip Megatron, atsakymų generavimas pagreitėja iki 30 kartų, lyginant su ankstesnės kartos A100 grafiniais procesoriais.
Taikymai treniruojant kalbos modelius
„Neurotechnology“ jau kelerius metus sėkmingai naudoja NVIDIA A100 grafinius procesorius – neseniai kartu su Panevėžio plėtros agentūra bendrovė pristatė darbo rinkos analizės įrankį NetGeist HR, kuris yra paremtas natūralios kalbos apdorojimo technologija.
„Įsigyta įranga sukuria naujas galimybes ir leidžia mums eksperimentuoti su kalbos modeliais kaip niekada anksčiau. Galėsime greičiau apdoroti duomenis ir treniruoti DI su dar didesniais duomenų kiekiais, kas leis
kurti ir tobulinti lietuvių ir anglų kalbos modelius, pokalbių robotus ir kitus kalbos sprendimus. Visa komanda džiaugiamės unikalia galimybe dirbti su aukščiausio lygio įranga“, – teigia Vytas Mulevičius, „Neurotechnology“ DI sprendimų vystytojas.
Nauji NVIDIA H100 grafiniai procesoriai, pagrįsti NVIDIA Hopper skaičiavimo architektūra, yra optimizuoti didelių kalbos modelių mokymui ir diegimui bei rekomendavimo sistemų kūrimui. Ši technologija leidžia 9 kartus greičiau mokyti DI kalbos modelius lyginant su NVIDIA A100.
Išskirtiniai pajėgumai atsispindės ir pritaikant sprendimus. Atviro kodo modelis LlamaV2, kuris buvo treniruotas naudojant NVIDIA A100 ir šiuo metu yra panašiausias į pokalbių robotą ChatGPT, veikia iki 4 kartų greičiau su NVIDIA H100.
Pasak V. Mulevičiaus, nauja įranga ir turima patirtis su kalbos modeliais leis „Neurotechnology“ ženkliai greičiau kurti ir adaptuoti natūralios kalbos sprendimus prie skirtingų kliento poreikių valstybiniame ir privačiame sektoriuose.
