– Kokios lietuvių kalbos technologijos šiuo metu yra pasiekiamos, apie ką galbūt nežinotų mūsų skaitytojas?
– „Tilde“ Lietuvoje jau nuo 2000 m. dirba su įvairiomis technologijomis, o per tiek laiko pasiekta išties nemažai. Viena iš brandžiausių, nusistovėjusių ir visiems gana žinomų technologijų yra mašininis vertimas. Jis yra skirtas žmonėms suprasti, apie ką užsienio kalba yra rašomas tekstas. Kai iš pat pradžių buvo pradėta kalbėti apie mašininį vertimą, buvo sakoma, kad jis esą pakeis žmogaus darbą ir nebereikės vertėjų. Tam drįsčiau prieštarauti – mašininis vertimas yra skirtas padėti suprasti tekstą, o ne jį išversti idealiai. Tai reiškia, kad jis turi būti tikslus tam, kad perteiktų pagrindinę mintį, bet nebūtinai visiškai taisyklingas.
Iš pradžių buvo taisyklėmis paremtas mašininis vertimas, vėliau buvo vystomas statistiniais metodais paremtas mašininis vertimas, o dabar naudojamės neuroniniu mašininiu vertimu, kuris sukurtas naudojant giluminį mokymą bei neuroninių tinklų metodus. Galima drąsiai teigti, kad šiandien mašininis vertimas yra geras: dabar kartais netgi darosi sunku atpažinti, kas yra versta žmogaus, o kas – mašininio vertimo.
Neuroniniais tinklais paremtas mašininis vertimas mokosi pats – jis pateikia išverstą tekstą, žmonės jį pataiso, o sistemos, vadinamieji mašininio vertimo varikliai, iš tų pataisymų geba pasimokyti. Tai reiškia, kad kuo daugiau mes naudosime, taisysime tekstus, tuo mašininis vertimas bus tikslesnis. Paprasti straipsniai, ataskaitos, techniniai tekstai yra verčiami gana gerai ir tiksliai, tačiau mašininis vertimas niekada nepakeis grožinės literatūros ar poezijos vertimo. Galbūt ateityje bus apmokyta užsienio literatūros mašininio vertimo sistema, kuri mokės kurti poezijos tekstus… Bet tai nebent įdomi mintis pasvarstyti.
„Tilde“ kartu su VU Lietuvoje jau yra sukūrę mašininio vertimo platformą, kuri siūlo 16 mašininio vertimo sistemų (5 kalbų poros ir trys skirtingos sritys). Ši platforma yra prieinama visiems, kurie nori versti tekstus. Tai gali būti ir paprastas tekstas, kurį nukopijuojate, arba visas dokumentas. Be to, egzistuoja specialūs įskiepiai, kuriuos įsidiegę galite išversti savo svetainę (jeigu tokią turite). Taip pat yra kitų funkcijų – tarkim, galima tvarkyti terminologiją tam, kad tekstai būtų kuo tikslesni.
Garsinius failus (audioįrašus arba videoįrašus) į šią sistemą galima įkelti ir garsą paversti tekstu. Įrašas neturi būti labai raiškus, pati šnekos atpažinimo programa atpažįsta natūralia kalba kalbamą, įgarsintą tekstą. Tiesa, garso kokybė yra svarbi, kol kas sistemai sunkiai sekasi su skambučio įrašais dėl to, kad įrašų kokybė nėra aukšta, daug foninio triukšmo, ryšys trūkinėja, ne visada aišku, kas pasakyta. Bet jeigu tai yra, pavyzdžiui, paskaitos įrašas, kur lektorius kalba natūraliai, tokio įrašo šnekos atpažinimas yra gana tikslus.
Dar viena technologija – pokalbių robotai, vis sparčiau besiskinantys kelią ir Lietuvoje. Tai išmanieji virtualieji asistentai, padedantys jums rasti atsakymus į klausimus arba pateikiantys reikalingą informaciją.
Mūsų šnekos atpažinimo technologijos tikslumas yra aukštesnis negu vidutiniškai pasaulyje.
– Kaip vyko šnekos atpažinimo technologijos kūrimas? Galbūt įrašų studijoje žmonėms reikėjo įskaityti tą patį tekstą?
– Šios technologijos esmė labai paprasta – kuo daugiau garso įrašų, tuo geriau apmokoma technologija. Mūsų atveju tai nėra studijinio garso kokybės įrašai. Kodėl? Tikslas buvo technologiją apmokyti mūsų kasdiene šneka su visais būdingais kasdieniais triukšmais tam, kad technologija išmoktų tuos dalykus atpažinti. Įrašus rinkome iš visų viešai prieinamų šaltinių. Tuomet tuos įrašus tvarkėme, karpėme, sudėjome į sistemą, apmokėme technologiją. Vėliau įrašų duomenų bazę pildėme, vėl tvarkėme, žiūrėjome, kas atpažįstama prasčiau, kokių įrašų trūksta.
Technologijai sukurti mums reikėjo skirtingo amžiaus, balso tembro, lyties, tarimo kalbėtojų. Ne visada žmonės kalba aiškiai, kartais turi ir kalbos defektų – tokios kalbos pavyzdžių taip pat reikėjo, nes kuo įvairesni garsynai, tuo tiksliau technologija veikia. Kai surinkome pakankamai duomenų, juos dar papildėme VU „LIEPA“ projekto metu surinkta 100 val. garso įrašų duomenų baze. Tokiais garsynais apmokę šnekos atpažinimo technologiją jau galėjome džiaugtis labai gerais rezultatais.
Pasaulyje šnekos atpažinimo tikslumas tuo metu buvo apie 82 proc. Tai reiškia, kad iš 10-ies žodžių 8 su trupučiu bus atpažįstami tiksliai. Mes vidutiniškai pasiekdavome iki 86 proc. atpažinimo tikslumą. Beje, vienas mūsų klientas yra pamatavęs atpažinimo kokybę iš žinių įrašų, kur kalba žinių pranešėjai, diktoriai – šiuo atveju atpažinimo tikslumas buvo iki 99,6 proc. Taigi, sistemą galima išmokyti atpažinti kalbą ir dar tiksliau nei 86 proc. Žinoma, žiniose dažniausiai ir pati kalba taisyklingesnė, ir įrašo garso kokybė yra studijinė, daug geresnė. Bet net ir kalbant apie kitus įrašus, mūsų šnekos atpažinimo technologijos tikslumas yra aukštesnis negu vidutiniškai pasaulyje.
– Galbūt galėtume palyginti lietuvių kalbos technologijų rodiklius su kitų šalių rodikliais?
– Lyginti yra sunku – tarkim, anglų kalba esančių duomenų kiekis gerokai lenkia lietuviškuosius. O kuo daugiau turi duomenų, įrašų, tuo tikslesnį šnekos atpažinimą gali pasiekti. Palyginti su kitomis kalbomis, lietuvių kalba turi gana mažai jos vartotojų, todėl ir duomenų kiekis yra gerokai mažesnis. Ką mes dėl to darome? Duomenų stygių bandome kompensuoti tyrimais, eksperimentais, skirtingais jų metodais tam, kad mažoms kalboms padėtume turėti geresnę technologijų kokybę. Taip, ši problema yra mažų kalbų problema – ir kalbant apie mašininį vertimą, ir apie šnekos atpažinimą. Visada trūksta kalbinių duomenų. O būtent šie duomenys yra viena iš pagrindinių „statybinių medžiagų“ vystant kalbines technologijas.
– Kiek laiko šiuo projektu užtruko pasiekti rezultatų, kuriuos matome šiandien?
– Šnekos atpažinimo projektas vyko apie dvejus metus. Technologija nuolat papildoma naujais duomenis iki dabar, nes sparčiai besivystant technologijoms apskritai lietuvių kalboje atsiranda naujų terminų, naujadarų ar naujų pavadinimų. Jeigu jie neatsiras technologijoje, šnekos atpažinimas veiks ne taip gerai, kaip mes norėtume.
– Kaip kalbinės technologijos pritaikomos šiandien?
– Užsienio kalbomis, tarkim, anglų kalba, internete yra daug paskaitų, mokomosios medžiagos, tokia medžiaga yra laisvai prieinama, nemokama. Šią informaciją studentas, dėstytojas ar bet koks kitas žmogus, kuris domisi jam nesuprantama kalba parašytu turiniu, gali išsiversti ir suprasti, apie ką kalbama, nuspręsti, ar į tokį turinį verta gilintis. Jeigu verta, galima ieškoti tikslesnio vertimo, jį užsakyti.
Jeigu dirbate tarptautinėje įmonėje, tikrai didelė tikimybė, kad suprantate ne visas kalbas, ir kolegų ar klientų laiškus, kuriuos gaunate užsienio kalba, tenka verstis patiems. Tačiau šiandien galima įsidiegti įskiepį į savo „Outlook“ programėlę, ir laiškai, kuriuos rašote ar juos rašo jums, bus automatiškai išversti jums reikiamomis kalbomis. Gal šios smulkmenos atrodo neįprastos, bet kai pripranti, kasdienį gyvenimą jos padaro lengvesnį. Jau nekalbu apie tai, kad mašininį vertimą galima įsidiegti savo el. parduotuvių ar kitokiose svetainėse – vertimas jums bus pateiktas į tiek kalbų, kiek jums atrodys reikalinga.
Paprastai kalbant, mašininis vertimas priartina prie mūsų pasaulį – dabar bet kuria kalba parašytą tekstą mes galime bet kada panorėję išsiversti, nebėra kalbos barjero.
O šnekos atpažinimo pritaikymas gali būti platus ir įvairus. Pavyzdžiui, šiandien gydytojai vizitų metu įdiktuoja paciento sveikatos būklės pokyčius ar vaistų, kuriuos išrašo, pavadinimus. Paskui tuos įrašus perduoda asistentams ar kitiems už tai atsakingiems asmenims transkribuoti. Visgi pritaikius šią technologiją gydytojui ar asistentui nebereikėtų perrašyti viso teksto – technologijai garso įrašą pavertus tekstu, jį reikėtų tik peržiūrėti ir pataisyti, jei kažkas neteisinga. Taip būtų taupomas ir gydytojų, ir jų asistentų laikas.
Robotai išties gali būti protingi ir su jais galima susikalbėti, svarbiausia pasitelkus neuroninius tinklus ir giluminį mokymą tinkamai apmokyti technologiją.
Kitas atvejis: kai ligoninėse atliekama kompiuterinė tomografija, rentgenas ar echoskopija, gydytojas turi šias nuotraukas aprašyti. Pritaikius šias technologijas, jis tekstą galėtų diktuoti, jį matytų ekrane, tame pačiame ekrane tekstą būtų galima ir koreguoti. Tai dar vienas būdas sutaupyti ir taip brangų gydytojų laiką. Taip pat, pavyzdžiui, paskaitose – dėstytojas dėsto kursą, o po paskaitos garso įrašas atpažįstamas ir užrašomas tekstu, vėliau jis gali būti išsiunčiamas studentams kaip paskaitos užrašai ar santrauka. Tai būtų aktualu ir žurnalistams – jiems nebereikėtų išrašyti interviu ar spaudos konferencijų.
Ką pati darau su šia technologija – važiuodama į darbą, jeigu sėdžiu spūstyje, įdiktuoju savo darbų sąrašą, ką turiu tądien padaryti, arba priminimus ar pirkinių sąrašą.
Taip pat šiuo metu pasaulyje yra pakankamai plačiai naudojami įvairūs pokalbių robotai (angl. chat bot). Lietuvoje jie kol kas nėra taip paplitę, bet pastaruoju metu susidomėjimą jau pradedame jausti. Šią technologiją Lietuvoje pradėjome siūlyti prieš porą metų, tačiau tuo metu susidomėjimo sulaukėme nedaug, tai buvo nauja technologija, neįprasta, gal kartu ir ne iki galo suprasta, kiek ji gali būti naudinga. Supratome, kad visuomenę dar reikėjo supažindinti su šia technologija, plačiau ir išsamiau papasakoti, pademonstruoti jos galimybes, nes rinka buvo atsargi, netgi skeptiška – argi pokalbių robotas gali būti protingas?
Tačiau robotai išties gali būti protingi ir su jais galima susikalbėti, svarbiausia pasitelkus neuroninius tinklus ir giluminį mokymą tinkamai apmokyti technologiją. Tačiau vien tik to neužteks, taip pat yra labai svarbu ir su šiomis technologijomis dirbantys pokalbių robotų treneriai. Juk už kiekvieno pokalbio roboto stovi treneris, kuris žiūri, kaip robotui sekasi atsakinėti į klausimus, stebi, kaip tiksliai robotas nuspėja klausiančiojo ketinimus ir kaip tiksliai pateikia atsakymus į užklausas.
Taip, yra paprastieji pokalbių robotai, vadinamieji klausimų–atsakymų robotai, kurie turi atsakymus tik į konkretų skaičių konkrečių klausimų. Į kitokius klausimus jie neatsakinėja. Tuo metu išmanieji pokalbių robotai geba atsakinėti į laisva forma užduodamus klausimus iš įvairių sričių, jie geba atpažinti klausiančiojo ketinimą, suprasti, ko nori klausiantysis, net jeigu klausimas užrašomas kaip teiginys arba su gramatinėmis klaidomis. O gal netgi be lietuviškų raidžių. Robotai kartu su treneriais mokosi iš užduodamų klausimų ir korekcijų, panašiai kaip mašininis vertimas mokosi iš vertimo taisymų.
Pavyzdžiui, roboto galite klausti: koks jūsų darbo laikas, ar dirbate savaitgalį, kada dirbsite, ar dabar dirbate? Kaip bepaklausite, jis vis tiek jums atsakys. Kitaip tariant, supras jūsų ketinimą sužinoti apie darbo valandas ir pateiks atsakymą.
Vienas iš realiai Lietuvoje veikiančių robotų pavyzdžių: bendradarbiaujant su VMI yra sukurtas pokalbių robotas Simas. Turbūt didžiausias esamas įvertinimas mums, technologijos kūrėjams, yra tai, kad kalbant su Simu, žmonėms kartais kyla klausimų, ar Simas yra robotas, ar žmogus. Simas bendrauja laisvai, gana tiksliai atsako į klausimus, todėl žmonės gali ir suabejoti.
Beje, žmonės labai dažnai mėgsta pokalbių robotus testuoti, pavyzdžiui, robotų klausia, ar yra Dievas, koks jų vardas, kas juos sukūrė, ar jie gražūs, vedę, ar juos galima pakviesti į pasimatymą… Tokie klausimai gana dažni. Vienas iš įdomesnių pavyzdžių: Simo buvo klausiama, ar jis robotas, jis atsakė: taip, esu VMI robotas, esu sukurtas atsakinėti į jūsų klausimus, esu mandagus, necenzūrinę leksiką reaguoju ramiai ir neįsižeidžiu, stengiuosi jums padėti. Vartotojas tuomet testavimo tikslais parašė keiksmažodį. Simas mandagiai palinkėjo geros dienos ir pageidavo daugiau šios temos neplėtoti.
Taigi, išmanusis pokalbių robotas Simas išmokytas atpažinti keiksmažodžius, necenzūrinę leksiką ir į tai nereaguoti. Jis turi savo veidą, charakterį, poziciją bei žino, kaip į tokius klausimus atsakyti.
– Kaip suprantu, šie robotai bendrauja rašytine kalba. O ar yra tokių, kurie galėtų lietuviškai išklausyti ir atsakyti?
– Taip, tokios technologijos yra, jas turime išvystę, pokalbių robotai gali girdėti, ką jūs jiems sakote, ir atsakyti balsu, tik konkrečiam klientui to dar nesame pritaikę. Galimybė tikrai yra, tik reikia rasti klientą, kuris norėtų, jog jo robotas kalbėtų – girdėtų ir galėtų atsakyti.
– Ar šias technologijas planuojama vystyti ir toliau? Kokios jų perspektyvos?
– Šių technologijų pritaikymas turi nemažai perspektyvų, kai kurias jų jau minėjau pokalbio pradžioje. Neabejoju, kad pokalbių robotai yra mūsų ateitis kalbant apie viešųjų el. paslaugų teikimą gyventojams, taip pat plačiai pritaikoma ir verslo teikiamose paslaugose. Šnekos atpažinimas – kuo toliau, tuo dažniau kalbinsime ir kalbėsime su technologijomis balsu. Todėl svarbu, kad tos technologijos suprastų lietuvių kalbą.
Sukurti lietuviškai kalbantį robotą-asistentą paieškų sistemai nebūtų problema – klausimas tik tas, kas Lietuvoje jį finansuotų ir kas jį naudotų
– Suprantu, kad galbūt sunku prognozuoti, bet kada galime tikėtis didesnės pažangos? Gal jau netrukus?
– Pasaulyje šnekos atpažinimo technologijos pritaikymas praktiškai gerokai pasistūmėjo į priekį. Lietuvoje atsiliekame, bet tai yra ir investicijų, ir valstybės požiūrio klausimas. Jeigu valstybė daugiau skatintų ar išsikeltų sau tikslą, kad visos Lietuvoje vystomos technologijos kalbėtų lietuviškai, viskas judėtų greičiau. Apskritai, valstybės paskata yra labai svarbi visiems – ir verslui, ir mokslui. Ji leistų bendradarbiauti, pasiekti rezultatus greičiau bei tikėtis jų geresnių.
Nesakau, kad dabar dėmesio nėra – lietuvių kalbos technologijų vystymas yra finansuojamas, bet nepakankamai greitai ar nepakankamai ambicingai – norėtųsi nacionalinės reikšmės projektų. Kai idėja įgyja nacionalinį svorį, visi rinkos dalyviai – ar tai būtų mokslas, ar verslas – yra suinteresuoti pasiekti kuo geresnių rezultatų. Gavus daugiau investicijų, vystomos technologijos kalbėtų – ir girdėtų, ir atsakinėtų lietuviškai. Tai būtų didžiulė paskata, didžiulis proveržis.
– Anglakalbė pasaulio dalis gali pasidžiaugti turinti „Siri“, „Google“ asistentą, paieškų sistemos robotus ir pan. Ar yra galimybė, kad turėtume tokio roboto lietuvišką variantą, kad ir Simą?
– Tokį robotą sukurti nebūtų problema – klausimas tik tas, kas Lietuvoje jį finansuotų ir kas jį naudotų. Jeigu žinotume, kad yra pakankama rinkos dalis, kuri tikrai norėtų ir pirktų šią technologiją, galėtume tuo užsiimti. Vis dėlto kurti tam, kad sukurtume ir padėtume į lentyną, turbūt neverta. Tikrai visada esame atviri bendradarbiauti, kad ir su „Apple“ ar „Google“ dėl lietuvių kalbos jų asistentuose. Jeigu jie norėtų mūsų technologiją panaudoti, mielai tą padarytume.
– Kaip įsivaizduoju, tokiam projektui reikėtų nemažai lėšų ir laiko?
– Tikrai taip. Jeigu norėtume sukurti kokybišką pasaulinio lygio technologiją, tai tikrai užtruktų.
– Šiuo metu pasaulyje turime išskirtinę situaciją – Ukrainoje vyksta karas, dėl to dalis pabėgėlių glaudžiasi Lietuvoje. Ar yra pamąstymų, planų gerinti būtent šios kalbos vertimo technologijas ir jas pritaikyti?
– Tai ne tik pamąstymai – suorganizavome akciją švietimo ir kitoms valstybinėms institucijoms, kurioms siūlėme nemokamai įsidiegti ukrainiečių kalbos mašininio vertimo sistemą į savo puslapius tam, kad ukrainiečiams informacija būtų prieinama ukrainiečių kalba. Kai kurios institucijos sėkmingai pasinaudojo šia technologija, nors ir mažiau, nei mes tikėjomės. Vis dar esame atviri, vis dar siūlome šią paslaugą.
Straipsnis parengtas iš VLKK vykdomos Lietuvių kalbos prestižo stiprinimo programos lėšų
