Dekoderis galėjo neįtikėtinai tiksliai atkurti žmonių mintis naudodamas tik fMRI skenavimo duomenis. Ankstesnėms kalbos dekodavimo sistemoms reikėjo chirurginių implantų, o naujausias pasiekimas leidžia tikėtis, kad atsiras būdų atkurti kalbą pacientams, kurie dėl insulto ar motorinių neuronų ligos sunkiai bendrauja.
Teksaso universiteto Ostine neuromokslininkas daktaras Alexanderis Huthas, vadovavęs šiam tyrimui, sakė: „Mes buvome šiek tiek šokiruoti, kad tai veikia taip gerai. Aš prie to dirbau 15 metų... todėl buvo šokiruojantis ir jaudinantis jausmas, kai tai pagaliau suveikė.“
Šis pasiekimas padeda įveikti esminį fMRI apribojimą, kuris pasireiškia tuo, kad nors šis metodas gali neįtikėtinai didele skiriamąja geba atvaizduoti smegenų aktyvumą konkrečioje vietoje, jam būdingas laiko tarpas, dėl kurio neįmanoma stebėti aktyvumo realiuoju laiku.
Vėlavimas egzistuoja todėl, kad fMRI skenuojant matuojama kraujotakos reakcija į smegenų veiklą, kuri pasiekia piką ir grįžta į pradinę padėtį maždaug per 10 sekundžių.
Ši griežta riba trukdė interpretuoti smegenų aktyvumą reaguojant į natūralią kalbą, nes gaunama „informacijos mišrainė“, išsidėsčiusi per kelias sekundes.
Tačiau atsiradus dideliems kalbos modeliams – tokiam dirbtiniam intelektui, kuriuo grindžiamas „OpenAI“ „ChatGPT“ – atsirado nauja galimybė. Šie modeliai gali skaičiais atvaizduoti semantinę kalbos prasmę, todėl mokslininkai galėjo stebėti, kokie neuronų aktyvumo modeliai atitinka tam tikros reikšmės žodžių eilutes.
Mokymosi procesas buvo intensyvus: trys savanoriai turėjo gulėti skeneryje po 16 valandų ir klausytis tinklalaidžių. Dekoderis buvo apmokytas suderinti smegenų aktyvumą su reikšme naudojant didelį kalbos modelį GPT-1, kuris yra „ChatGPT“ pirmtakas.
Vėliau tie patys dalyviai buvo skenuojami klausantis naujos istorijos arba įsivaizduojant, kad pasakoja istoriją, o dekoderis buvo naudojamas tekstui generuoti tik iš smegenų veiklos. Maždaug pusę atvejų tekstas labai tiksliai atitiko pradinių žodžių reikšmę.
„Mūsų sistema veikia idėjų, semantikos, prasmės lygmeniu“, – sakė tyrėjas, – „Dėl šios priežasties tai, ką gauname, nėra tikslūs žodžiai, tai yra esmė“.
Pavyzdžiui, kai dalyviui buvo paleisti žodžiai „Aš dar neturiu vairuotojo pažymėjimo“, dekoderis juos išvertė kaip „Ji dar net nepradėjo mokytis vairuoti“.
Dalyvių taip pat buvo paprašyta žiūrėti keturis trumpus nebylius vaizdo įrašus, kol jie buvo skeneryje, ir dekoderis galėjo pasinaudoti jų smegenų veikla, kad tiksliai apibūdintų kai kurį turinį.
Teksaso universiteto Ostine doktorantas Jerry Tangas, vienas iš bendraautorių, sakė: „Mes labai rimtai vertiname nuogąstavimus, kad sistema gali būti panaudota blogiems tikslams, ir stengėmės to išvengti. Norime užtikrinti, kad žmonės naudotųsi tokiomis technologijomis tik tada, kai jie to nori, ir kad tai jiems padėtų.“
Kol kas šiam metodui reikia didžiulės mašinos ir jo negalima naudoti ne laboratorijoje. Tačiau mokslininkai tikisi, kad ateityje, įdiegus kompaktiškesnę technologiją, šis metodas taps „labiau nešiojamas“.
