Valstybės skaitmeninių sprendimų agentūra (VSSA), kartu su mokslo ir verslo partneriais, žengia svarbų žingsnį plėtojant lietuvių kalbos dirbtinio intelekto (DI) sprendimus. Viešai paskelbtas pirmasis praktinis rezultatas – „Mažasis lietuvių kalbos vektorizuotas modelis“, atveriantis naujas galimybes inovacijoms.
Vienas didžiausių iššūkių plėtojant dirbtinio intelekto technologijas yra pakankamai gausūs ir kokybiški kalbiniai ištekliai. Šią spragą siekia užpildyti VSSA kartu su Vytauto Didžiojo universitetu (VDU), UAB Neurotechnology, UAB Tilde Lietuva ir MB Krilas įgyvendinamas projektas „Bendrojo lietuvių kalbos tekstyno ir vektorizuotų modelių sukūrimas“.
Didžiausias Autentiškas Lietuvių Kalbos Tekstynas
Svarbiausias projekto etapas – Bendrojo lietuvių kalbos tekstyno formavimas. Tai bus didžiausias lig šiol sukauptas lietuviškas tekstynas, apimantis net 3,5 mlrd. žodžių patikrintų, žmogaus kurtų (ne DI generuotų) tekstų. Šis didžiulis autentiškas duomenų kiekis yra kritiškai svarbus efektyviam DI modelių apmokymui.
VDU vyresnysis mokslo darbuotojas dr. Andrius Utka, atstovaujantis tiekėjų grupei, pabrėžia: „Mažasis lietuvių kalbos vektorizuotas modelis yra apmokytas su daugiau nei puse planuojamo sukaupti Tekstyno, t. y. 1,87 mlrd. žodžių. Galima sakyti, kad kol kas tai yra didžiausias tokios kokybės lietuvių kalbos tekstų rinkinys vienoje vietoje.“
Prieinamumas ir Konkurencingumas
Lapkričio 3 d. viešai prieinamas tapo pirmasis apmokytas neuroninis modelis – Mažasis lietuvių kalbos vektorizuotas modelis (LT-MLKM-modernBERT). Šis „iš anksto apmokytas“ (pre-trained) modelis „užkoduoja“ kalbą kompiuteriui suprantamu būdu, taip sudarydamas sąlygas DI inovacijų kūrėjams kurti įvairius sprendimus: nuo pokalbių robotų iki teksto generavimo įrankių.
Modelis patalpintas atvirojoje prieigoje, populiarioje „Hugging Face“ platformoje.
- Modelio nuoroda: VSSA-SDSA (State Digital Solutions Agency (LT))
- Validavimo kodas: VSSA-AtvirasKodas-LT/LT_AI-NER
- Metaduomenys: Lietuvos atvirų duomenų portalas | Mažasis lietuvių kalbos vektorizuotas modelis
Praktinis Pranašumas Rinkoje
Modelio efektyvumas jau patvirtintas pritaikant jį įvardytųjų esybių atpažinimo (named entity recognition, NER) užduočiai. Sėkmingas asmenvardžių, vietovardžių, datų ir kitų esybių atpažinimas yra gyvybiškai svarbus anonimizuojant tekstus ar atliekant specifinės informacijos paiešką. Šis modelis taip pat gali būti pritaikytas sentimentų analizei ir kitoms kalbos apdorojimo užduotims.
UAB Neurotechnology natūralios kalbos apdorojimo vyr. specialistas Vytas Mulevičius pabrėžia lietuviškos inovacijos svarbą: „Šis modelis yra žymiai geresnis negu esami rinkoje. … Anksčiau tokius lietuvių kalbos modelius buvo kūrę slovėnų, slovakų tyrėjai, bet lietuviško vardo ten nerasi. Dabar yra lietuviškas modelis, kurį sukūrė lietuviai.“
Iki 2030 m. siekiama, kad Projekto rezultatai, įskaitant visus Tekstyno duomenis, taptų viešai prieinami ir būtų galima juos pakartotinai naudoti kuriant naujus lietuvių kalbos modelius, taip prisidedant prie šalies skaitmeninimo plėtros programos įgyvendinimo.
