e-Seminar: Razumevanje in ustvarjanje jezika z umetno inteligenco

V spletnih seminarjih AI4SI smo pričeli z napovedano predstavitvijo tudi konkretnih tehnologij umetne inteligence (UI), kamor med uspešne zgodbe spada tudi obdelava in razumevanje naravnih jezikov.

V spletnem seminarju z naslovom Razumevanje in ustvarjanje jezika z umetno inteligenco, ki smo ga organizirali 15. 9. 2020, smo predstavili konkretne tehnologije umetne inteligence (UI), kamor med uspešne zgodbe spada tudi obdelava in razumevanje naravnih jezikov. 

Na tem področju gre za praktično uporabo strojnega prevajanja, prepoznave in ustvarjanje govora, semantično iskanje in klasifikacijo besedil. Sodobni pristopi temeljijo na globokih nevronskih mrežah, kjer smo v zadnjem letu priča spremembi vodilne tehnologije. Dotaknili se bomo tehnologije GPT-3, ki po mnenju strokovnjakov UI predstavlja največji preskok tehnologij UI v 2020.

Opis predavanj, ki smo jih poslušali:

Sinteza govora – kako računalnik spregovori s človeškim glasom
Jerneja Žganec Gros, direktorica, Alpineon d.o.o.
Če želimo povečati uporabniško izkušnjo pri uporabi digitalnih produktov in storitev, je ključno izboljšati interakcijo s pametnimi napravami z uporabo večmodalnih uporabniških vmesnikov. Med najbolj naravne načine interakcije sodi govor. Za uspešen razvoj in uporabo govorno podprtih aplikacij je potrebno zagotoviti učinkovite in visoko kakovostne komponente sistema govornega dialoga, to je uspešnost avtomatskega razpoznavanja govora in kvalitetno, razumljivo in naravno zvenečo sintezo govora, ki omogoča samodejno tvorjenje govornega signala na podlagi vhodnega besedila.
Pri tem hitro naletimo na razkorak med tehnološko »podprtimi« in »nepodprtimi« jeziki, ki se v svetu čedalje bolj poglablja; se pravi med jeziki, kjer uporabniki lahko uporabljajo napredne govorne in jezikovne tehnološke rešitve, in tistimi, ki so za te namene bolj ali manj »neuporabni«. V seminarju bom na primeru sinteze govora predstavila, kam se pri tem uvršča slovenščina. Demonstrirala bom nekaj zanimivih primerov uporabe sinteze govora v procesih digitalizacije produktov in storitev. Naslovila bom tudi etične vidike pri uvajanju govornih tehnologij v prakso.

Razvoj slovenščine v digitalnem okolju
doc. dr. Simon Krek, raziskovalec, Laboratorij za umetno inteligenco, IJS in Vodja Centra za jezikovne vire in tehnologije UNI LJ
V sklopu projekta, ki vključuje največje izobraževalne in raziskovalne organizacije v Sloveniji, bo vzpostavljena osrednja infrastruktura za jezikovne vire in tehnologije za slovenski jezik. Projekt, ki ga sofinancirata Republika Slovenija in Evropska unija iz Evropskega sklada za regionalni razvoj, traja od maja 2020 do avgusta 2022. Na osnovi identificiranih potreb po manjkajočih računalniških izdelkih in storitvah s področja jezikovnih tehnologij je cilj projekta vzpostavitev infrastrukture za jezikovne vire in tehnologije z odprtim dostopom do rezultatov raziskovalnega dela, ki bodo javno objavljeni in dostopni pod licenco Creative Commons (CC). Na ta način bodo raziskovalcem in znanstveno-raziskovalnim organizacijam, zagonskim in drugim podjetjem ter širši mednarodni skupnosti omogočeni nadgradnja organiziranega skladiščenja, vzdrževanje ter distribucija virov in tehnologij. Slednje zagotavlja tudi enakopravnejše sodelovanje slovenskega raziskovalnega prostora z evropskimi pobudami za izmenjavo digitalnih virov in orodij.

Novi pristopi k (večjezičnemu) procesiranju besedil
prof. dr. Marko Robnik Šikonja, Fakulteta za računalništvo in informatiko UNI LJ, raziskovalec v Centru za jezikovne vire in tehnologije UNI LJ
Med uspešne zgodbe umetne inteligence spada tudi obdelava in razumevanje naravnih jezikov, kjer vidimo praktično uporabno strojno prevajanje, prepoznavo in generiranje govora, semantično iskanje in klasifikacijo besedil. Sodobni pristopi temeljijo na globokih nevronskih mrežah. V zadnjem letu smo s pojavom mrež tipa transformer priča spremembi vodilne tehnologije. Današnji veliki jezikovni modeli tipa BERT in GPT-3 iz velikih zbirk besedil zajamejo znanje o jeziku in ga uporabijo za različne naloge. To lahko uspešno počno tudi za več jezikov hkrati. Predstavili bomo modele tipa BERT, ki trenutno dosegajo najboljše rezultate npr. pri povzemanju besedil, klasifikaciji sentimenta in odgovorih na vprašanja. Ta razvoj ni obšel niti slovenščine.

GPT-3, največji preskok umetne inteligence v 2020
Dr. Boris Cergol, vodja poslovne enote za umetno inteligenco, Comtrade Digital Services
Ustvarjanje vseh mogočih besedil, od elektronske pošte do kreativnih esejev, prepričljivo odgovarjanje in pogovarjanje, pisanje delujoče programske kode zgolj na podlagi opisa, kaj želimo implementirati. Vse to so le nekatere od sposobnosti modela GPT-3, ki ga je pred kratkim predstavilo podjetje OpenAI. Vendar pa se avtorji modela niso zaustavili pri akademskem članku, ampak so pripravili tudi programski vmesnik, preko katerega je mogoče na uporabniku prijazen način dostopati do modela. Beta dostop do vmesnika so omogočili nekaterim predstavnikom strokovne javnosti. V svojem tokratnem seminarju bom delil nekaj svojih izkušenj z GPT-3, ki sem jih pridobil kot eden od beta testerjev in nekaj mojih razmišljanj o tem, kakšne spremembe si lahko v prihodnje obetamo od GPT-3 in od še veliko zmogljivejših modelov, ki mu bodo zagotovo kmalu sledili.

Posnetek seminarja si lahko ogledate v naši knjižnici.