Kurdi ja tekoäly: miten kone oppii vähäresurssisen kielen

Tekoäly on oppinut kuuntelemaan, puhumaan ja kääntämään monilla kielillä, ja kurdi on vasta kirimässä muita kiinni. Sitä puhuu arviolta 20–30 miljoonaa ihmistä, mutta siitä on paljon vähemmän äänitteitä, digitaalista tekstiä ja merkittyä aineistoa, joista tietokone voisi oppia. Tämä opas kertoo selkein sanoin, mitä se tarkoittaa ja mitä kurdinkielisen tekoälyn rakentaminen vaatii.

Mitä ”vähäresurssinen” tarkoittaa

Tekoälyjärjestelmät oppivat esimerkeistä. Puheentunnistin oppii monen tunnin äänitteistä, joista jokaisella on oma kirjoitettu litterointinsa. Käännösjärjestelmä oppii suuresta määrästä lauseita, joiden rinnalla on niiden käännös.

Tutkijat kutsuvat kieltä vähäresurssiseksi, kun tällaista dataa on niukasti. Termi kertoo ennen kaikkea datasta, ei puhujien määrästä: kielellä voi olla miljoonia puhujia, ja se voi silti olla vähäresurssinen. Kurdi on tästä selvä esimerkki, ja kurdin kieliteknologiaa koskevissa tutkimuksissa sitä on kuvattu resursseiltaan niukaksi kieleksi jo yli kymmenen vuoden ajan.

Tärkeintä on merkitty data: äänitteet litterointeineen, lauseet käännöksineen ja sanat, joihin on merkitty niiden merkitys. Myös internetin tavallinen teksti auttaa, mutta merkitty data opettaa järjestelmälle tietyn tehtävän, ja sen tekeminen vaatii huolellista ihmistyötä.

Miksi kurdi on tekoälylle vaikea

Kurdissa on neljä haastetta yhtä aikaa: useita murteita, kaksi pääasiallista kirjoitusjärjestelmää, vaihteleva oikeinkirjoitus ja hyvin vähän merkittyä dataa.

Useita murteita

Kurmancî (kurmandži, pohjoiskurdi) ja Soranî (sorani, keskikurdi) ovat kaksi suurinta kielimuotoa, ja eteläkurdi on kolmas ryhmä. Ne eroavat toisistaan äänteiltään, sanastoltaan ja kieliopiltaan, joten yhdellä niistä opetettu järjestelmä ei automaattisesti ymmärrä toista.

Katso riviä ”Voin hyvin”. Kurmancî käyttää kolmea sanaa, Ez baş im, kun taas Soranî tiivistää saman merkityksen yhteen sanaan. Tietokoneen on opittava molemmat rakenteet erikseen. Lue lisää artikkelista Kurmancî vai Soranî.

Kaksi pääasiallista kirjoitusjärjestelmää

Kurmancî kirjoitetaan useimmiten latinalaisin kirjaimin ja Soranî arabialaispohjaisella kirjoituksella, joka kulkee oikealta vasemmalle. Entisessä Neuvostoliitossa Kurmancî-murretta kirjoitettiin myös kyrillisin kirjaimin. Tietokoneelle yllä olevan taulukon kahdella tavalla kirjoitetuilla hei-sanoilla ei ole mitään yhteistä, vaikka kurdinkielinen kuulija kuulee lähes saman sanan. Kurdin aakkoset -oppaamme esittelee molemmat kirjoitusjärjestelmät kirjain kirjaimelta.

Vaihteleva oikeinkirjoitus

Monet arkiset sanat kirjoitetaan useammalla kuin yhdellä tavalla. Tässä on omilta oppitunneiltamme sanapareja, joita tietokoneen on opittava käsittelemään samana sanana:

Taustalla on myös piilossa oleva kerros. Kurdia kirjoitetaan monenlaisilla näppäimistöillä, myös muille kielille tehdyillä, ja ne voivat tallentaa samannäköiset kirjaimet eri merkkeinä. Yksi Soranî-kirjain voi päätyä tietokoneelle monessa eri muodossa, joten teksti on siivottava, ennen kuin tekoäly voi oppia siitä. Kurdin näppäimistö -oppaamme näyttää, miten jokainen kirjain kirjoitetaan.

Vähän merkittyä puhetta ja tekstiä

Kurdin puheentunnistus on nuori ala. Vuonna 2019 tutkijat, jotka esittelivät yhden ensimmäisistä Soranî-puheaineistoista, kirjoittivat, etteivät he löytäneet yhtään aiempaa tutkimusta kurdin puheentunnistuksesta. Sen jälkeen Soranî- ja Kurmancî-murteelle on koottu laajempia puheaineistoja, mutta ne ovat yhä kooltaan vaatimattomia.

Käännöksissä on sama ongelma. Kurdin konekäännöstä käsittelevien tutkimusten mukaan kurdinkielistä tekstiä, jonka rinnalla on käännös, on tarjolla niukasti.

Puheentunnistus, puhesynteesi ja konekäännös

Nämä kolme niputetaan usein yhteen nimellä ”kurdin tekoäly”, mutta jokainen niistä tekee eri tehtävää. Otetaan esimerkiksi kurdin kaikkein yksinkertaisin sana:

Silav! /siˈlav/ سڵاو! silaw Hei!

• Puheentunnistus muuttaa puheen tekstiksi. Sanot Silav ääneen, ja tietokone kirjoittaa sen.
• Puhesynteesi toimii toisin päin. Se lukee kirjoitettua kurdia ääneen tietokoneen äänellä.
• Konekäännös muuttaa tekstin kielestä toiseen. Se lukee sanan Silav ja antaa sinulle sanan ”Hei”.

Ääntämispalaute rakentuu puheentunnistuksen varaan. Sen sijaan, että järjestelmä vain kirjoittaisi muistiin, mitä sanoit, se vertaa lausumaasi sanaa Silav siihen sanaan, joka sinua pyydettiin sanomaan, ja osoittaa äänteet, joita kannattaa vielä harjoitella.

Jokainen tehtävä tarvitsee erilaista dataa. Puheentunnistuksen on ymmärrettävä kaikkia, joten se oppii parhaiten monista äänistä: nuorista ja vanhoista, kaikista aksenteista, hiljaisista ja meluisista huoneista. Puhesynteesin on tiedettävä, miltä jokaisen kirjoitetun sanan pitäisi kuulostaa. Tässä kurdilla on etu, koska molemmissa aakkosissa yksi kirjain vastaa useimmiten yhtä äännettä. Soranî myös kirjoittaa lähes kaikki vokaalinsa kirjaimina, kun taas arabiassa lyhyet vokaalit yleensä jätetään merkitsemättä. Ainoa poikkeus on lyhyt i, kuten sanan سڵاو ensimmäinen vokaali, jota ei kirjoiteta.

Oma kurdin puheentunnistus ja omat äänet

ZimanGo rakentaa omaa kurdin puheentunnistustaan Kurmancî- ja Soranî-murteelle. Puheharjoituksissa sanot sanan tai lauseen ääneen, ja puheentunnistus tarkistaa ääntämisesi ja näyttää, mitä kannattaa korjata.

Jokaisen oppitunnin ääni tulee omista kurdinkielisistä puhesynteesiäänistämme. Ne lukevat samoja lauseita, jotka näet näytöllä, ja nuo lauseet ovat kurdia puhuvien ihmisten kirjoittamia: perustaja kirjoittaa Kurmancî-oppitunnit ja Soranî-murteen puhujat Soranî-oppitunnit.

Kun kurdille rakennetaan tekniikkaa alusta asti, on otettava huomioon molemmat kirjoitusjärjestelmät, kummankin murteen äänteet ja edellä kuvattu oikeinkirjoituksen vaihtelu. Se on hidasta ja huolellista työtä, ja äänitteet, jotka oppijat itse päättävät jakaa, auttavat sitä kehittymään.

Näin oppijat voivat auttaa, vain luvallasi

Paras tapa parantaa kurdin puheentunnistusta on saada lisää oikeita kurdinkielisiä ääniä, kaikilta alueilta ja kaikilla aksenteilla. Siksi ZimanGo kysyy oppijoilta, saako heidän puheharjoitusten äänitteitään käyttää sen parantamiseen.

• Sinun valintasi. Äänitteesi auttavat parantamaan puheentunnistustamme vain, jos annat siihen nimenomaisen suostumuksesi. Voit kieltäytyä tai muuttaa mielesi milloin tahansa ja käyttää silti kaikkia puheharjoituksia.
• Säilytetään rajatun ajan. Äänitteitä säilytetään enintään 24 kuukautta niiden tekemisestä tai siihen asti, kunnes poistat ne tai tilisi, sen mukaan, kumpi tapahtuu ensin. Voit pyytää meitä poistamaan ne milloin tahansa.
• Ei koskaan väärinkäyttöä. Emme koskaan käytä ääntäsi äänen kloonaamiseen, mainontaan tai sinun tunnistamiseesi.

Puheharjoitukset ovat aina vapaaehtoisia, joten voit myös ohittaa ne. Kaikki yksityiskohdat löydät tietosuojakäytännöstämme.

Kurdin sanoja digitaaliseen maailmaan

Jos opiskelet kurdia, teknologian sanasto on hyvä paikka nähdä kieli käytössä. Nämä sanat ovat oppitunneiltamme, useimmat teknologiaa ja nykyelämää käsittelevältä oppitunnilta:

Joillakin uusilla asioilla on useampi kuin yksi nimi. Oppitunneilla ”sovellus” esiintyy sekä muodossa sepan että muodossa Aplîkasyon, ja juuri tällaista vaihtelua tekoälyn on opittava.

Yhdistä muutama sana, niin voit kertoa päivästäsi. Ez li ser komputerê dixebitim tarkoittaa ”teen töitä tietokoneella”. Soranî-murteella sanotaan لەسەر کۆمپیوتەر کار دەکەم.

Mitä seuraavaksi

Kurmancî ja Soranî ovat saatavilla jo nyt. Behdînî (Badini), Zazakî (Kirmanckî) ja Hewramî (Gorani) ovat tulossa pian. Jokaisen tuominen mukaan vaatii lisää äänitteitä, lisää ääniä ja niiden ihmisten huolellista tarkistusta, jotka puhuvat kyseistä kielimuotoa. Kurdin murteet -oppaamme selittää, miten ne liittyvät toisiinsa.

Kielimuodot, joista on vähemmän kirjoitettua tekstiä ja äänitteitä, lähtevät liikkeelle vielä vähemmästä datasta, joten jokainen huolella kirjoitettu lause ja jokainen jaettu äänite on tärkeä. Edistys on tasaista eikä äkillistä.