Kurdisk AI: at lære computere et lavressourcesprog

Kunstig intelligens har lært at lytte, tale og oversætte på mange sprog, og kurdisk er stadig ved at indhente forspringet. Sproget tales af anslået 20 til 30 millioner mennesker, men langt mindre af det er blevet optaget, skrevet ind og mærket på en måde, som en computer kan lære af. Denne guide forklarer med enkle ord, hvad det betyder, og hvad der skal til for at bygge kurdisk AI.

Hvad “lavressourcesprog” betyder

AI-systemer lærer af eksempler. Et system til talegenkendelse lærer af mange timers optagelser, hver med en tilhørende skrevet udskrift. Et oversættelsessystem lærer af store mængder sætninger, der er parret med deres oversættelser.

Forskere kalder et sprog for et lavressourcesprog, når den slags data er sjældne. Begrebet handler først og fremmest om data, ikke om antallet af talere: Et sprog kan have millioner af talere og alligevel være et lavressourcesprog. Kurdisk er et tydeligt eksempel, og studier af kurdisk sprogteknologi har beskrevet det som et sprog med få ressourcer i mere end ti år.

De data, der betyder mest, er mærkede data: optagelser med udskrifter, sætninger med oversættelser og ord, der er markeret med deres betydning. Almindelig tekst fra internettet hjælper også, men det er mærkede data, der lærer et system en bestemt opgave, og de kræver omhyggeligt menneskeligt arbejde.

Hvorfor kurdisk er svært for AI

Kurdisk byder på fire udfordringer på én gang: flere dialekter, to hovedskrifter, varierende stavning og meget få mærkede data.

Flere dialekter

Kurmancî (nordkurdisk) og Soranî (centralkurdisk) er de to største varianter, og sydkurdisk er en tredje gruppe. De adskiller sig i lyde, ord og grammatik, så et system, der er trænet på den ene, forstår ikke automatisk den anden.

Se på “Jeg har det godt”. Kurmancî bruger tre ord, Ez baş im, mens Soranî pakker den samme betydning ind i ét enkelt ord. En computer skal lære begge mønstre hver for sig. Læs mere i Kurmancî vs. Soranî.

To hovedskrifter

Kurmancî skrives for det meste med latinske bogstaver og Soranî med en skrift baseret på det arabiske alfabet, som læses fra højre mod venstre. I det tidligere Sovjetunionen blev Kurmancî også skrevet med kyrilliske bogstaver. For en computer har de to måder at skrive “hej” på i tabellen ovenfor intet til fælles, selv om en kurdisk lytter hører næsten det samme ord. Vores guide til det kurdiske alfabet viser begge skrifter bogstav for bogstav.

Varierende stavning

Mange hverdagsord skrives på mere end én måde. Her er par fra vores egne lektioner, som en computer skal lære at behandle som det samme ord:

Der er også et skjult lag. Folk skriver kurdisk på mange forskellige tastaturer, også nogle, der er lavet til andre sprog, og de kan gemme bogstaver, der ser helt ens ud, som forskellige tegn. Ét Soranî-bogstav kan nå frem til en computer i flere former, så teksten skal renses, før en AI kan lære af den. Vores guide til kurdisk tastatur viser, hvordan du skriver hvert bogstav.

Få mærkede tale- og tekstdata

Kurdisk talegenkendelse er et ungt felt. I 2019 skrev forskere, der præsenterede et af de første taledatasæt for Soranî, at de ikke kunne finde nogen tidligere studier af kurdisk talegenkendelse. Siden er der bygget større samlinger af tale på Soranî og Kurmancî, men de er stadig beskedne i omfang.

Oversættelse har samme problem. Studier af kurdisk maskinoversættelse beskriver kurdisk tekst, der er parret med sin oversættelse, som en knap ressource.

Talegenkendelse, tekst-til-tale og oversættelse

De tre bliver tit slået sammen under navnet “kurdisk AI”, men de har hver sin opgave. Tag det enkleste kurdiske ord:

Silav! /siˈlav/ سڵاو! silaw Hej!

• Talegenkendelse gør tale til tekst. Du siger Silav højt, og computeren skriver det ned.
• Tekst-til-tale går den modsatte vej. Den læser skrevet kurdisk højt med en computerstemme.
• Maskinoversættelse gør tekst på ét sprog til tekst på et andet. Den læser Silav og giver dig “Hej”.

Udtalefeedback bygger på talegenkendelse. I stedet for kun at skrive ned, hvad du sagde, sammenligner systemet dit Silav med det ord, du skulle sige, og peger på de lyde, du skal arbejde med.

Hver opgave kræver forskellige data. Talegenkendelse skal forstå alle, så den lærer bedst af mange stemmer: unge og gamle, alle accenter, stille rum og larmende rum. Tekst-til-tale skal vide, hvordan hvert skrevet ord skal lyde. Her har kurdisk en fordel, fordi begge alfabeter for det meste skriver ét bogstav for hver lyd. Soranî skriver også næsten alle sine vokaler som bogstaver, mens arabisk som regel udelader de korte vokaler. Den eneste undtagelse er et kort “i”, som den første vokal i سڵاو, der ikke bliver skrevet.

Vores egen kurdiske talegenkendelse og egne stemmer

ZimanGo bygger sin egen kurdiske talegenkendelse til Kurmancî og Soranî. I taleøvelserne siger du et ord eller en sætning højt, og den tjekker din udtale og viser dig, hvad du skal rette.

Lyden i hver lektion kommer fra vores egne kurdiske tekst-til-tale-stemmer. De læser de samme sætninger op, som du ser på skærmen, og sætningerne er skrevet af kurdisktalende: Stifteren skriver Kurmancî-lektionerne, og Soranî-talere skriver Soranî-lektionerne.

At bygge til kurdisk fra starten betyder, at man skal håndtere begge skrifter, lydene i hver dialekt og den varierende stavning, der er beskrevet ovenfor. Det er langsomt og omhyggeligt arbejde, og optagelser, som elever vælger at dele, hjælper det med at blive bedre.

Sådan kan elever hjælpe, men kun hvis du siger ja

Den bedste måde at gøre kurdisk talegenkendelse bedre på er flere ægte kurdiske stemmer fra alle regioner og med alle accenter. Derfor spørger ZimanGo elever, om deres optagelser fra taleøvelserne må bruges til at forbedre den.

• Dit valg. Dine optagelser hjælper kun med at forbedre vores talegenkendelse, hvis du udtrykkeligt giver dit samtykke. Du kan sige nej eller skifte mening når som helst og stadig bruge alle taleøvelser.
• Gemt i en begrænset periode. Optagelser gemmes i op til 24 måneder, efter at de blev lavet, eller indtil du sletter dem eller din konto, alt efter hvad der kommer først. Du kan når som helst bede os om at slette dem.
• Aldrig misbrugt. Vi bruger aldrig din stemme til stemmekloning, til reklamer eller til at identificere dig.

Taleøvelser er altid valgfrie, så du kan også springe dem over. Alle detaljer står i vores privatlivspolitik.

Kurdiske ord til den digitale verden

Hvis du lærer kurdisk, er teknologiens ordforråd et godt sted at se sproget i aktion. Disse ord kommer fra vores lektioner, de fleste fra lektionen om teknologi og det moderne liv:

Nogle nye ting har mere end ét navn. I lektionerne optræder “app” både som sepan og som Aplîkasyon, og det er præcis den slags variation, en AI skal lære.

Sæt nogle få ord sammen, så kan du fortælle om din dag. Ez li ser komputerê dixebitim betyder “Jeg arbejder på computeren”. På Soranî siger du لەسەر کۆمپیوتەر کار دەکەم.

Hvad der kommer nu

Kurmancî og Soranî er tilgængelige i dag. Behdînî (Badini), Zazakî (Kirmanckî) og Hewramî (Gorani) kommer snart. At få hver af dem med kræver flere optagelser, flere stemmer og omhyggelig kontrol af folk, der taler dem. Vores guide til kurdiske dialekter forklarer, hvordan de hænger sammen.

Varianter med færre skrevne tekster og optagelser starter med endnu færre data, så hver omhyggeligt skrevet sætning og hver delt optagelse tæller. Fremskridtene kommer jævnt snarere end pludseligt.