Kurdisk AI: att lära datorer ett resurssvagt språk

Artificiell intelligens har lärt sig att lyssna, tala och översätta på många språk, och kurdiskan håller fortfarande på att komma ikapp. Språket talas av uppskattningsvis 20 till 30 miljoner människor, men betydligt mindre av det har spelats in, skrivits ner och märkts upp på ett sätt som en dator kan lära sig av. Den här guiden förklarar med enkla ord vad det innebär och vad som krävs för att bygga kurdisk AI.

Vad ”resurssvagt” betyder

AI-system lär sig av exempel. En taligenkännare lär sig av många timmars inspelningar, var och en med en matchande skriftlig transkription. Ett översättningssystem lär sig av stora mängder meningar som är parade med sina översättningar.

Forskare kallar ett språk resurssvagt (på engelska low-resource) när den här sortens data är knapp. Begreppet handlar främst om data, inte om antalet talare: ett språk kan ha miljontals talare och ändå vara resurssvagt. Kurdiska är ett tydligt exempel, och studier av kurdisk språkteknologi har beskrivit språket som resurssvagt i mer än tio år.

Den data som betyder mest är uppmärkt data: inspelningar med transkriptioner, meningar med översättningar, ord som är taggade med sin betydelse. Vanlig text från internet hjälper också, men det är uppmärkt data som lär ett system en specifik uppgift, och att ta fram den kräver noggrant mänskligt arbete.

Varför kurdiska är svårt för AI

Kurdiska bjuder på fyra utmaningar på en gång: flera dialekter, två huvudskrifter, varierande stavning och väldigt lite uppmärkt data.

Flera dialekter

Kurmancî (nordkurdiska) och Soranî (centralkurdiska) är de två största varieteterna, och sydkurdiska är en tredje grupp. De skiljer sig åt i ljud, ord och grammatik, så ett system som har tränats på den ena förstår inte automatiskt den andra.

Titta på ”Jag mår bra”. Kurmancî använder tre ord, Ez baş im, medan Soranî packar in samma betydelse i ett enda ord. En dator måste lära sig båda mönstren var för sig. Läs mer i Kurmancî eller Soranî.

Två huvudskrifter

Kurmancî skrivs oftast med latinska bokstäver, och Soranî med ett arabiskbaserat alfabet som läses från höger till vänster. I det forna Sovjetunionen skrevs Kurmancî också med kyrilliska bokstäver. För en dator har de två sätten att skriva ”hej” i tabellen ovan ingenting gemensamt, trots att en kurdisk lyssnare hör nästan samma ord. Vår guide till det kurdiska alfabetet visar båda skrifterna bokstav för bokstav.

Varierande stavning

Många vardagsord skrivs på mer än ett sätt. Här är par från våra egna lektioner som en dator måste lära sig att behandla som samma ord:

Det finns också ett dolt lager. Folk skriver kurdiska på många olika tangentbord, även sådana som är gjorda för andra språk, och de kan lagra bokstäver som ser identiska ut som olika tecken. En och samma bokstav i Soranî kan nå datorn i flera former, så texten måste rensas innan en AI kan lära sig av den. Vår guide till kurdiskt tangentbord visar hur du skriver varje bokstav.

Lite uppmärkt tal och text

Kurdisk taligenkänning är ett ungt forskningsfält. År 2019 skrev forskare som presenterade en av de första datamängderna med tal på Soranî att de inte kunde hitta några tidigare studier om kurdisk taligenkänning. Större samlingar av tal på Soranî och Kurmancî har byggts sedan dess, men de är fortfarande blygsamma i storlek.

Översättning har samma problem. Studier om maskinöversättning av kurdiska beskriver tillgången på kurdisk text som är parad med sin översättning som knapp.

Taligenkänning, talsyntes och översättning

De här tre klumpas ofta ihop som ”kurdisk AI”, men var och en gör ett eget jobb. Ta det enklaste kurdiska ordet:

Silav! /siˈlav/ سڵاو! silaw Hej!

• Taligenkänning gör om tal till text. Du säger Silav högt, och datorn skriver ner det.
• Talsyntes (text till tal) går åt andra hållet. Den läser upp skriven kurdiska med en datorröst.
• Maskinöversättning gör om text på ett språk till ett annat. Den läser Silav och ger dig ”Hej”.

Uttalsfeedback bygger på taligenkänning. I stället för att bara skriva ner vad du sa jämför systemet ditt Silav med ordet du ombads säga och pekar ut de ljud som behöver övas.

Varje uppgift kräver olika data. Taligenkänning måste förstå alla, så den lär sig bäst av många röster: unga och gamla, alla accenter, tysta rum och bullriga. Talsyntes måste veta hur varje skrivet ord ska låta. Här har kurdiskan en fördel, eftersom båda alfabeten för det mesta skriver en bokstav för varje ljud. Soranî skriver dessutom nästan alla sina vokaler som bokstäver, medan arabiska oftast utelämnar de korta vokalerna. Det enda undantaget är ett kort ”i”, som den första vokalen i سڵاو, som inte skrivs ut.

Vår egen kurdiska taligenkänning och våra egna röster

ZimanGo bygger sin egen kurdiska taligenkänning för Kurmancî och Soranî. I talövningarna säger du ett ord eller en mening högt, och den kontrollerar ditt uttal och visar vad du ska rätta till.

Ljudet i varje lektion kommer från våra egna kurdiska talsyntesröster. De läser samma meningar som du ser på skärmen, och de meningarna är skrivna av kurdisktalande: grundaren skriver lektionerna på Kurmancî, och personer som talar Soranî skriver lektionerna på Soranî.

Att bygga för kurdiska från början betyder att hantera båda skrifterna, ljuden i varje dialekt och den varierande stavningen som beskrivs ovan. Det är ett långsamt och noggrant arbete, och det blir bättre när de som lär sig väljer att dela sina inspelningar.

Så kan du hjälpa till, bara om du säger ja

Det bästa sättet att göra kurdisk taligenkänning bättre är fler riktiga kurdiska röster, från alla regioner och med alla accenter. Därför frågar ZimanGo dem som lär sig om inspelningarna från deras talövningar får användas för att förbättra den.

• Ditt val. Dina inspelningar hjälper till att förbättra vår taligenkänning bara med ditt uttryckliga samtycke. Du kan säga nej, eller ändra dig när som helst, och ändå använda alla talövningar.
• Sparas en begränsad tid. Inspelningar sparas i upp till 24 månader efter att de gjordes, eller tills du raderar dem eller ditt konto, beroende på vad som inträffar först. Du kan när som helst be oss radera dem.
• Missbrukas aldrig. Vi använder aldrig din röst för röstkloning, för reklam eller för att identifiera dig.

Talövningarna är alltid frivilliga, så du kan också hoppa över dem. Alla detaljer finns i vår integritetspolicy.

Kurdiska ord för den digitala världen

Om du lär dig kurdiska är teknikens ordförråd ett bra ställe att se språket i arbete. De här orden kommer från våra lektioner, de flesta från lektionen om teknik och det moderna livet:

Vissa nya saker har mer än ett namn. I lektionerna dyker ”app” upp både som sepan och som Aplîkasyon, vilket är precis den sortens variation som en AI måste lära sig.

Sätt ihop några ord, så kan du prata om din dag. Ez li ser komputerê dixebitim betyder ”Jag arbetar på datorn”. På Soranî säger du لەسەر کۆمپیوتەر کار دەکەم.

Vad som händer härnäst

Kurmancî och Soranî finns redan i dag. Behdînî (Badini), Zazakî (Kirmanckî) och Hewramî (Gorani) kommer snart. Att lägga till var och en kräver fler inspelningar, fler röster och noggrann granskning av människor som talar dem. Vår guide till kurdiska dialekter förklarar hur de hänger ihop.

Varieteter med färre skrivna texter och inspelningar startar från ännu mindre data, så varje noggrant skriven mening och varje delad inspelning räknas. Framstegen kommer stadigt snarare än plötsligt.