Koerdische AI: computers een taal met weinig data leren

Kunstmatige intelligentie heeft geleerd te luisteren, te spreken en te vertalen in veel talen, en het Koerdisch loopt nog achter. Het wordt naar schatting door 20 tot 30 miljoen mensen gesproken, maar er is veel minder van opgenomen, getypt en gelabeld op een manier waarvan een computer kan leren. Deze gids legt in gewone woorden uit wat dat betekent en wat er nodig is om Koerdische AI te bouwen.

Wat “low-resource” betekent

AI-systemen leren van voorbeelden. Een spraakherkenner leert van vele uren opnamen, elk met een bijpassende geschreven transcriptie. Een vertaalsysteem leert van grote aantallen zinnen die aan hun vertaling gekoppeld zijn.

Onderzoekers noemen een taal low-resource, een taal met weinig data, wanneer dit soort data schaars is. De term gaat vooral over data, niet over het aantal sprekers: een taal kan miljoenen sprekers hebben en toch low-resource zijn. Het Koerdisch is daar een duidelijk voorbeeld van, en studies over Koerdische taaltechnologie beschrijven het al meer dan tien jaar als een taal met weinig hulpbronnen.

De data die het meest telt, is gelabelde data: opnamen met transcripties, zinnen met vertalingen, woorden met hun betekenis erbij. Gewone tekst van internet helpt ook, maar gelabelde data leert een systeem een specifieke taak, en het maken ervan vraagt zorgvuldig mensenwerk.

Waarom Koerdisch moeilijk is voor AI

Het Koerdisch brengt vier uitdagingen tegelijk mee: meerdere dialecten, twee hoofdschriften, spellingsvariatie en heel weinig gelabelde data.

Meerdere dialecten

Kurmancî (Noord-Koerdisch) en Soranî (Centraal-Koerdisch) zijn de twee grootste varianten, en Zuid-Koerdisch is een derde groep. Ze verschillen in klanken, woorden en grammatica, dus een systeem dat op het ene is getraind, begrijpt het andere niet automatisch.

Kijk naar “het gaat goed met mij” (letterlijk “ik ben goed”). Kurmancî gebruikt drie woorden, Ez baş im, terwijl Soranî dezelfde betekenis in één woord stopt. Een computer moet beide patronen apart leren. Lees meer in Kurmancî en Soranî vergeleken.

Twee hoofdschriften

Kurmancî wordt meestal in Latijnse letters geschreven, en Soranî in een op het Arabisch gebaseerd schrift dat van rechts naar links loopt. In de voormalige Sovjet-Unie werd Kurmancî ook in het Cyrillisch geschreven. Voor een computer hebben de twee manieren om “hallo” te schrijven in de tabel hierboven niets met elkaar gemeen, ook al hoort een Koerdische luisteraar bijna hetzelfde woord. Onze gids over het Koerdische alfabet laat beide schriften letter voor letter zien.

Spellingsvariatie

Veel alledaagse woorden worden op meer dan één manier geschreven. Hier zijn paren uit onze eigen lessen die een computer als hetzelfde woord moet leren behandelen:

Er is ook een verborgen laag. Mensen typen Koerdisch op veel verschillende toetsenborden, ook op toetsenborden die voor andere talen gemaakt zijn, en die kunnen letters die er hetzelfde uitzien als verschillende tekens opslaan. Eén Soranî-letter kan in verschillende vormen bij een computer aankomen, dus tekst moet eerst worden opgeschoond voordat een AI ervan kan leren. Onze gids voor het Koerdische toetsenbord laat zien hoe je elke letter typt.

Weinig gelabelde spraak en tekst

Koerdische spraakherkenning is een jong vakgebied. In 2019 schreven onderzoekers die een van de eerste spraakdatasets voor het Soranî presenteerden, dat ze geen eerdere studies over Koerdische spraakherkenning konden vinden. Sindsdien zijn er grotere spraakcollecties voor Soranî en Kurmancî gebouwd, maar ze zijn nog altijd bescheiden van omvang.

Vertaling heeft hetzelfde probleem. Studies over machinevertaling voor het Koerdisch beschrijven het aanbod van Koerdische tekst met een bijbehorende vertaling als schaars.

Spraakherkenning, tekst-naar-spraak en vertaling

Deze drie worden vaak samen “Koerdische AI” genoemd, maar elk doet een ander werk. Neem het eenvoudigste Koerdische woord:

Silav! /siˈlav/ سڵاو! silaw Hallo!

• Spraakherkenning zet spraak om in tekst. Je zegt Silav hardop en de computer schrijft het op.
• Tekst-naar-spraak werkt andersom. Het leest geschreven Koerdisch voor met een computerstem.
• Machinevertaling zet tekst in de ene taal om in een andere. Het leest Silav en geeft je “Hallo”.

Feedback op je uitspraak bouwt voort op spraakherkenning. In plaats van alleen op te schrijven wat je zei, vergelijkt het systeem jouw Silav met het woord dat je moest zeggen en wijst het de klanken aan die beter kunnen.

Elke taak vraagt andere data. Spraakherkenning moet iedereen verstaan, dus leert ze het best van veel stemmen: jong en oud, elk accent, stille en lawaaiige ruimtes. Tekst-naar-spraak moet weten hoe elk geschreven woord moet klinken. Hier heeft het Koerdisch een voordeel, omdat beide alfabetten meestal één letter per klank schrijven. Soranî schrijft ook bijna al zijn klinkers als letters, terwijl het Arabisch korte klinkers meestal weglaat. De enige uitzondering is een korte “i”, zoals de eerste klinker van سڵاو, die niet geschreven wordt.

Onze eigen Koerdische spraakherkenning en stemmen

ZimanGo bouwt zijn eigen Koerdische spraakherkenning voor Kurmancî en Soranî. In spreekoefeningen zeg je een woord of zin hardop, en de spraakherkenning controleert je uitspraak en laat zien wat je kunt verbeteren.

De audio in elke les komt van onze eigen Koerdische tekst-naar-spraakstemmen. Ze lezen dezelfde zinnen voor die je op het scherm ziet, en die zinnen zijn geschreven door mensen die Koerdisch spreken: de oprichter schrijft de Kurmancî-lessen, en Soranî-sprekers schrijven de Soranî-lessen.

Vanaf het begin voor het Koerdisch bouwen betekent: beide schriften aankunnen, de klanken van elk dialect en de spellingsvariatie die hierboven beschreven is. Het is langzaam, zorgvuldig werk, en opnamen die leerlingen zelf willen delen, helpen het te verbeteren.

Hoe leerlingen kunnen helpen, alleen als je ja zegt

De beste manier om Koerdische spraakherkenning beter te maken, is meer echte Koerdische stemmen, uit elke regio en met elk accent. Daarom vraagt ZimanGo leerlingen of hun opnamen uit spreekoefeningen gebruikt mogen worden om de spraakherkenning te verbeteren.

• Jouw keuze. Je opnamen helpen onze spraakherkenning alleen te verbeteren als je daar uitdrukkelijk toestemming voor geeft. Je kunt nee zeggen, of op elk moment van gedachten veranderen, en toch elke spreekoefening blijven gebruiken.
• Beperkte tijd bewaard. Opnamen worden bewaard tot 24 maanden nadat ze zijn gemaakt, of tot je ze of je account verwijdert, als dat eerder is. Je kunt ons op elk moment vragen ze te verwijderen.
• Nooit misbruikt. We gebruiken je stem nooit om stemmen te klonen, voor reclame of om je te identificeren.

Spreekoefeningen zijn altijd optioneel, dus je kunt ze ook overslaan. Alle details staan in ons privacybeleid.

Koerdische woorden voor de digitale wereld

Als je Koerdisch leert, is de woordenschat van technologie een goede plek om de taal aan het werk te zien. Deze woorden komen uit onze lessen, de meeste uit de les over technologie en het moderne leven:

Sommige nieuwe dingen hebben meer dan één naam. In de lessen heet “app” zowel sepan als Aplîkasyon, en dat is precies het soort variatie dat een AI moet leren.

Zet een paar woorden bij elkaar en je kunt over je dag praten. Ez li ser komputerê dixebitim betekent “ik werk op de computer”. In het Soranî zeg je لەسەر کۆمپیوتەر کار دەکەم.

Wat er nog komt

Kurmancî en Soranî zijn nu beschikbaar. Behdînî (Badini), Zazakî (Kirmanckî) en Hewramî (Gorani) komen binnenkort. Om elk ervan toe te voegen zijn meer opnamen nodig, meer stemmen en zorgvuldige controle door mensen die het spreken. Onze gids over Koerdische dialecten legt uit hoe ze bij elkaar horen.

Varianten met minder geschreven teksten en opnamen beginnen met nog minder data, dus elke zorgvuldig geschreven zin en elke gedeelde opname telt. De vooruitgang is gestaag, niet plotseling.