Kürtçe yapay zekâ: az kaynaklı bir dili bilgisayara öğretmek

Yapay zekâ birçok dilde dinlemeyi, konuşmayı ve çeviri yapmayı öğrendi; Kürtçe ise hâlâ aradaki farkı kapatmaya çalışıyor. Kürtçeyi tahminen 20 ila 30 milyon kişi konuşuyor, ama bu dilin çok daha azı bir bilgisayarın öğrenebileceği şekilde kaydedilmiş, yazıya geçirilmiş ve etiketlenmiş durumda. Bu rehber, bunun ne anlama geldiğini ve Kürtçe yapay zekâ geliştirmenin neler gerektirdiğini sade bir dille anlatıyor.

“Az kaynaklı” ne demek?

Yapay zekâ sistemleri örneklerden öğrenir. Bir konuşma tanıma sistemi, her biri yazılı dökümüyle eşleştirilmiş saatlerce kayıttan öğrenir. Bir çeviri sistemi ise çevirileriyle eşleştirilmiş çok sayıda cümleden öğrenir.

Araştırmacılar bu tür verinin kıt olduğu dillere az kaynaklı (low-resource) dil der. Terim asıl olarak konuşan sayısıyla değil, veriyle ilgilidir: Bir dilin milyonlarca konuşanı olabilir ve yine de az kaynaklı sayılabilir. Kürtçe bunun açık bir örneği; Kürtçe dil teknolojisi üzerine yapılan çalışmalar, on yılı aşkın süredir onu kaynakları kısıtlı bir dil olarak tanımlıyor.

En önemli veri etiketlenmiş veridir: dökümü olan kayıtlar, çevirisi olan cümleler, anlamıyla işaretlenmiş kelimeler. İnternetteki düz metin de işe yarar, ama bir sisteme belirli bir işi öğreten etiketlenmiş veridir ve onu hazırlamak dikkatli bir insan emeği ister.

Kürtçe yapay zekâ için neden zor?

Kürtçe dört zorluğu bir arada getirir: birkaç lehçe, iki ana yazı sistemi, yazım farklılıkları ve çok az etiketlenmiş veri.

Birkaç lehçe

Kurmancî (Kurmancca, Kuzey Kürtçesi) ve Soranî (Soranice, Orta Kürtçe) en büyük iki çeşittir; Güney Kürtçesi de üçüncü bir grup oluşturur. Sesleri, kelimeleri ve dil bilgileri farklıdır; bu yüzden birinde eğitilen bir sistem diğerini kendiliğinden anlamaz.

“İyiyim” satırına bak. Kurmancî üç kelime kullanır, Ez baş im; Soranî ise aynı anlamı tek bir kelimeye sığdırır. Bilgisayarın iki kalıbı da ayrı ayrı öğrenmesi gerekir. Daha fazlası Kurmancî mi, Soranî mi? yazımızda.

İki ana yazı sistemi

Kurmancî çoğunlukla Latin harfleriyle, Soranî ise sağdan sola yazılan Arap kökenli bir alfabeyle yazılır. Eski Sovyetler Birliği'nde Kurmancî Kiril harfleriyle de yazılıyordu. Yukarıdaki tabloda “merhaba”nın iki yazılışı, bir Kürt dinleyici neredeyse aynı kelimeyi duysa da, bilgisayar için hiçbir ortak noktası olmayan iki şeydir. Kürtçe alfabe rehberimiz iki yazıyı da harf harf gösteriyor.

Yazım farklılıkları

Günlük kelimelerin birçoğu birden fazla şekilde yazılır. İşte kendi derslerimizden, bilgisayarın aynı kelime olarak görmeyi öğrenmesi gereken çiftler:

Bir de gizli bir katman var. İnsanlar Kürtçeyi, başka diller için yapılmış olanlar da dahil, birçok farklı klavyeyle yazıyor ve bu klavyeler birbirinin aynısı görünen harfleri farklı karakterler olarak kaydedebiliyor. Tek bir Soranî harfi bilgisayara birkaç farklı biçimde ulaşabilir; bu yüzden bir yapay zekâ metinden öğrenmeden önce metnin temizlenmesi gerekir. Kürtçe klavye rehberimiz her harfin nasıl yazılacağını gösteriyor.

Az sayıda etiketlenmiş konuşma ve metin

Kürtçe konuşma tanıma genç bir alan. 2019'da ilk Soranî konuşma veri setlerinden birini sunan araştırmacılar, Kürtçe konuşma tanıma üzerine daha önce yapılmış hiçbir çalışma bulamadıklarını yazdı. O zamandan beri Soranî ve Kurmancî için daha büyük konuşma derlemleri oluşturuldu, ama bunlar hâlâ mütevazı boyutlarda.

Çeviride de aynı sorun var. Kürtçe makine çevirisi üzerine yapılan çalışmalar, çevirisiyle eşleştirilmiş Kürtçe metnin kıt olduğunu belirtiyor.

Konuşma tanıma, metin okuma ve çeviri

Bu üçü çoğu zaman “Kürtçe yapay zekâ” adı altında bir arada anılır, ama her biri farklı bir iş yapar. En basit Kürtçe kelimeyi ele alalım:

Silav! /siˈlav/ سڵاو! silaw Merhaba!

• Konuşma tanıma konuşmayı yazıya çevirir. Sen yüksek sesle Silav dersin, bilgisayar da onu yazar.
• Metin okuma (text-to-speech) bunun tersini yapar: Yazılı Kürtçeyi bir bilgisayar sesiyle yüksek sesle okur.
• Makine çevirisi bir dildeki metni başka bir dile aktarır. Silav kelimesini okur ve sana “Merhaba” karşılığını verir.

Telaffuz geri bildirimi konuşma tanımanın üzerine kurulur. Sistem yalnızca söylediğini yazmakla kalmaz; senin söylediğin Silav ile söylemen istenen kelimeyi karşılaştırır ve üzerinde çalışman gereken sesleri gösterir.

Her iş farklı veri ister. Konuşma tanıma herkesi anlamak zorundadır, bu yüzden en iyi çok sayıda sesten öğrenir: gençler ve yaşlılar, her ağız, sessiz odalar ve gürültülü ortamlar. Metin okuma ise yazılı her kelimenin nasıl seslendirileceğini bilmek zorundadır. Burada Kürtçenin bir avantajı var, çünkü iki alfabe de çoğunlukla her ses için bir harf yazar. Soranî ayrıca ünlülerinin neredeyse hepsini harf olarak yazar; Arapça ise kısa ünlüleri genellikle yazmaz. Tek istisna, سڵاو kelimesinin ilk ünlüsü gibi kısa bir “i” sesidir: Bu ses yazılmaz.

Kendi Kürtçe konuşma tanımamız ve seslerimiz

ZimanGo, Kurmancî ve Soranî için kendi Kürtçe konuşma tanıma sistemini geliştiriyor. Konuşma alıştırmalarında bir kelimeyi ya da cümleyi yüksek sesle söylersin; sistem telaffuzunu kontrol eder ve neyi düzeltmen gerektiğini gösterir.

Her dersteki sesler, kendi Kürtçe metin okuma (text-to-speech) seslerimizden gelir. Bu sesler ekranda gördüğün cümlelerin aynısını okur ve o cümleleri Kürtçe konuşan insanlar yazar: Kurmancî dersleri kurucumuz, Soranî dersleri ise Soranî konuşanlar yazıyor.

Kürtçe için en baştan geliştirmek, iki yazı sistemini, her lehçenin seslerini ve yukarıda anlatılan yazım farklılıklarını hesaba katmak demek. Bu yavaş ve özenli bir iş; öğrenenlerin paylaşmayı seçtiği kayıtlar da gelişmesine yardım ediyor.

Öğrenenler nasıl yardım edebilir, yalnızca sen evet dersen

Kürtçe konuşma tanımayı geliştirmenin en iyi yolu, her bölgeden ve her ağızdan daha fazla gerçek Kürtçe sestir. Bu yüzden ZimanGo, öğrenenlere konuşma alıştırması kayıtlarının bu amaçla kullanılıp kullanılamayacağını sorar.

• Seçim senin. Kayıtların, konuşma tanıma sistemimizi geliştirmeye yalnızca açık onayınla katkıda bulunur. Hayır diyebilir ya da istediğin zaman fikrini değiştirebilirsin; tüm konuşma alıştırmalarını yine de kullanmaya devam edersin.
• Sınırlı bir süre saklanır. Kayıtlar, yapıldıkları tarihten itibaren en fazla 24 ay ya da sen onları veya hesabını silene kadar, hangisi önce gelirse, saklanır. Silinmelerini istediğin zaman bizden isteyebilirsin.
• Asla kötüye kullanılmaz. Sesini asla ses klonlama, reklam ya da kimliğini belirlemek için kullanmayız.

Konuşma alıştırmaları her zaman isteğe bağlıdır, yani onları atlayabilirsin de. Tüm ayrıntılar gizlilik politikamızda.

Dijital dünya için Kürtçe kelimeler

Kürtçe öğreniyorsan, teknoloji kelimeleri dili iş başında görmek için iyi bir yer. Bu kelimeler derslerimizden geliyor; çoğu teknoloji ve modern hayat dersinden:

Bazı yeni şeylerin birden fazla adı var. Derslerde “uygulama” hem sepan hem de Aplîkasyon olarak geçiyor; bu da tam olarak bir yapay zekânın öğrenmesi gereken türden bir çeşitlilik.

Birkaç kelimeyi bir araya getirince gününü anlatabilirsin. Ez li ser komputerê dixebitim “Bilgisayarda çalışıyorum” demek. Soranî'de لەسەر کۆمپیوتەر کار دەکەم dersin.

Sırada ne var?

Kurmancî ve Soranî bugün kullanılabilir. Behdînî (Badînî), Zazakî (Zazaca) ve Hewramî (Goranî) yakında geliyor. Her birini eklemek daha fazla kayıt, daha fazla ses ve o çeşidi konuşan insanların dikkatli kontrolünü gerektirecek. Kürtçe lehçeler rehberimiz bunların birbiriyle nasıl bağlantılı olduğunu anlatıyor.

Yazılı metni ve kaydı daha az olan çeşitler daha da az veriyle başlar; bu yüzden özenle yazılmış her cümle ve paylaşılan her kayıt önemlidir. İlerleme ani değil, adım adım geliyor.