Yapay zekâ modellerini İngilizce dışındaki dillerde kullanmanın maliyeti artıyor. İngilizce veya diğer baskın dilleri konuşmayan kişiler, yapay zekâ hizmetleri için daha yüksek ücretler ödemek zorunda kalabilir. Yapay Zekâ Araştırmalarında Dil Eşitliği Koalisyonu (Coalition for Language Equity in AI Research) tarafından geçen ay yayımlanan yeni bir araştırmaya göre, yapay zekâ modelleri bazı dillerde diğerlerine kıyasla çok daha fazla “token” (girdi/işlem birimi) gerektiriyor.
Token, modellerin işlediği metin veya veri birimlerini ifade ediyor. Araştırmacılar, internette daha az temsil edilen dillerde yapay zekâ kullanımını daha pahalı hale getiren bu durumu gizli bir “token vergisi” olarak nitelendiriyor. Tokenizer ise ham metinleri, görselleri veya sesleri bu token birimlerine ayıran bir araç olarak tanımlanıyor.
Farklı dillerde farklı yapay zeka maliyeti
Araştırma, internet üzerindeki en popüler 20 dil arasında bile token kullanımında belirgin bir fark bulunduğunu ortaya koydu. Buna göre, maliyeti en yüksek olan diller, en ucuz olanlara kıyasla 1,5 ila 5 kat daha fazla token tüketiyor. Bu makas, araştırmacılar kapsamı 200 dile genişlettiğinde daha da açıldı; bir yapay zekâ modelindeki token maliyeti farkı tam 17 katına çıktı.
