Türkçe Yapay Zekada Neden Daha Pahalı? Token Vergisi

TL;DR: Türkçe yapay zekada daha pahalı çünkü modeller metni "token" denen parçalara böler ve faturayı token başına keser. Türkçe, aynı anlamı İngilizceye göre yaklaşık 1.5 kat daha fazla token ile ifade eder. Bu fark hem API maliyetini artırır hem de bağlam penceresini daraltır. Sebep dilin "kötü" olması değil, tokenizer'ların büyük ölçüde İngilizce metinle eğitilmiş olmasıdır.

Türkçe yapay zekada daha pahalı: token nedir?

Yapay zeka modelleri kelimeleri değil, token adı verilen daha küçük metin parçalarını işler. Bir token bazen tam bir kelime, bazen bir hece, bazen tek bir harf olur. Büyük dil modelleri (LLM) bir metni önce tokenlara böler, sonra bu tokenlar üzerinden hesap yapar.

Kritik nokta şu: ChatGPT, Claude ve benzeri servisler ücreti kelime başına değil, token başına alır. Yani bir metin ne kadar çok token'a bölünürse, o metni işlemek o kadar pahalı olur. İşte Türkçe ile İngilizce arasındaki maliyet farkı tam burada doğar.

Aynı anlamı taşıyan bir Türkçe metin, İngilizcesinden belirgin biçimde daha fazla token harcar. Bu görünmez fark, faturaya "token vergisi" olarak yansır.

Türkçe neden daha çok token harcıyor?

İki temel sebep var: dilin yapısı ve tokenizer'ın nasıl eğitildiği.

Türkçe bitişken (agglutinative) bir dildir; bir köke arka arkaya ekler getirerek tek kelimede koca bir cümle kurabilir. Klasik örnek: "veremedim" kelimesi ver-e-me-di-m olarak çözümlenir ve içinde dört ek barındırır. İngilizcede bu "I could not give" yani üç ayrı kelimedir.

İkinci ve daha belirleyici sebep, tokenizer'ların çoğunlukla İngilizce metinle eğitilmiş olmasıdır. OpenAI'nin GPT-4'te kullandığı cl100k_base gibi tokenizer'lar, sık geçen İngilizce kelimeleri tek bir token'a sıkıştırmayı öğrenir. Türkçe kelimeler daha az temsil edildiği için parça parça bölünür.

Somut bir örnek: İngilizce "hello" çoğu modelde tek token, Türkçe "merhaba" ise Mer + haba olarak iki token'a bölünür. Tek kelimede iki katına çıkan bu maliyet, cümle ve paragraf düzeyinde katlanarak büyür.

Türkçe ile İngilizce arasındaki fark ne kadar?

Araştırmalar farkı net biçimde ölçüyor. GPT-4'ün tokenizer'ında İngilizce ortalama kelime başına ~1.23 token harcarken, Türkçe ~1.8 token harcar. Bu da pratikte yaklaşık %50'lik bir maliyet artışı demektir.

Daha geniş bakıldığında, bitişken dillerde kelime başına token sayısı (fertility) 2 ile 16 arasında değişebilirken, İngilizcede bu sayı 1.2–1.4 bandındadır. Oxford'dan Aleksandar Petrov ve ekibinin 2023 NeurIPS çalışması, bazı dillerin İngilizceye göre 15 kata kadar daha uzun tokenlaştığını ve bunun fiyatlandırmada eşitsizlik yarattığını gösterdi.

Bu rakamlar yaklaşık ortalamalardır; metnin türüne ve modele göre değişir. Ama yön nettir: Türkçe metin, İngilizce eşdeğerinden sistematik olarak daha pahalıdır.

Token vergisinin sonuçları neler?

Token farkı sadece faturayı şişirmez; üç ayrı yerde kendini gösterir:

• Daha yüksek API maliyeti: Aynı işi yapan bir Türkçe uygulama, İngilizce sürümüne göre token başına daha çok öder.
• Daralan bağlam: Tüm modellerin bir bağlam penceresi (context window) sınırı vardır. Türkçe metin daha çok token tükettiği için bu pencereye daha az içerik sığar; uzun belge ve sohbetlerde model bağlamı daha çabuk "unutur".
• Daha yavaş yanıt: Token sayısı arttıkça modelin yapması gereken işlem ve gecikme de artar.

Bu yüzden Türkçe çalışan geliştiriciler için prompt'u gereksiz yere uzatmamak önemli bir maliyet kalemidir. Kısa, net ve tekrar içermeyen istemler hem ucuzdur hem de bağlamı verimli kullanır — bu da iyi prompt mühendisliğinin somut bir getirisidir.

Sıkça Sorulan Sorular

Türkçe yapay zeka kullanmak gerçekten daha mı pahalı? Evet. Aynı anlamı taşıyan bir metin Türkçede ortalama olarak İngilizceye göre ~1.5 kat daha fazla token harcar ve servisler token başına ücret aldığı için maliyet de o oranda artar.

Neden token başına ücret alınıyor? Çünkü modelin yaptığı hesaplama miktarı token sayısıyla doğru orantılıdır. Servis sağlayıcılar gerçek işlem yükünü yansıtmak için kelime değil token sayar.

Bu fark zamanla kapanır mı? Kısmen. Yeni nesil tokenizer'lar çok dilli metinle daha dengeli eğitiliyor ve sözlükleri büyüyor. Ancak Türkçenin bitişken yapısı nedeniyle bir miktar fark muhtemelen kalıcı olacaktır.

Türkçe maliyeti nasıl düşürebilirim? Prompt'ları kısa ve tekrarsız tutun, gereksiz bağlamı atın, uzun çıktılarda token limiti belirleyin ve mümkünse sistem talimatlarını öz yazın. Bunlar hem token hem para tasarrufu sağlar.