Token Nedir ve Tokenizer Nasıl Çalışır?

Bir yapay zeka modeline bir cümle yazdığınızda, ekranın arka tarafında ne olduğunu hiç merak ettiniz mi? Yazdığınız o kelime, o virgül, o boşluk; modele nasıl ulaşıyor? Çünkü aslında ortada garip bir durum var: Bilgisayarlar metni anlayamaz. Onlar için harfler ve kelimeler yalnızca yapılandırılmamış (unstructured) bir veri yığınıdır. İşte tam bu noktada, adını sık sık duyduğumuz ama tam olarak ne yaptığını çoğu zaman atladığımız iki kavram devreye giriyor: token ve tokenizer.

Modelin Dünyayı Gördüğü Birim

Token, bir metnin dil modeli tarafından işlenebilir hale gelmesi için parçalandığı en küçük anlamlı birimdir. Bu birim bazen tam bir kelime olabiliyor, bazen bir kök, bazen sadece bir hece, bazen de tek bir harf ya da noktalama işareti. Yani token, sabit bir tanımı olan bir şey değil; kullanılan yönteme göre şekil değiştiren, esnek bir yapı.

Tokenizer ise bu parçalama işini yapan mekanizmanın adı. Bir metni alıp onu tokenlara böler ve her token'ı belirli bir sayıya eşler. Çünkü model aslında ne kelime görür ne cümle; model yalnızca sayılarla çalışır. Yazdığınız "Berk" kelimesinin "Berk" olduğunu anlamasının tek yolu, onu önce bir tokena, sonra bir sayıya indirgemektir.

Perde Arkasında Neler Oluyor?

Bir dil modeline bir cümle gönderdiğinizde ilk uğradığı durak tokenizer'dır. Tokenizer, o cümleyi kendi eğitildiği metoda göre parçalara ayırır. Bazı tokenizer'lar kelime bazlı çalışır, bazıları alt-kelime (subword) düzeyinde iş yapar, bazıları ise boşluk ve noktalama işaretlerini bile ayrı birer token olarak değerlendirir.

Burada kritik bir detay var: Model mimarisi ile tokenizer birbirine sıkı sıkıya bağlıdır. Bir dil modeli, hangi tokenizer'la eğitildiyse dünyayı o gözle görür. Yani bir modelin "kelime" dediği şeyle bir başkasının "kelime" dediği şey aynı olmayabilir. Bir model "anlamak" kelimesini tek parça olarak görürken, bir diğeri onu "anla" ve "mak" olarak iki ayrı parçaya bölebilir.

Parçalama işi bittikten sonra sıra sayılara dönüştürmeye gelir. Ve bu sayılar rastgele atanmış değildir. Burada devreye embedding dediğimiz kavram girer. Embedding, tokenlara karşılık gelen sayıları belirli vektörlere dönüştürüp, kelimeleri çok boyutlu bir uzayda konumlandırmaya yarar. Yani model, kelimeleri sadece "bir sayı" olarak değil; anlamsal olarak birbirine yakın ya da uzak noktalarda duran vektörler olarak görür. Ama şimdilik bu konuyu bir kenara not edip tokenizer'a geri dönelim.

Dil, Meseleyi Nasıl Değiştiriyor?

Tokenizer'ın nasıl çalıştığı yalnızca modele göre değil, dile göre de ciddi biçimde değişiyor. Türkçe, bilindiği gibi sondan eklemeli bir dil. Eklerin yoğun olduğu, tek bir köke onlarca farklı ek gelebildiği bir yapıya sahip. Bu da tokenizer'ın işini zorlaştırıyor; çünkü aynı kelimenin onlarca varyasyonu ortaya çıkabiliyor.

İngilizce ise farklı bir tabloda. Kelimeler daha kısa, "to", "as", "is" gibi küçük ve sık kullanılan bağlaçlar var. Bu tür yapılar tokenizer'ın işini kolaylaştırıyor. Hatta bazı durumlarda bu küçük kelimeleri modelin performansına katkısı olacak şekilde optimize etmek mümkün oluyor. Sonuç: İngilizce metinlerde çoğunlukla daha az tokenla daha fazla iş yapılabiliyor. Türkçe metinlerde ise aynı anlam için daha fazla token harcanması gerekebiliyor.

Bu Detayı Neden Umursamalıyız?

Token meselesi ilk bakışta "bunu mühendisler düşünsün" diye geçiştirilebilecek teknik bir konu gibi görünüyor. Ama işin gerçeği şu: Yapay zeka ürünleriyle çalışan hemen herkesin gündemine er ya da geç giriyor. Çünkü token, modelin nasıl düşündüğünü, ne kadar hızlı çalıştığını, ne kadar maliyet ürettiğini ve hatta bazen ne kadar doğru cevap verdiğini doğrudan etkileyen bir birim.

Bir modelin bağlam penceresi (context window) tokenla ölçülür. API üzerinden aldığınız hizmetin fiyatı tokenla hesaplanır. Prompt'unuzun ne kadar "uzun" olduğu tokenla belirlenir. Yani token, yapay zeka ekonomisinin para birimi gibidir. Ve bu para birimi her dilde aynı değeri taşımaz.

Pratikte Nasıl Görünüyor?

Bunu somutlaştırmak için pratik bir yol var: Tiktokenizer adında, tarayıcı üzerinden çalışan bir uygulama. Buraya bir cümle yazıyorsunuz, kullanmak istediğiniz modeli seçiyorsunuz ve o cümlenin nasıl tokenlara bölündüğünü, her parçanın hangi sayıya eşlendiğini gözünüzle görebiliyorsunuz.

Aynı cümleyi Türkçe ve İngilizce yazıp karşılaştırdığınızda çarpıcı bir sonuçla karşılaşıyorsunuz: Aynı anlamı taşıyan iki cümle, iki dilde çok farklı sayıda tokena bölünebiliyor. Örneğin "anlamak istiyorum" gibi bir Türkçe ifade birkaç parçaya bölünürken, İngilizcedeki karşılığı çok daha az tokenla ifade edilebiliyor. Bu, hem maliyet açısından hem de modelin "algı alanı" açısından size somut bir fikir veriyor.

Rolünüze Göre Ne Anlama Geliyor?

Eğer bir ürün yöneticisiyseniz, token maliyetleri sizin için doğrudan bir birim ekonomisi (unit economics) meselesidir. Türkçe pazara hitap eden bir yapay zeka ürününüz varsa, İngilizce bir üründen daha yüksek token tüketimiyle karşılaşabileceğinizi baştan hesaba katmalısınız.

Eğer bir UX tasarımcısıysanız, kullanıcının modelle kurduğu diyaloğun uzunluğunun, geçmişin ne kadar hatırlandığının ve yanıt sürelerinin token ekonomisine bağlı olduğunu bilmek işinize yarar. Bir sohbet arayüzü tasarlarken, kullanıcının farkında olmadığı bu sınırlar aslında deneyimin sınırlarıdır.

Eğer yapay zeka üzerine çalışan biriyseniz, model seçimini yaparken yalnızca modelin başarısına değil, tokenizer'ının hangi dilde nasıl davrandığına da bakmanız gerekir. Aynı model, farklı dillerde farklı ekonomiler üretir.

Eğer bir tasarımcı olarak ürüne katkı veriyorsanız, prompt uzunluğunu ve kullanıcının modele ne kadar bağlam verebileceğini planlarken tokenın görünmez bir kısıt olduğunu unutmayın.

Sözün Özü

Token, yapay zekanın dili değil; onu dili anlamaya ikna etmek için kullandığımız çeviridir. Ve bu çevirinin nasıl yapıldığını bilmek, üretmek istediğiniz deneyimin sınırlarını, maliyetini ve gücünü baştan tanımak demektir.