Geçtiğimiz haftalarda bir vakayı Instagram'da paylaşmıştık: fintech girişimi Slash'te bir çalışan, işe başladığı ilk hafta 80 bin dolarlık token yaktı. Nasıl mı? Tartışmadaki en acımasız yorum özetliyor — "bir div'i ortalamak için Opus kullanıyordu." Yani en pahalı modeli en basit işe koşarak. Taksiyle yan markete gitmek gibi.

Herkes güldü, "o adam kesin kovuldu" şakaları döndü. Biz gülmedik. Çünkü bu bir kişinin değil, bir sistemin hikayesi: limit yok, izleme yok, model seçimi yok. Ve görünen o ki bu hikaye artık sadece bizim gibi meraklıların konusu değil.

Fatura yönetim kurulu katına çıktı

Chamath Palihapitiya geçen hafta bir sahne anlattı: "CTO'ma sordum, token harcamamız nasıl gidiyor diye. İnanılmaz bir şey söyledi — maliyetimiz her 45 günde ikiye katlanıyor. Peki üretkenlik? En fazla yüzde 5." Devamında CFO'ları uyarıyor: bu gidişle bazı halka açık şirketler, OpEx yüzünden earnings kaçıracak.

Yakın gelecekte CTO'ların CFO kapısında token bütçesi istediği sahneyi şimdiden görür gibiyiz — "otobüse binemez miyiz babacım" modunda. :)

​

‍

pov: CTO, CFO'dan aylık token bütçesini isterken

OpenAI yönetim kurulu başkanı Bret Taylor da benzer bir şey söylüyor: görüştüğü her CEO aynı soruyu soruyormuş — "token harcamamdan gerçekten değer alıyor muyum?"

Wall Street Journal'ın geçen haftaki yazısı da aynı yerden bakıyor. Lowe's'un dijital lideri Seemantini Godbole, şirketin "token wastage" (token israfı) için kurallar ve mekanizmalar kurduğunu anlatıyor. Cümlesi bize göre bültenin en olgun cümlesi: "Token kullanımı iyi bir şey — bir iş hedefine hizmet ettiği sürece. Ama gerekmeyen yere sermaye harcamadığımızdan da emin olmalıyız."

Priceline tarafı ise işin diğer yüzünü itiraf ediyor: bu harcamanın getirisini ölçmek hâlâ zor. Yani şirketler bir yandan faturayı kısmaya, bir yandan da neyin işe yaradığını anlamaya çalışıyor — ikisi aynı anda.

İşte mesele bu kadar sade. Token harcamak kötü değil; nereye harcadığını bilmemek kötü.

Taktik 1 — Ana model stratejiyi kurar, küçük model işi yapar

Fiyat makasına bir bak: en tepedeki kapalı modelde milyon token 56 dolar civarı, en uçtaki modellerde 50 cent'e kadar iniyor. Aynı iş için yüz kata varan fark var — ve çoğu iş, "aynı iş."

Bizim de kendi işimizde giderek oturttuğumuz kural şu: frontier modeli plana sakla. Mimari kararlar, zor problemler, "burada strateji lazım" anları — orada en güçlüsünü çağır. Ama execution'ı, tekrar eden işi, taslağı küçük ve ucuz modele devret. Ana model şef, küçük model mutfak.

Bunu senin yerine yapan bir katman da olgunlaşıyor: Martian'ın Ship'i gibi router'lar (isteği doğru modele yönlendiren ara katman), kalite garantisiyle yüzde 50 tasarruf vaat ediyor. Sam Altman'ın yeni model tanıtımında kullandığı dil bile değişti — "yüzde 54 daha token-verimli" diyor. Verimlilik artık bir pazarlama metriği. Bu bir şey anlatıyor.

Taktik 2 — Open source kartını masaya koy

Bültenin bize göre en çarpıcı rakamı Vercel AI Gateway'in haziran verisinden geliyor: open-weight modeller production token'larının yüzde 29'unu taşıyor — ama harcamanın yüzde 4'ünden azını alıyor. Token'ın neredeyse üçte biri, paranın yirmi beşte biri.

WSJ'deki tabloda da aynı hamle var: Qualcomm küçük, eski veya open-source modellere geçiyor; üstelik bunları kendi donanımında çalıştırarak tasarrufu bir kat daha büyütüyor. Lowe's da aynı yolda.

Open source modellerin frontier'ı yakalayıp yakalamadığını daha önce konuşmuştuk — orada vardığımız üçlü burada da geçerli: yeterince iyi, yeterince ucuz ve elinden alınamaz. Her testi kazanması gerekmiyor; senin işine yetmesi gerekiyor.

Dürüst nüansı da koyalım: lokal çalıştırmanın donanım ve operasyon maliyeti faturaya dahil. "Open source bedava" değil — "open source, hesabını yapana ucuz."

Taktik 3 — Context'i şişirme

Daha az konuşulan ama bizce en öğretici kısım burası. Büyük context window bir çözüm gibi görünüyor — her şeyi ver, model halletsin. Ama pratik öyle demiyor: 100-200 bin token civarında modelin dikkat kalitesi düşmeye başlıyor. Yani modele her seferinde her şeyi okutmak hem pahalı hem de daha kötü sonuç veriyor.

Somut bir deney var elimizde: Avi Chawla tek bir değişiklikle — agent'a önce plan yaptırıp context'i ona göre daraltarak — aynı işi 5.5 milyon token yerine 2.3 milyonla bitirmiş. Fatura 8.94 dolardan 4.17'ye inmiş. Asıl güzel kısım: hata sayısı 7'den 0'a düşmüş. Az token, çoğu zaman daha iyi sonuç demek.

Bir de prompt caching var — tekrar eden context'i önbelleğe alıp bir daha ödememek. En ucuz token, hiç ödemediğin token.

Taktik 4 — Göremediğini yönetemezsin

Slash vakasının asıl dersi buydu: kimse sayacı izlemiyordu. Şimdi bu boşluğa araçlar doluyor — 1Password bile SaaS yönetim paneline token spend takibi ekledi; Anthropic, Cursor, OpenAI kullanımını tek ekranda gösteriyor. (Bir şifre şirketinin bu işe girmesi, konunun nereye geldiğinin güzel bir işareti.)

Kendi ölçeğinde şart olan iki şey: kullanım izleme ve bütçe limiti. Bir agent döngüye girdiğinde seni gece yarısı yakmasın diye guardrail — bu kadar.

Toparlarsak

Token saving kulağa cimrilik gibi geliyor, biliyoruz. Değil. Bu bir mühendislik disiplini — veritabanına sorgu atarken indeks düşünmek neyse, bu da o. Ne "AI çok pahalı, kullanmayın" karamsarlığı ne "sınırsız yak, üretkenlik öder" coşkusu. İkisi de tembellik.

Doğrusu: önce ölç, sonra sınırla, sonra ölçekle.

Instagram postundaki soruyu buraya da bırakalım: geçen ay kaç token harcadın? Ve daha önemlisi — bunu söyleyebiliyor musun? Cevap "bilmiyorum"sa, asıl tasarruf oradan başlıyor.

Bu konuları eğitimlerimizde de yaparak çalışıyoruz — kendi workflow'unu kurup faturasını görerek. İlgini çekerse AI eğitimlerimize göz atabilirsin.

Sevgiyle kalın! 🧱