Lokal LLM Kullanmak Mantıklı mı?

Yapay zeka konusunda çalışan pek çok kişi, bir noktada aynı düşünceye kapılıyor: "Ben bu modeli neden kendi makinemde çalıştırmıyorum ki?" Veri gizliliği, API maliyetleri, dışa bağımlılık... Hepsi mantıklı gerekçeler gibi görünüyor. Özellikle DeepSeek R1 gibi "ucuz" etiketli modeller çıktıkça, lokal kurulumun kapıyı çalması an meselesi oluyor. Ama bu kapıyı açmadan önce, ardında neyin durduğuna bakmakta fayda var.

Kısacası: Lokal LLM çalıştırmak teknik olarak mümkün, hatta Ollama gibi araçlarla oldukça kolaylaştı. Fakat gerçekten mantıklı olup olmadığı, elinizdeki donanıma ve modeli dışarıya nasıl açacağınıza bağlı. Çoğu senaryoda cevap, sandığınızdan daha karmaşık.

Lokal Çalıştırmanın En Kısa Yolu

Eğer bir uygulama geliştiriyorsanız ve modeli lokal olarak çalıştırıp dışarı açmak istiyorsanız, bugün için en pratik yol Ollama üzerinden geçiyor. Modeli indirmek, çalıştırmak (run) ve servis etmek (serve) tek bir çatı altında toplanıyor. Gemma 3 gibi modellerin lansmanında Ollama entegrasyonunun bu kadar öne çıkması da tesadüf değil.

Yani "lokalde nasıl başlarım?" sorusunun cevabı teknik olarak net. Ama asıl soru bu değil. Asıl soru, başladıktan sonra neyi kaldırabileceğiniz.

Parametre Sayısının Görünmeyen Faturası

Modellerin "parametre sayısı" (parameter count) dediğimiz şey, aslında donanım faturanızın habercisi. Örneğin DeepSeek R1'in kağıt üzerinde ucuz bir model olarak konumlanması yanıltıcı olabilir; çünkü tam kapasiteyle çalıştırmak istediğinizde karşınıza 671 milyar parametrelik bir dev çıkıyor. Bu boyutta bir modeli lokal olarak ayağa kaldırmak için yüzlerce H100 GPU'ya ihtiyaç duyuyorsunuz.

Daha küçük modellere indiğinizde tablo hafiflese de kolaylaşmıyor. Gemma'nın 27 milyar parametrelik versiyonunu çalıştırmak için bile bir adet H100 gerekiyor. H100, evde bulunan bir kart değil; veri merkezi sınıfı, ciddi bir GPU. Yani "küçük model" dediğiniz şey bile, ev ortamı için oldukça büyük bir yatırım anlamına geliyor.

Peki Ev Kullanıcısı Nerede Duruyor?

Evde ciddi bir kurulum yapmak isteyenler için pratik eşik oldukça net: Elinizde en az iki adet RTX 3090 yoksa, lokal LLM işine girmenin çok bir anlamı kalmıyor. Bu, hem modelin makul bir hızda çalışması hem de gerçek anlamda kullanılabilir bir deneyim vermesi için gereken minimum bant.

Bu iki 3090'a sahip olsanız bile ikinci bir soru hemen arkadan geliyor: Bu modeli sadece kendiniz için mi kullanacaksınız, yoksa dışarıya bir servis olarak mı açacaksınız? Çünkü dışa servis etmek (serving), tek başına ayrı bir mühendislik problemi. Ölçeklenebilirlik, eş zamanlı istek yönetimi, uptime... Bunların hiçbiri Ollama'yı kurup çalıştırmakla bitmiyor.

Karar Verirken Kendinize Sormanız Gerekenler

Lokal LLM kararını verirken teknik heyecanın önüne geçip birkaç somut soruyu masaya yatırmak faydalı olacaktır. Elinizdeki donanım gerçekten hangi parametre sınıfını kaldırıyor? Kullanmak istediğiniz modelin gerçek boyutu ne? Ve en önemlisi: Bu modeli sadece kendiniz için mi çalıştıracaksınız, yoksa bir ürünün arkasına mı koyacaksınız?

Eğer amacınız kişisel deneyler yapmak, prompt'lar denemek ve öğrenmekse, orta boy modellerle mütevazı bir kurulum yeterli olabilir. Fakat bir ürünün altyapısını lokal bir modele yaslamayı düşünüyorsanız, hem donanım hem servis tarafındaki maliyetleri baştan hesaplamak zorundasınız.

İki Farklı Senaryo, İki Farklı Sonuç

Deneyimi somutlaştırmak için iki farklı geliştiriciyi düşünelim. Birincisi, evinde tek bir orta seviye ekran kartıyla Ollama üzerinden Gemma'nın küçük versiyonlarını çalıştıran bir tasarımcı. Onun için bu kurulum harika: Veri dışarı çıkmıyor, deneyler hızlı, maliyet sıfıra yakın.

İkinci geliştirici ise DeepSeek R1'i kendi ürününün arkasında lokal olarak çalıştırmak isteyen biri. 671 milyar parametrelik bir modeli anlamlı hızda ayağa kaldırmak için gereken H100 sayısı düşünüldüğünde, bu senaryo bireysel bir çabanın çok ötesine geçiyor. Böyle bir durumda API üzerinden hizmet almak, çoğu zaman hem daha ucuz hem daha sürdürülebilir bir tercih oluyor.

Merak Edilenler

Ollama tam olarak ne işe yarıyor?

Ollama, LLM'leri lokal makinenizde indirmenizi, çalıştırmanızı ve bir servis olarak dışarı açmanızı sağlayan bir araç. Lokal kurulumun karmaşasını ciddi ölçüde azaltıyor ve şu an itibarıyla bu iş için en pratik seçeneklerden biri.

Neden ille de H100 gerekiyor?

27 milyarlık bir modeli bile makul performansta çalıştırmak için ciddi GPU belleği ve işlem gücü lazım. H100, veri merkezi sınıfı bir GPU ve bu ölçekteki modeller için tasarlanmış bir kart. Daha küçük modeller için evde 3090 gibi kartlar iş görebilir, ama bu da yine belli bir seviyenin altındaki modeller için geçerli.

İki tane 3090 gerçekten alt sınır mı?

Gerçekçi bir lokal LLM deneyimi için evet, iki 3090 mantıklı bir başlangıç noktası olarak konuşuluyor. Tek kartla da bir şeyler yapılabilir; ancak model boyutu ve hız beklentileriniz arttıkça bu konfigürasyon hızla yetersiz kalıyor.

Modeli lokal çalıştırmak, dışarı servis etmekle aynı şey mi?

Hayır, bunlar iki farklı iş. Modeli lokal çalıştırmak sadece kendi makinenizde ayağa kaldırmak demek. Dışarı servis etmek ise başkalarının da bu modele istek gönderebileceği bir altyapı kurmak anlamına geliyor ve donanım gereksinimlerini bambaşka bir seviyeye taşıyor.

Ucuz model demek, ucuza çalıştırılabilir model demek mi?

Maalesef hayır. DeepSeek R1 örneğinde olduğu gibi, bir modelin API üzerinden kullanım maliyetinin düşük olması, onu lokal olarak çalıştırmanın da ucuz olacağı anlamına gelmiyor. Parametre sayısı büyüdükçe donanım maliyeti ciddi biçimde artıyor.

Karar Aslında Bir Ölçek Sorusu

Lokal LLM kullanmak mantıklı mı sorusunun tek bir cevabı yok; çünkü bu soru aslında bir ölçek sorusu. Küçük modellerle kişisel projeler için mütevazı bir kurulum kurmak son derece anlamlı olabilir. Ama büyük modelleri bir ürünün arkasına lokal olarak koymak, çoğu ekip için bugün hâlâ ekonomik olarak zor bir tercih.

Asıl mesele, heyecanın önüne geçip modelin gerçek boyutunu, donanım ihtiyacını ve servis tarafındaki yükü net görebilmek. Bunu yaptığınızda "lokal mi, API mi?" tartışması ideolojik bir tercih olmaktan çıkıp, tamamen mühendislik kararına dönüşüyor.