1. Sıfırdan Model Eğitimi (Pre-training)
Bu aşama, bir LLM'in doğuşudur. Modeli, internetin devasa bir kopyası gibi düşünebileceğiniz milyarlarca token'lık veriyle beslersiniz. Amaç, ona dilin yapısını, anlamsal ilişkileri ve dünya hakkındaki genel bilgileri öğretmektir. Tıpkı bir çocuğa konuşmayı ve dünyayı anlamayı öğretmek gibi, bu da en maliyetli ve uzun süreçtir.
Tahmini Hesaplama Maliyeti:
Toplam Veri İşleme Yükü (FLOPs): Formül: FLOPs ≈ 6 x Parametre Sayısı x Token Sayısı
FLOPs (Saniyedeki Kayan Nokta İşlemleri), bir bilgisayarın ne kadar "düşündüğünü" ölçer. Bir binadaki toplam tuğla sayısı gibidir. Bu sayı, modeli eğitmek için gereken saf hesaplama gücünü gösterir ve doğrudan enerji, zaman ve donanım maliyetine dönüşür.
Karşılaştırma:
2. Mevcut Modeli İnce Ayarlama (Fine-Tuning)
Sıfırdan eğitilmiş genel amaçlı bir modeli, özel bir görev için uzmanlaştırma işlemidir. Genel bilgiye sahip bir mezunu, hukuk veya tıp gibi belirli bir alanda eğitmek gibidir. Kendi özel veri setinizi kullanarak modelin davranışını, stilini veya bilgi tabanını özelleştirirsiniz.
Tahmini Maliyet:
İşlenecek Toplam Token:
Tüm modelin milyarlarca parametresini güncellersiniz. Bu, modelin temel davranışını derinden değiştirebilir ancak çok fazla hesaplama gücü ve bellek (VRAM) gerektirir. Modelin veri setini 3 kez görmesi gerekir.
LoRA, modelin orijinal ağırlıklarını dondurur ve sadece küçük, eğitilebilir "adaptör" katmanları ekler. Bu, beynin ana yapısını değiştirmek yerine, üzerine yapışkan notlar ekleyerek yeni bilgiler öğrenmek gibidir. Bu nedenle, tam ince ayara göre ~%99 daha az hesaplama gücü gerektirir ve çok daha hızlıdır.
3. API Çağrısı ve Çıkarım Maliyeti
Bu, eğitilmiş modeli fiilen kullanma aşamasıdır. Modele bir soru sorduğunuz (girdi/prompt) ve ondan bir cevap aldığınız (çıktı/completion) her an bir çıkarım işlemidir. Maliyet, konuşmanızın toplam uzunluğuna (hem sizin söyledikleriniz hem de modelin söyledikleri) bağlıdır ve genellikle token başına ücretlendirilir.
Token Maliyeti:
Girdi Token Sayısı: 0
Çıktı Token Sayısı: 0
Toplam Maliyet (Token): 0
Çıkarım maliyetleri, özellikle yüksek hacimli uygulamalarda hızla birikebilir. Girdi (prompt) ne kadar uzun ve detaylıysa veya istenen cevap ne kadar uzunsa, maliyet o kadar artar. Verimli prompt yazma (prompt engineering) bu maliyeti düşürmede kritiktir.