Metin ve veri

Token say

Bir istem ya da belge yapıştırın; token sayısını “karakteri dörde böl” tahmini değil, OpenAI’nin tokenlayıcısı versin. Alttaki tablo sığıp sığmadığını söyler.

Kaydet ve masaüstünde devam et

Önce sonucu buradan indirin veya kopyalayın. Dosyalar veya tam uygulama için masaüstünde devam edin.

Notlar’da yazmaya devam edin — kelime ve karakterler siz yazdıkça sayılır
Masaüstünde devam ettiğinizde Dosyalar'a kaydedin
Tüm araçlar tek yerde, yeni sekme yok

Ücretsiz masaüstünü aç

İndirdikten sonra Dosyalar veya tam uygulama için masaüstünde devam edin.

Bu araç neler yapabilir

Mümkün olan yerde kesin, olmayan yerde işaretli

OpenAI tokenlayıcılarını yayımlıyor; bu yüzden GPT-5, GPT-4.1, GPT-4o ile eski GPT-4 ve 3.5 için sayı kesindir: API’nin kullandığı sözlük burada çalışıyor. Claude, Gemini ve Llama satırları ≈ ile işaretli: kendi sözlükleri yerine OpenAI’ninkiyle sayılırlar, yani tahmindir. Claude için düşük kalır; kendi tokenlayıcısı aynı metinden daha çok token çıkarır, kodda ve İngilizce olmayan metinde daha da çok. Orada pay bırakın.

“Karakteri dörde böl” sizi neden yanıltır

Bu kestirme kural yalnızca İngilizce düzyazıya göre ayarlanmıştır. Tokenlayıcı bayt çiftleriyle çalışır: sık kullanılan bir İngilizce kelime tek token, seyrek olanı üç tokendir; Rusça, Yunanca, İbranice ya da Tayca ise çoğu zaman karakter başına bir token, hatta daha fazlasına mal olur. Aynı paragraf bir dilde iki kat, başka bir dilde yarısı kadar tutabilir. Kod, JSON ve uzun bağlantılar kuralı ters yönde bozar. Sınıra yakınsanız, kestirme kuralla gerçek sayı arasındaki fark tam da çağrının geçip geçmeyeceğini belirleyen kısımdır.

Sözlük bir kez iner, başka hiçbir şey buradan çıkmaz

Tokenlayıcı yaklaşık bir megabayttır; ilk yazdığınızda indirilir, sonra önbelleğe alınır. Bu yüzden o gelene kadar karakter ve kelime sayıları anında görünür, sonraki ziyaret ise anlıktır. Metniniz bunun parçası değildir: burada, bu sekmede tokenlara ayrılır ve hiçbir yere gönderilmez. Gizli bir istemi ölçtürmek için başkasının sunucusuna yapıştırmak yerine yerelde saymanın bütün sebebi budur.

İlgili uygulamalar

Sorular

Metnim bir yere yükleniyor mu?

Hayır. Tokenlayıcı tarayıcınızda, bu cihazda çalışır. Metin hiçbir sunucuya gönderilmez ve biz onu görmeyiz.

Hangi tokenlayıcı kullanılıyor?

GPT-5, GPT-4.1 ve GPT-4o için o200k_base; GPT-4 Turbo, GPT-3.5 ve OpenAI gömmeleri için cl100k_base. Bunlar modellerin kendi kullandığı sözlüklerin aynısı.

Claude ve Gemini sayıları kesin mi?

Hayır, ≈ işaretini bu yüzden taşıyorlar. Bu sayfada yalnızca OpenAI’nin sözlükleri var; o satırlar yedek olarak onlarla sayılıyor. Claude için tahmin genellikle düşük kalır, kodda ve İngilizce olmayan metinde daha da çok. Bu yüzden sınıra kadar doldurmak yerine gerçek bir pay bırakın.

İlk seferde sayı neden biraz gecikiyor?

Çünkü sözlüğün kendisi yaklaşık bir megabayt; bir kez indirilir ve sonrasında tarayıcınız saklar. Karakter ve kelimeler ise hiçbir şey indirmeden anında sayılır.

Kod ve JSON için token sayıyor mu?

Evet, tokenlayıcı aynı. Zaten “karakteri dörde böl” kuralının en çok saptığı yer koddur.