Yanıt Kredisi Nedir?
Jetlink Agentic AI Platformu’nda yanıt üretimi, çeşitli teknik parametrelere göre çalışır ve bu süreçlerin yönetimi yanıt kredisi sistemi üzerinden gerçekleştirilir.
Yanıt kredisi, AI modeline yapılan her isteğin tükettiği kaynak birimini temsil eder. Ancak platformda gerçekleştirilen her işlem mutlaka ek bir kredi tüketmez. Arkada çalışan önbellekleme (cache) ve akıllı yönlendirme sayesinde gereksiz tekrarların önüne geçilir. Yanıt Kredisi tüketimi sadece gerçekten LLM’e gidilen durumlarda gerçekleşir.
Bu Sizin İçin Ne Anlama Geliyor?
Bu sistem sayesinde daha güçlü, bağlama duyarlı ve esnek yanıtlar alırsınız. Faturalandırmanız yalnızca gerçekleşen LLM çağrılarına göre yapılır ve kullanım raporlarınızdan yanıt kredisi tüketimini şeffaf bir şekilde takip edebilirsiniz.
- Yanıt Kredisi Tüketim Mantığı:
- Sadece LLM çağrıları krediye tabidir.
- Bir akış birden fazla aşama içerebilir; her aşama otomatik olarak kredi tüketmez.
- Cache veya tekrarlanan yanıtlar devredeyse ek kredi oluşmayabilir.
- Daha çok bağlam / ek işlem gereken gelişmiş senaryolarda kredi tüketimi artabilir.
- Yanıt kredisi tüketimini etkileyen başlıca faktörler şunlardır:
Yanıt Input Büyüklüğü
Jetlink sisteminde üretilen her yanıt, belirli bir bilgi (input) kapasitesiyle sınırlıdır. Ancak bazı senaryolarda daha fazla bağlamsal bilgi gerekebilir. Bu durumlar için aşağıdaki alternatifler kullanılabilir ve bu gibi gelişmiş senaryolarda yanıt kredisi tüketimi artabilir:
| Model Tipi | Açıklama |
|---|---|
| Standart Input | Temel bilgi kapasitesiyle yanıt üretimi sağlar. |
| Input Token Plus | Standartın 2 katı veriyle yanıt üretimi sağlar. |
| Input Token Super | Standartın 3 katı veriyle daha kapsamlı yanıt üretir. |
Bu opsiyonlar sayesinde, daha fazla bilgiye dayalı daha anlamlı ve derinlemesine yanıtlar elde edilebilir.
Çok Aşamalı Yanıt Üretimi
Bazı senaryolarda, AI modeli tek bir yanıt üretmeden önce harici sistemlerden bilgi çekmek zorundadır. Bu işlem tool calling olarak adlandırılır ve çok aşamalı çalışır:
- İlk istek, bir eylemi (örneğin: takvimden uygun saatleri çekmek) tetikler.
- İkinci istek, bu verilerle kullanıcıya gösterilecek yanıtı oluşturur.
Bu aşamaların her biri, görevin karmaşıklığına bağlı olarak ek kredi tüketebilir.
Yanıt Büyüklüğü
Üretilen her yanıt ortalama olarak 800 karakter civarındadır. Ancak bazı yanıtlar daha geniş bilgi içerebilir. Yanıtın uzunluğu veya birden fazla parçadan oluşması, senaryonun karmaşıklığına göre ek kredi tüketimi oluşturabilir. Kredi tüketimi, nihai çıktıyı üretmek için yapılan LLM çağrısına bağlıdır.
Not: Kullanıcıya gösterilen yanıt tek bir mesaj gibi görünebilir ancak arka planda birden fazla işlem gerçekleşmiş olabilir.