Custom LLM Entegrasyonu Kılavuzu


Jetlink platformunda, kendi dil modeli (LLM) API’nızı entegre etmek için Özelleştirilebilir LLM özelliğini kullanabilirsiniz. Bu kılavuz, LLM API’nızı Jetlink’e entegre etmek için gerekli tüm adımları ve teknik bilgileri içermektedir.


1. Özelleştirilebilir LLM Nedir?

Özelleştirilebilir LLM, Jetlink platformunun, OpenAI API’si ile uyumlu olan ve /chat/completions endpoint’ini takip eden herhangi bir sohbet API’sine bağlanmasına olanak tanır. Bu entegrasyon sayesinde kendi geliştirdiğiniz veya üçüncü parti bir sağlayıcıdan almış olduğunuz bir LLM’i Jetlink ile kullanabilirsiniz.


2. Gereksinimler

Özelleştirilebilir LLM entegrasyonu için bazı teknik gereksinimler bulunmaktadır:


2.1. API Endpoint

API’nızın, uç noktasının (endpoint) tam olarak /chat/completions ile bitmesi gerekmektedir.
Örneğin:

Image Placeholder

2.2. Sunucu URL Bilgisi

Jetlink panelinde Sunucu URL Bilgisi alanına yalnızca ana URL girilmelidir. /chat/completions path’i, Jetlink tarafından otomatik olarak eklenir. Bu, aşağıdaki şekilde yapılmalıdır:

2.3. API Anahtarı

Eğer API'nız bir anahtar gerektiriyorsa, bu anahtar Jetlink tarafından HTTP header’ı olarak gönderilir. Genellikle bu anahtar Bearer tipi ile gönderilir.

3. Jetlink Paneli Üzerinden API Bilgilerinin Girilmesi

Jetlink panelinde özelleştirilebilir LLM API’nızı tanımlamak için şu adımları takip edebilirsiniz:

  1. LLM Bilgi Bankası > Ayarlar menüsüne gidin.

  2. Özelleştirilebilir LLM Ayarları bölümüne ulaşın.

  3. Aşağıdaki alanları doldurun:

    • Sunucu URL Bilgisi: API’nızın ana URL’sini girin. Örnek: https://your-llm-api.example.com

    • Model Adı: Kendi belirlediğiniz model adı (Örneğin: MyCompany Custom LLM).

    • API Anahtarı: Varsa API anahtarınızı burada girin. Jetlink, bu anahtarı Bearer olarak Authorization başlığına ekleyecektir.

4. Jetlink’in API’nıza Gönderdiği Örnek İstek

Jetlink, özelleştirilen LLM API’nıza istek gönderirken aşağıdaki gibi bir yapı kullanır:

Image Placeholder

4.1. Temel Zorunlu Parametreler

Jetlink API’nıza gönderdiği istekte aşağıdaki temel parametreleri içerir:

  • messages: Kullanıcı ve model arasındaki etkileşimi temsil eden bir dizi mesaj içerir. Sohbetin geçmişini takip eder ve yeni yanıtların doğru bir şekilde üretilmesini sağlar.

  • metadata: Jetlink, her bir konuşma için benzersiz bir conversation_id parametresini ileterek, her etkileşimin doğru şekilde bağlanmasını sağlar.

4.2. messages Parametresi Detayı


Jetlink, API’nıza OpenAI API standardına uygun bir messages listesi gönderir. Bu liste, sohbet geçmişini ve etkileşimini içerir. Aşağıda messages parametresine ait her bir mesajın yapısını bulabilirsiniz:


Image Placeholder



Parametre Açıklamaları:

  • role: Bu alan zorunludur ve mesajın türünü belirtir. Aşağıdaki değerlerden biri olabilir:

    • "system": Sistemin genel davranışını belirten mesajlar (örneğin, sistemin başlangıcında yer alan mesajlar).

    • "user": Kullanıcıdan gelen mesajlar.

    • "assistant": Modelin verdiği yanıtlar.

  • content: Mesajın içeriğini belirten metin alanıdır. Bu, kullanıcı tarafından gönderilen mesajı, modelin yanıtını ya da sistemin belirttiği genel yönergeyi içerir.

Örnekler:

  • System Mesajı:

Image Placeholder


  • User Mesajı:

    Image Placeholder


  • Assistant Yanıtı:


    Image Placeholder

Daha fazla bilgi için: OpenAI Chat API Belgeleri


4.3. Diğer Parametreler

Jetlink, OpenAI API’sinde tanımlanan diğer parametreleri de istekte gönderebilir. Bunlar, yanıtın ne kadar yaratıcı veya deterministik olacağını etkileyen parametrelerdir. Aşağıdaki parametreler örnek olarak verilmiştir:

  • temperature: Modelin yanıtlarının çeşitliliğini belirler. Değer 0 ile 1 arasında olmalıdır. 0 değeri daha deterministik, 1 değeri ise daha rastlantısal yanıtlar üretir.

  • top_p: Yanıtların çeşitliliğini etkileyen bir başka parametredir. 1.0 değeri tüm olasılıkları dikkate alır.

  • n: Kaç adet yanıt döndürüleceğini belirtir. Genellikle 1 yanıt döndürülür.

  • seed: Rastgelelikliği kontrol etmek için kullanılan bir parametre olup aynı girişe karşılık aynı yanıtı almak için kullanılır.

Bu parametreler API’nız tarafından görmezden gelinebilir veya desteklenebilir. Eğer bir parametreyi desteklemiyorsanız, model yanıtları üzerinde etkisi olmayacaktır.

LLM API’nızdan Dönen Yanıt Formatı


Jetlink, API’nızdan aşağıdaki gibi bir JSON yanıtı bekler:
Image Placeholder


  • id: Yanıtın benzersiz kimliği.

  • object: Yanıt türünü belirtir.

  • created: Yanıtın oluşturulma zamanı (Unix timestamp).

  • model: Yanıtı üreten modelin adı.

  • choices: Yanıtların bulunduğu dizi. Genellikle tek bir yanıt bulunur.

  • message: Modelin oluşturduğu yanıt mesajı.


6. Entegrasyonun Test Edilmesi

Entegrasyonun doğru çalışıp çalışmadığını kontrol etmek için aşağıdaki adımları izleyin:

  1. Jetlink panelinde Raporlar > LLM Tarafından Üretilmiş Yanıtlar Raporu bölümüne gidin.

  2. "LLM Dil Modeli" sütununda, oluşturduğunuz özelleştirilmiş model adını kontrol edin.


  3. Model adı burada görünüyorsa, entegrasyon başarılıdır ve Jetlink doğru LLM modeli yanıtlar döndürmektedir.


7. Hata Giderme

7.1. Yanıt Alamama Durumu

Eğer Jetlink'in API'nızdan beklediği gibi yanıt alamadığını fark ederseniz, aşağıdaki kontrolleri yapın:

  • URL Yapısı: API endpoint URL'sinin doğru olup olmadığını kontrol edin.

  • API Anahtarı: Doğru ve geçerli API anahtarını kullandığınızdan emin olun.


  • Yanıt Formatı: API’nızın döndüğü JSON yanıtının doğru formatta olup olmadığını kontrol edin.


7.2. Yetkilendirme Hataları

  • Authorization Header: API anahtarınızın Bearer olarak gönderildiğinden emin olun. Hatalı bir header, yanıt alamamanıza neden olabilir.


Eğer entegrasyon ile ilgili bir sorun yaşarsanız, Jetlink teknik destek ekibiyle iletişime geçebilirsiniz. Teknik destek için aşağıdaki iletişim bilgilerini kullanabilirsiniz:


Ekstra Notlar

  • Jetlink, sadece OpenAI uyumlu API’ler ile çalışmaktadır. API’nızın OpenAI API standardına uygun olduğundan emin olun.

  • Kendi modelinizi kullanırken, performans ve yanıt kalitesini optimize etmek için model parametrelerini ayarlamayı unutmayın.

Bu kılavuz, Jetlink platformunda özelleştirilebilir LLM entegrasyonunuzu başarılı bir şekilde yapmanıza yardımcı olacaktır.