Düğümünüzü özelleştirme

Kendi aracı hizmet düğümünüzü oluşturmanızı ve çalıştırmanızı sağlamak istiyoruz. Muhtemelen varsayılan Phi-3 LLM ve Paris guidebook bilgi tabanını kullanmayacaksınız. Öyleyse size düğümünüzü nasıl özelleştireceğinizi gösterelim!

Önceden ayarlanmış konfigürasyonlar​

Bu gaianet/config.json dosyası, LLM ayarları, bilgi tabanı için vektör koleksiyonu ve istemler gibi tüm düğüm yapılandırma seçeneklerini tutar. Modellerinizi ve vektör koleksiyonlarınızı kullanmak için bu dosyayı doğrudan düzenleyebilir ya da farklı bir config.json düğümü başlattığınızda.

Basitçe bir URL'yi config.json dosyanızdaki gaianet init komutuna, URL'ye config.json gerçek metin dosyasına işaret etmelidir.

Önceden ayarlanmış birkaç config.json aralarından seçim yapabileceğiniz dosyalar bu depoda. Örneğin, aşağıdaki komut bir GaiaNet düğümünü Llama 3 8B modeli ile başlatır:

gaianet init --config https://raw.githubusercontent.com/GaiaNet-AI/node-configs/main/llama-3-8b-instruct/config.json

Yapılandırma alt komutu​

Düğümü başlattıktan sonra bile, düğümün yapılandırmasında değişiklik yapmak için config.json dosyası. Bununla birlikte, en iyi uygulama gaianet Daha güvenli ve kolay olduğu için değişiklikleri yapmak için CLI.

Düğüm yapılandırmasında herhangi bir değişiklik yapıldıktan sonragaianet init komutu çalıştırılmalıdır.

gaianet yapılandırma listesi komutu, aşağıdakileri gösterir config.json değiştirilebilen alanlar.

Bir LLM Seçmek​

Huggingface, aralarından seçim yapabileceğiniz 10.000'den fazla ince ayarlı, açık kaynaklı LLM'ye sahiptir. Her biri farklı boyutlara (daha büyük modeller daha yetenekli ancak çalıştırması daha pahalı), benzersiz yeteneklere (örneğin, bazıları büyük bağlam uzunluğunu destekleyebilir, sansürsüzdür veya matematikte mükemmeldir), alan uzmanlığına (kodlama veya tıp gibi) ve/veya stillere (bazıları kodla yanıt verir, korsan gibi konuşabilir, vb.)

Model dosyası, istem şablonu ve model bağlam uzunluğu parametrelerinde değişiklik yapmak, düğümünüzün varsayılan LLM'sini alternatif bir ince ayarlı modelle değiştirmenize olanak tanır. Parametreler modele bağlı olarak değişir, ancak gaianet Huggingface organizasyonunun model kartları.

Örneğin, aşağıdaki komut LLM'yi bir Llama 3 8B modeline değiştirir:

gaianet yapılandırma \
  --chat-url https://huggingface.co/gaianet/Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q5_K_M.gguf \
  --chat-ctx-size 4096 \
  --prompt-template llama-3-chat 

Llama 3 8B modeli en az 16 GB RAM gerektirir.

Yayınlanan ince ayarlı modellerden hiçbiri kullanım durumunuz için mükemmel değilse, aşağıdaki adımları izleyerek kendi LLM'nize de ince ayar yapabilirsiniz bu kılavuzlar. GaiaNet düğümünüz kendi ince ayarlı modellerinizi çalıştırabilir.

Bu --chat-url argümanı aşağıdaki yerel bir dosyaya işaret edebilir $HOME/gaianet genel bir URL yerine. Bu, özel olarak eğitilmiş veya ince ayarlanmış bir LLM model dosyası kullanmanıza olanak tanır.

Bir bilgi tabanı seçme​

GaiaNet'in önemli bir özelliği, kullanıcıların LLM'yi tamamlamak için düğüm üzerinde özel bilgi tabanı oluşturabilmesi ve dağıtabilmesidir. Her bilgi tabanı, bir vektör koleksiyonu için bir anlık görüntü dosyasıdır. Hazır bilgi tabanlarını kullanabilirsiniz, ancak sizi aşağıdakileri yapmaya teşvik ediyoruz kendi bilgi tabanınızı oluşturun . Aşağıdakileri yapmanız gerekecektir:

1. vektör koleksiyonunun URL'sini belirtin (yani anlık görüntü veya snapshot.tar.gz dosyası) içinde anlık görüntü seçenek.

2. bu vektör koleksiyonunu oluşturan aynı gömme modelini kullanın.

3. değiştirmek system_prompt modele arka plan bilgisi vermek için.

4. değiştirmek rag_prompt vektör koleksiyonundan bağlam alındığında modele soruyu yanıtlama talimatı vermek için.

Aşağıdaki örnek, düğümdeki bilgi tabanını "Paris guidebook" yerine "London guidebook" olarak değiştirir:

gaianet yapılandırma \
  --snapshot https://huggingface.co/datasets/gaianet/london/resolve/main/london_768_nomic-embed-text-v1.5-f16.snapshot.tar.gz \
  --embedding-url https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf \
  --embedding-ctx-size 8192 \
  --system-prompt "Londra, Birleşik Krallık'ta bir tur rehberisiniz. Lütfen Londralı bir ziyaretçinin sorusunu doğru bir şekilde yanıtlayın." \
  --rag-prompt "Aşağıdaki metin kullanıcı sorusunun bağlamıdır.\n----------------\n"

Bu --snapshot altında yerel bir dosyaya işaret edebilir $HOME/gaianet genel bir URL yerine. Bu, özel bir vektör koleksiyonu anlık görüntüsü kullanmanıza olanak tanır.

Vektörlerin kalitesine ve boyutuna bağlı olarak, aşağıdaki ayarları da değiştirmeniz gerekebilir qdrant- alma davranışını özelleştirmek için seçenekler.

• qdrant-limit bilgi istemine eklenecek maksimum ilgili bağlam sayısını belirler. Bilgi tabanınız büyük metin bölümlerinden oluşuyorsa (örneğin, her kitap bölümü bir vektördür), istem uzunluğunu makul bir boyutla sınırlamak için muhtemelen bunu 1 veya 2 yapmalısınız.

• qdrant-score-threshold bilgi içeriğinin "ilgili" olarak kabul edilmesi için karşılaması gereken minimum eşleşme "puanı "dır. Bu, bilgi metninin kalitesine ve gömme modeline bağlıdır. Genel olarak, istemdeki alakasız bağlamı azaltmak için bu puan 0,5'in üzerinde olmalıdır.

Gömme modeli, saklanabilmesi, aranabilmesi ve alınabilmesi için metni kodlar ve vektörlere dönüştürür. Farklı bağlam materyalleri için, en iyi performansı elde etmek üzere farklı bir gömme modeline ihtiyacınız olabilir. Bu model MTEB liderlik tablosu gömme modellerinin performans kıyaslamalarını görmek için iyi bir yerdir. Bunların çoğunu şurada bulabilirsiniz Huggingface üzerinde gaianet organizasyonu.

Bilgi istemlerini özelleştirme​

İçinde config.jsonistemlerini de özelleştirebilirsiniz. İstemler genellikle düğümden en uygun yanıtları üretmek için ince ayarlı LLM veya bilgi tabanı için uyarlanır.

Bu --system-prompt seçeneği bir sistem istemi ayarlar. Düğümün arka planını ve "kişiliğini" sağlar. Her API isteği kendi sistem istemini ayarlayabilir.

Bu --rag-prompt sistem isteminden (veya kullanıcı sorgusundan) sonra eklenecek istemdir. Vektör veritabanından alınan RAG bağlamını tanıtır ve bunu takip eder.

Bu --rag-policy seçeneği nerede olduğunu belirtir bez-prompt ve bağlam gitmelidir. Varsayılan olarak değeri sistem-mesajı ve bağlamı sistem istemine yerleştirir. Ancak bunu şu şekilde de ayarlayabilirsiniz son-kullanici-mesaji'yi koyan bez-prompt ve kullanıcıdan gelen en son mesajın önündeki bağlam.

Sonraki adımlar​

Yapılandırma değişiklikleri yaptıktan sonra düğümü yeniden başlatmayı ve yeniden başlatmayı unutmayın.

# Düğüm çalışıyorsa:
gaianet durağı

gaianet init
gaianet başlangıç