Kendi aracı hizmet düğümünüzü oluşturmanızı ve çalıştırmanızı sağlamak istiyoruz. Muhtemelen varsayılan Phi-3 LLM ve Paris guidebook bilgi tabanını kullanmayacaksınız. Öyleyse size düğümünüzü nasıl özelleştireceğinizi gösterelim!
Son güncelleme
Bu yardımcı oldu mu?
Bu gaianet/config.json dosyası, LLM ayarları, bilgi tabanı için vektör koleksiyonu ve istemler gibi tüm düğüm yapılandırma seçeneklerini tutar. Modellerinizi ve vektör koleksiyonlarınızı kullanmak için bu dosyayı doğrudan düzenleyebilir ya da farklı bir config.json düğümü başlattığınızda.
Basitçe bir URL'yi config.json dosyanızdaki gaianet init komutuna, URL'ye config.json gerçek metin dosyasına işaret etmelidir.
Önceden ayarlanmış birkaç config.json aralarından seçim yapabileceğiniz dosyalar . Örneğin, aşağıdaki komut bir GaiaNet düğümünü Llama 3 8B modeli ile başlatır:
Düğümü başlattıktan sonra bile, düğümün yapılandırmasında değişiklik yapmak için config.json dosyası. Bununla birlikte, en iyi uygulama gaianet Daha güvenli ve kolay olduğu için değişiklikleri yapmak için CLI.
Düğüm yapılandırmasında herhangi bir değişiklik yapıldıktan sonragaianet init komutu çalıştırılmalıdır.
gaianet yapılandırma listesi komutu, aşağıdakileri gösterir config.json değiştirilebilen alanlar.
Huggingface, aralarından seçim yapabileceğiniz 10.000'den fazla ince ayarlı, açık kaynaklı LLM'ye sahiptir. Her biri farklı boyutlara (daha büyük modeller daha yetenekli ancak çalıştırması daha pahalı), benzersiz yeteneklere (örneğin, bazıları büyük bağlam uzunluğunu destekleyebilir, sansürsüzdür veya matematikte mükemmeldir), alan uzmanlığına (kodlama veya tıp gibi) ve/veya stillere (bazıları kodla yanıt verir, korsan gibi konuşabilir, vb.)
Model dosyası, istem şablonu ve model bağlam uzunluğu parametrelerinde değişiklik yapmak, düğümünüzün varsayılan LLM'sini alternatif bir ince ayarlı modelle değiştirmenize olanak tanır. Parametreler modele bağlı olarak değişir, ancak model kartları.
Örneğin, aşağıdaki komut LLM'yi bir Llama 3 8B modeline değiştirir:
Llama 3 8B modeli en az 16 GB RAM gerektirir.
Bu
--chat-urlargümanı aşağıdaki yerel bir dosyaya işaret edebilir$HOME/gaianetgenel bir URL yerine. Bu, özel olarak eğitilmiş veya ince ayarlanmış bir LLM model dosyası kullanmanıza olanak tanır.
vektör koleksiyonunun URL'sini belirtin (yani anlık görüntü veya snapshot.tar.gz dosyası) içinde anlık görüntü seçenek.
bu vektör koleksiyonunu oluşturan aynı gömme modelini kullanın.
değiştirmek system_prompt modele arka plan bilgisi vermek için.
değiştirmek rag_prompt vektör koleksiyonundan bağlam alındığında modele soruyu yanıtlama talimatı vermek için.
Aşağıdaki örnek, düğümdeki bilgi tabanını "Paris guidebook" yerine "London guidebook" olarak değiştirir:
Bu
--snapshotaltında yerel bir dosyaya işaret edebilir$HOME/gaianetgenel bir URL yerine. Bu, özel bir vektör koleksiyonu anlık görüntüsü kullanmanıza olanak tanır.
Vektörlerin kalitesine ve boyutuna bağlı olarak, aşağıdaki ayarları da değiştirmeniz gerekebilir qdrant- alma davranışını özelleştirmek için seçenekler.
qdrant-limit bilgi istemine eklenecek maksimum ilgili bağlam sayısını belirler. Bilgi tabanınız büyük metin bölümlerinden oluşuyorsa (örneğin, her kitap bölümü bir vektördür), istem uzunluğunu makul bir boyutla sınırlamak için muhtemelen bunu 1 veya 2 yapmalısınız.
qdrant-score-threshold bilgi içeriğinin "ilgili" olarak kabul edilmesi için karşılaması gereken minimum eşleşme "puanı "dır. Bu, bilgi metninin kalitesine ve gömme modeline bağlıdır. Genel olarak, istemdeki alakasız bağlamı azaltmak için bu puan 0,5'in üzerinde olmalıdır.
İçinde config.jsonistemlerini de özelleştirebilirsiniz. İstemler genellikle düğümden en uygun yanıtları üretmek için ince ayarlı LLM veya bilgi tabanı için uyarlanır.
Bu --system-prompt seçeneği bir sistem istemi ayarlar. Düğümün arka planını ve "kişiliğini" sağlar. Her API isteği kendi sistem istemini ayarlayabilir.
Bu --rag-prompt sistem isteminden (veya kullanıcı sorgusundan) sonra eklenecek istemdir. Vektör veritabanından alınan RAG bağlamını tanıtır ve bunu takip eder.
Bu --rag-policy seçeneği nerede olduğunu belirtir bez-prompt ve bağlam gitmelidir. Varsayılan olarak değeri sistem-mesajı ve bağlamı sistem istemine yerleştirir. Ancak bunu şu şekilde de ayarlayabilirsiniz son-kullanici-mesaji'yi koyan bez-prompt ve kullanıcıdan gelen en son mesajın önündeki bağlam.
Yapılandırma değişiklikleri yaptıktan sonra düğümü yeniden başlatmayı ve yeniden başlatmayı unutmayın.
Yayınlanan ince ayarlı modellerden hiçbiri kullanım durumunuz için mükemmel değilse, aşağıdaki adımları izleyerek kendi LLM'nize de ince ayar yapabilirsiniz . GaiaNet düğümünüz kendi ince ayarlı modellerinizi çalıştırabilir.
GaiaNet'in önemli bir özelliği, kullanıcıların LLM'yi tamamlamak için düğüm üzerinde özel bilgi tabanı oluşturabilmesi ve dağıtabilmesidir. Her bilgi tabanı, bir vektör koleksiyonu için bir anlık görüntü dosyasıdır. Hazır bilgi tabanlarını kullanabilirsiniz, ancak sizi aşağıdakileri yapmaya teşvik ediyoruz . Aşağıdakileri yapmanız gerekecektir:
Gömme modeli, saklanabilmesi, aranabilmesi ve alınabilmesi için metni kodlar ve vektörlere dönüştürür. Farklı bağlam materyalleri için, en iyi performansı elde etmek üzere farklı bir gömme modeline ihtiyacınız olabilir. Bu model gömme modellerinin performans kıyaslamalarını görmek için iyi bir yerdir. Bunların çoğunu şurada bulabilirsiniz .