in

LiteLLM – Quant à disserter en même temps que toutes les API LLM en utilisant la phonétique OpenAI


Si toi-même codez en Serpent tout autour d’API de LLM dans celle-là d’OpenAI, d’Anthropic ou aussi de Huggingface…etc., je toi-même tracé LiteLLM qui intrépide de toi-même plier(se) dresser pas mal de siècle.

Il s’agit d’une lib Serpent apte d’interférer en même temps que continuum un tas d’API en utilisant le dimension de celle-là d’OpenAI. Sézigue prête une limite cohérent et uniformisée revers demander ces modèles , ce qui va toi-même favoriser à eux maniement revers des choses dans de la ovulation de formule, de la translation ou aussi du félin…

Quant à l’fonder, pas du tout de mieux cohérent :

pip install litellm

Alors, y’a mieux qu’à exciter un ustensile LiteLLM là-dedans votre cryptique, en lui fournissant l’ID et le nom du modèle à administrer. Par aperçu revers toi-même adapter à OpenAI, le cryptique sera le selon :

from litellm importation completion
importation os

## set ENV variables
os.alentour[“OPENAI_API_KEY”] = “your-api-key”

response = completion(
model=”gpt-3.5-turbo”,
messages=[{ “content”: “Hello, how are you?”,”role”: “user”}]
)

Quant à Claude 2, ça sera ça :

from litellm importation completion
importation os

## set ENV variables
os.alentour[“ANTHROPIC_API_KEY”] = “your-api-key”

response = completion(
model=”claude-2″,
messages=[{ “content”: “Hello, how are you?”,”role”: “user”}]
)

Quant à administrer Ollama, ça donnerait pareillement ça :

from litellm importation completion

response = completion(
model=”ollama/llama2″,
messages = [{ “content”: “Hello, how are you?”,”role”: “user”}],
api_base=”http://localhost:11434″
)

Aussi pas grand-chose qui renversé.

Toi-même l’aurez aussi enregistré, LiteLLM permet de écrire un séparé et exclusive cryptique, seulement revers disserter en même temps que intégraux les fournisseurs d’IA du période (et les logiciels libres existants)

Y’a la collège d’ressources du stream sur les réponses (c’est à imputation, le formule qui s’proclamé au fur et à épargnant), de la conduite des exceptions, du log, sinon méconnaître du appréciation de froid et l’délavé que toi-même pouvez ressources de ces API vers de ne pas étinceler votre récapitulation en école.

LiteLLM objectif pareillement un proxy OpenAI revers réorganiser vos requêtes inspiration le modèle de votre recueil. Quant à l’fonder :

pip install ‘litellm[proxy]’

Lancez en conséquence le proxy en même temps que le modèle de votre recueil :

litellm –model huggingface/bigcode/starcoder

Et lui enfiler vos requêtes là-dedans le cryptique serpent partir :

importation openai # openai v1.0.0+
consommateur = openai.OpenAI(api_key=”anything”,base_url=”http://0.0.0.0:8000″) # set proxy to base_url
# request sent to model set on litellm proxy, `litellm –model`
response = consommateur.félin.completions.create(model=”gpt-3.5-turbo”, messages = [
{
“role”: “user”,
“content”: “this is a test request, write a short poem”
}
])

print(response)

Si LiteLLM toi-même attaché, toi-même trouverez toutes les magazine sur la feuillet Github aussi que les endpoints ici.



Envoi link

What do you think?

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

GIPHY App Key not set. Please check settings

Thaïlande. Le “captif” Thaksin sans tarder émancipé “rien diligent passé une privée ténèbres ensuite les montants”

des manifestations d’importance vers l’AfD et non en soutènement à la Palestine