Dokumentace koncových bodů kompatibilních s OpenAI

Autentizace a základní URL

Začněte vygenerováním svého API klíče přes ovládací panel pomocí svého Google účtu nebo e-mailu. Připojte tento klíč ke každé hlavičce požadavku jako Authorization: Bearer YOUR_API_KEY. Základní URL je https://api.openaicompatibleendpoints.com/v1, zajišťuje, že váš existující klientský kód funguje bez úprav. Získáte jeden aktivní klíč na účet, který můžete okamžitě obnovit, pokud je kompromitován. Pro registraci není vyžadováno telefonní číslo, což proces udržuje rychlým a soukromým.

První požadavek

Standardní požadavek na dokončení chatu pro zahájení okamžitého generování textu. Tímto potvrdíte, že vaše pověření a zůstatek tokenů jsou aktivní před škálováním vašeho pracovního postupu. Koncový bod přijímá standardní payloady JSON identické s formátem OpenAI, což vám umožňuje otestovat připojení s minimálním přídavným zatížením.

Copycurl https://api.openaicompatibleendpoints.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current server time in UTC format"}]
  }'

Integrace Python SDK

Nainstalujte oficiální balíček OpenAI pro Python a nastavte ho na naši základní URL, abyste využili osvědčené vzorce. Tento přístup bezproblémově funguje s nástroji jako LangChain nebo LlamaIndex, které očekávají endpointy kompatibilní s OpenAI. Modely nebo poskytovatele můžete přepnout pouhou úpravou konfigurace základní URL bez změny logiky aplikace. Tato flexibilita je klíčová pro agentury spravující více pipeline pro inferenci.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleendpoints.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Využití SDK pro Node

Inicializujte klienta Node.js se svou základní URL a API klíčem pro zahájení streamování nebo synchronních požadavků. Toto nastavení odpovídá rozhraní standardního klienta OpenAI, což usnadňuje integraci do aplikací Express nebo Fastify. Chyby můžete zpracovat elegantně kontrolou stavových kódů vrácených serverem, čímž zajistíte robustnost aplikace i při vysokém zatížení.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleendpoints.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamované odpovědi (SSE)

Povolte streamování nastavením stream parameter na true, což vrací data v reálném čase prostřednictvím Server-Sent Events. To snižuje vnímanou latenci pro koncové uživatele, zejména při generování dlouhých odpovědí nebo komplexních řetězců úvah. Každá část obsahuje částečný obsah, což umožňuje postupné vykreslování textu v rozhraní. Poslední část obsahuje kompletní statistiky využití tokenů pro přesné sledování fakturace.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Limity, chyby a kontext

Váš API klíč podporuje až 300 požadavků za minutu a umožňuje 8 souběžných připojení. Pokud tyto limity překročíte, server vrátí stavový kód 429; nedostatek prostředků vyvolá chybu 402, zatímco neplatný klíč výsledkuje chybou 401. Model zvládá kontextové okno o velikosti 100 000 tokenů, které zahrnuje prompt i dokončení. Chyby a odmítnutí nespotřebovávají váš předplacený kredit, takže platíte pouze za platné inference.