OpenAI-Compatible Végpontok Dokumentáció

Hitelesítés és Base URL

Kezdje az API kulcs generálását a műszerfalon Google-fiókkal vagy e-maillel. Fűzze hozzá ezt a kulcsot minden kérés fejlécéhez mint Authorization: Bearer YOUR_API_KEY. Az alap URL https://api.openaicompatibleendpoints.com/v1, biztosítva, hogy a meglévő ügyfélkódod módosítás nélkül működjön. Egy aktív kulcsot kapsz fiókonként, amelyet azonnal regenerálhatsz, ha megsérül. Nem szükséges telefonszám a regisztrációhoz, így a folyamat gyors és privát marad.

Első kérés

Küldjön egy szabványos chat completion kérést a szöveg azonnali generálásának megkezdéséhez. Ez megerősíti, hogy a hitelesítő adatai és a tokenegyenleg aktívak, mielőtt skálázná a munkafolyamatot. A végpont elfogadja a szabványos JSON payloadokat, amelyek azonosak az OpenAI formátummal, lehetővé téve a kapcsolódás tesztelését minimális többletterheléssel.

Copycurl https://api.openaicompatibleendpoints.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current server time in UTC format"}]
  }'

Python SDK Integráció

Telepítse a hivatalos OpenAI Python csomagot, és állítsa be a bázis URL-csont a miénkre, hogy kihasználja a jól ismert mintákat. Ez a megközelítés zökkenőmentesen működik olyan eszközökkel, mint a LangChain vagy a LlamaIndex, amelyek OpenAI-kompatibilis végpontokat várnak. A modellek vagy szolgáltatók váltása egyszerűen a bázis URL-konfiguráció frissítésével végezhető el az alkalmazás logikájának megváltoztatása nélkül. Ez a rugalmasság kritikus fontosságú azoknak az ügynökségeknek, amelyek több inference csatornát kezelnek.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleendpoints.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node SDK használat

Inicializálja a Node.js klienst a bázis URL-jével és az API-kulccsal a streamelő vagy szinkron kérések indításához. Ez a beállítás tükrözi a szabványos OpenAI-kliens felületét, megkönnyítve az integrációt Express vagy Fastify alkalmazásokba. A hibákat a szerver által visszaadott állapotkódok ellenőrzésével kezelheti hatékonyan, biztosítva az alkalmazás robusztusságát nagy terhelés mellett.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleendpoints.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamelési válaszok (SSE)

A streamelés engedélyezéséhez állítsa a stream paramétert állítsa true-ra, amely valós időben adja vissza az adatokat Server-Sent Events (SSE) formátumban. Ez csökkenti a végfelhasználók számára észlelt késést, különösen hosszú válaszok vagy komplex érvelési láncok generálása esetén. Minden rész részleges tartalmat tartalmaz, lehetővé téve a szöveg fokozatos megjelenítését a felületen. Az utolsó rész tartalmazza a teljes token-használati statisztikákat a pontos számlázás érdekében.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Korlátok, hibák és kontextus

Az API-kulcsod percenként akár 300 kérést és 8 párhuzamos kapcsolatot támogat. Ha túlléped ezeket a határokat, a szerver 429-es státuskódot ad vissza; a elégtelen egyenleg 402-es hibát, az érvénytelen kulcsok pedig 401-es hibát eredményeznek. A modell 100,000 tokenes kontextusablakot kezel, amely a promptot és a kiegészítést együttesen magában foglalja. A hibák és a visszautasítások nem fogyasztják el az előre fizetett kreditet, így csak az érvényes inferenciáért fizetsz.