OpenAI-kompatibla slutpunkter dokumentation

Autentisering och bas-URL

Börja med att generera din API-nyckel via kontrollpanelen med ditt Google-konto eller e-post. Lägg till denna nyckel i varje begärandehuvud som Authorization: Bearer YOUR_API_KEY. Bas-URL:en är https://api.openaicompatibleendpoints.com/v1, vilket säkerställer att din befintliga klientkod fungerar utan modifiering. Du får en aktiv nyckel per konto, som du kan regenerera omedelbart om den komprometteras. Inget telefonnummer krävs för registrering, vilket håller processen snabb och privat.

Första förfrågan

Skicka en standard Chat Completion-begäran för att börja generera text direkt. Detta bekräftar att dina uppgifter och tokenbalans är aktiva innan du skalar upp ditt arbetsflöde. Slutpunkten accepterar standard JSON-payloads identiska med OpenAI-formatet, vilket gör att du kan testa anslutningen med minimal överhead.

Copycurl https://api.openaicompatibleendpoints.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current server time in UTC format"}]
  }'

Python SDK-integration

Installera det officiella OpenAI Python-paketet och peka det mot vår bas-URL för att utnyttja välkända mönster. Detta fungerar sömlöst med verktyg som LangChain eller LlamaIndex som förväntar sig OpenAI-kompatibla slutpunkter. Du kan växla mellan modeller eller leverantörer genom att enkelt uppdatera bas-URL-konfigurationen utan att ändra din applikationslogik. Denna flexibilitet är avgörande för byråer som hanterar flera inferenspipelines.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleendpoints.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node SDK-användning

Initiera Node.js-klienten med din bas-URL och API-nyckel för att starta strömnings- eller synkrona förfrågningar. Denna konfiguration speglar gränssnittet för den vanliga OpenAI-klienten, vilket gör det enkelt att integrera i Express- eller Fastify-applikationer. Du kan hantera fel på ett elegant sätt genom att kontrollera statuskoderna som returneras av servern, vilket säkerställer att din applikation förblir robust vid hög belastning.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleendpoints.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strömningsresponser (SSE)

Aktivera strömning genom att ställa in stream parameter till true, vilket returnerar data i realtid via Server-Sent Events. Detta minskar den upplevda latensen för slutanvändare, särskilt vid generering av långa svar eller komplexa resonemangskedjor. Varje bit innehåller delvis innehåll, vilket gör att du kan rendera text progressivt i ditt gränssnitt. Den sista biten innehåller fullständig tokenanvändningsstatistik för exakt faktureringsspårning.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Gränser, fel och kontext

Ditt API-nyckel stödjer upp till 300 begäranden per minut och tillåter 8 samtidiga anslutningar. Om du överskrider dessa gränser returnerar servern en 429-statuskod; otillräckliga medel utlöser ett 402-fel, medan ogiltiga nycklar resulterar i ett 401-fel. Modellen hanterar ett kontextfönster på 100,000 token, vilket kombinerar prompt och slutförande. Fel och avslag förbrukar inte din förbetalda kredit, vilket säkerställer att du bara betalar för giltig inferens.