Dokumentacja punktów końcowych kompatybilnych z OpenAI

Uwierzytelnianie i URL bazowy

Zacznij od wygenerowania swojego klucza API przez panel, używając konta Google lub adresu e-mail. Dołącz ten klucz do każdego nagłówka żądania jako Authorization: Bearer YOUR_API_KEY. Podstawowy adres URL to https://api.openaicompatibleendpoints.com/v1, zapewniając, że Twój istniejący kod klienta działa bez modyfikacji. Otrzymujesz jeden aktywny klucz na konto, który możesz natychmiast odnowić w przypadku naruszenia bezpieczeństwa. Nie jest wymagany numer telefonu do rejestracji, co sprawia, że proces jest szybki i prywatny.

Pierwsze żądanie

Standardowe żądanie chat completion, aby natychmiast rozpocząć generowanie tekstu. Potwierdza to, że Twoje poświadczenia i saldo tokenów są aktywne przed skalowaniem workflow. Endpoint akceptuje standardowe payloady JSON identyczne z formatem OpenAI, pozwalając na przetestowanie łączności przy minimalnym narzucie.

Copycurl https://api.openaicompatibleendpoints.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current server time in UTC format"}]
  }'

Integracja SDK Python

Zainstaluj oficjalny pakiet OpenAI dla Pythona i wskaż go na nasz adres bazowy, aby wykorzystać znane wzorce. Podejście to działa bezproblemowo z takimi narzędziami jak LangChain czy LlamaIndex, które oczekują endpointów kompatybilnych z OpenAI. Możesz przełączać modele lub dostawców, po prostu aktualizując konfigurację adresu bazowego, bez zmiany logiki aplikacji. Ta elastyczność jest kluczowa dla agencji zarządzających wieloma potokami wniosków.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleendpoints.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Użycie SDK Node

Zainicjuj klienta Node.js z podstawowym adresem URL i kluczem API, aby rozpocząć strumieniowanie lub żądania synchroniczne. To ustawienie odzwierciedla standardowy interfejs klienta OpenAI, ułatwiając integrację z aplikacjami Express lub Fastify. Możesz obsłużyć błędy w sposób elegancki, sprawdzając kody statusu zwracane przez serwer, co zapewnia odporność aplikacji podczas dużego obciążenia.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleendpoints.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Odpowiedzi strumieniowe (SSE)

Włącz strumieniowanie, ustawiając stream ustaw na true, co zwraca dane w czasie rzeczywistym za pośrednictwem zdarzeń wysłanych przez serwer. Zmniejsza to postrzeganą latencję dla użytkowników końcowych, szczególnie podczas generowania długich odpowiedzi lub złożonych łańcuchów rozumowania. Każdy fragment zawiera częściową zawartość, pozwalając na stopniowe renderowanie tekstu w interfejsie. Ostatni fragment zawiera pełne statystyki użycia tokenów do dokładnego śledzenia rozliczeń.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Limity, Błędy i Kontekst

Twój klucz API obsługuje do 300 żądań na minutę i pozwala na 8 równoległych połączeń. Jeśli przekroczysz te limity, serwer zwróci kod statusu 429; niewystarczające środki spowodują błąd 402, a nieprawidłowy klucz – błąd 401. Model obsługuje okno kontekstowe o rozmiarze 100 000 tokenów, obejmujące prompt i uzupełnienie. Błędy i odrzucenia nie zużywają Twoich doładowanych środków, co zapewnia, że płacisz tylko za poprawne wnioskowania.