Документація точок доступу, сумісних з OpenAI

Аутентифікація та базовий URL

Почніть із генерації вашого API-ключа через панель керування за допомогою облікового запису Google або електронної пошти. Додайте цей ключ до кожного заголовка запиту як Authorization: Bearer YOUR_API_KEY. Базовий URL — https://api.openaicompatibleendpoints.com/v1, забезпечуючи, що ваш існуючий клієнтський код працює без змін. Ви отримуєте один активний ключ на акаунт, який можна миттєво перегенерувати у разі компрометації. Для реєстрації не потрібен номер телефону, що робить процес швидким та приватним.

Перший запит

Надішліть стандартний запит chat completion для початку миттєвої генерації тексту. Це підтверджує, що ваші облікові дані та баланс токенів активні перед масштабуванням вашого робочого процесу. Кінцевий пункт приймає стандартні JSON-пакети, ідентичні формату OpenAI, дозволяючи вам протестувати з’єднання з мінімальними накладними витратами.

Copycurl https://api.openaicompatibleendpoints.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current server time in UTC format"}]
  }'

Інтеграція SDK Python

Встановіть офіційний пакет OpenAI для Python і вкажіть нашу базову URL-адресу, щоб скористатися знайомими патернами. Цей підхід бездоганно працює з інструментами на кшталт LangChain чи LlamaIndex, які очікують OpenAI-сумісні кінцеві точки. Ви можете змінювати моделі чи постачальників, просто оновивши конфігурацію базової URL-адреси, не змінюючи логіку програми. Ця гнучкість є критично важливою для агентств, які керують кількома конвеєрами інференсу.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleendpoints.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Використання Node SDK

Ініціалізуйте клієнт Node.js з вашим базовим URL та API-ключем, щоб розпочати потокове або синхронне відправлення запитів. Ця конфігурація імітує стандартний інтерфейс клієнта OpenAI, що полегшує інтеграцію в додатки на Express або Fastify. Ви можете коректно обробляти помилки, перевіряючи коди стану, повернені сервером, що забезпечує надійність вашого додатка під час високого навантаження.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleendpoints.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потокові відповіді (SSE)

Увімкніть потокову передачу, встановивши stream параметр на true, що повертає дані в реальному часі через Server-Sent Events. Це зменшує сприйнятну затримку для кінцевих користувачів, особливо при генерації довгих відповідей або складних ланцюжків міркувань. Кожен чанк містить частковий вміст, дозволяючи поступово відображати текст у вашому інтерфейсі. Останній чанк містить повну статистику використання токенів для точного відстеження витрат.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ліміти, помилки та контекст

Ваш API-ключ підтримує до 300 запитів на хвилину та дозволяє 8 одночасних з'єднань. Якщо ви перевищите ці ліміти, сервер повертає статус 429; недостатність коштів викликає помилку 402, а недійсний ключ — 401. Модель підтримує контекстне вікно 100,000 токенів, що включає промпт і завершення. Помилки та відмови не споживають ваші попередньо оплачені кредити, гарантуючи, що ви платите лише за валідний інференс.