Tài liệu về các điểm cuối Tương thích OpenAI

Xác thực và Base URL

Bắt đầu bằng cách tạo khóa API của bạn qua bảng điều khiển bằng tài khoản Google hoặc email của bạn. Nối khóa này vào tiêu đề yêu cầu dưới dạng Authorization: Bearer YOUR_API_KEY. URL cơ sở là https://api.openaicompatibleendpoints.com/v1, đảm bảo mã máy khách hiện tại của bạn hoạt động mà không cần sửa đổi. Bạn nhận được một khóa hoạt động mỗi tài khoản, mà bạn có thể tạo lại ngay lập tức nếu bị xâm phạm. Không yêu cầu số điện thoại để đăng ký, giữ cho quy trình nhanh chóng và riêng tư.

Yêu cầu đầu tiên

Gửi một yêu cầu hoàn tất hội thoại tiêu chuẩn để bắt đầu tạo văn bản ngay lập tức. Điều này xác nhận thông tin xác thực và số dư token của bạn đang hoạt động trước khi mở rộng quy mô quy trình làm việc của bạn. Endpoint chấp nhận các tải trọng JSON tiêu chuẩn giống với định dạng OpenAI, cho phép bạn kiểm tra kết nối với chi phí tối thiểu.

Copycurl https://api.openaicompatibleendpoints.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current server time in UTC format"}]
  }'

Tích hợp SDK Python

Cài đặt gói Python chính thức của OpenAI và trỏ nó đến URL cơ sở của chúng tôi để tận dụng các mẫu quen thuộc. Cách tiếp cận này hoạt động liền mạch với các công cụ như LangChain hoặc LlamaIndex, những công cụ mong đợi các điểm cuối tương thích OpenAI. Bạn có thể chuyển đổi mô hình hoặc nhà cung cấp chỉ bằng cách cập nhật cấu hình URL cơ sở mà không cần thay đổi logic ứng dụng. Tính linh hoạt này rất quan trọng đối với các agency quản lý nhiều đường ống suy luận.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleendpoints.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Sử dụng SDK Node

Khởi tạo client Node.js với URL cơ sở và khóa API của bạn để bắt đầu các yêu cầu luồng hoặc đồng bộ. Cấu hình này mô phỏng giao diện client OpenAI tiêu chuẩn, giúp tích hợp dễ dàng vào các ứng dụng Express hoặc Fastify. Bạn có thể xử lý lỗi một cách tinh tế bằng cách kiểm tra các mã trạng thái do máy chủ trả về, đảm bảo ứng dụng của bạn vẫn ổn định trong các trường hợp sử dụng khối lượng lớn.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleendpoints.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phản hồi luồng (SSE)

Bật chế độ streaming bằng cách đặt stream tham số thành true, trả về dữ liệu theo thời gian thực thông qua Sự kiện gửi bởi máy chủ. Điều này giảm độ trễ cảm nhận cho người dùng cuối, đặc biệt khi tạo các phản hồi dài hoặc chuỗi suy luận phức tạp. Mỗi chunk chứa nội dung một phần, cho phép bạn hiển thị văn bản dần dần trong giao diện của bạn. Chunk cuối cùng bao gồm thống kê sử dụng token đầy đủ để theo dõi tính phí chính xác.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Giới hạn, Lỗi và Ngữ cảnh

Khóa API của bạn hỗ trợ tối đa 300 yêu cầu mỗi phút và cho phép 8 kết nối đồng thời. Nếu vượt quá các giới hạn này, máy chủ sẽ trả về mã trạng thái 429; thiếu tiền sẽ kích hoạt lỗi 402, trong khi khóa không hợp lệ sẽ trả về lỗi 401. Mô hình xử lý cửa sổ ngữ cảnh 100.000 token, bao gồm cả prompt và kết quả. Lỗi và từ chối không tiêu thụ số dư trả trước của bạn, đảm bảo bạn chỉ trả tiền cho các suy luận hợp lệ.