OpenAI-Compatible 엔드포인트 문서

인증 및 Base URL

Google 계정 또는 이메일을 사용하여 대시보드에서 API 키를 생성하세요. 이 키를 모든 요청 헤더에 다음으로 추가하세요. Authorization: Bearer YOUR_API_KEY. 기본 URL은 https://api.openaicompatibleendpoints.com/v1, 기존 클라이언트 코드가 수정 없이 작동하도록 보장합니다. 계정당 하나의 활성 키를 받으며, 침해된 경우 즉시 재생성할 수 있습니다. 가입에 전화번호가 필요 없으므로 프로세스가 빠르고 비공개로 유지됩니다.

첫 번째 요청

텍스트 생성을 즉시 시작하려면 표준 채팅 완료 요청을 보내세요. 이는 워크플로우를 확장하기 전에 자격 증명과 토큰 잔액이 활성화되었음을 확인합니다. 엔드포인트는 OpenAI 형식과 동일한 표준 JSON 페이로드를 받아 최소한의 오버헤드로 연결성을 테스트할 수 있습니다.

Copycurl https://api.openaicompatibleendpoints.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return the current server time in UTC format"}]
  }'

Python SDK 통합

공식 OpenAI Python 패키지를 설치하고 기본 URL을 저희 주소로 설정하여 익숙한 패턴을 활용하세요. 이 방법은 OpenAI 호환 엔드포인트를 기대하는 LangChain이나 LlamaIndex 같은 도구와 원활하게 작동합니다. 기본 URL 설정만 업데이트하면 모델이나 제공자를 쉽게 전환할 수 있으므로 애플리케이션 로직을 변경할 필요가 없습니다. 여러 추론 파이프라인을 관리하는 에이전시에는 이러한 유연성이 매우 중요합니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleendpoints.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node SDK 사용법

스트리밍 또는 동기식 요청을 시작하기 위해 베이스 URL과 API 키를 사용하여 Node.js 클라이언트를 초기화합니다. 이 설정은 표준 OpenAI 클라이언트 인터페이스를 반영하므로 Express 또는 Fastify 애플리케이션에 쉽게 통합할 수 있습니다. 서버에서 반환하는 상태 코드를 확인하여 오류를 적절히 처리하면, 대용량 사용 중에도 애플리케이션의 안정성을 유지할 수 있습니다.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleendpoints.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

스트리밍 응답 (SSE)

스트리밍을 활성화하려면 stream true로 설정하세요. 서버 전송 이벤트를 통해 실시간으로 데이터를 반환합니다. 이는 긴 응답이나 복잡한 추론 체인을 생성할 때 최종 사용자의 지각된 지연 시간을 줄입니다. 각 청크에는 부분 콘텐츠가 포함되어 인터페이스에 텍스트를 점진적으로 렌더링할 수 있습니다. 마지막 청크에는 정확한 청구 추적을 위한 전체 토큰 사용량 통계가 포함됩니다.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

제한 사항, 오류 및 컨텍스트

API 키는 분당 최대 300개의 요청과 8개의 동시 연결을 지원합니다. 이러한 한계를 초과하면 서버는 429 상태 코드를 반환합니다. 자금이 부족하면 402 오류가 발생하고, 키가 유효하지 않으면 401 오류가 발생합니다. 모델은 프롬프트와 완료를 합산한 100,000개의 토큰 컨텍스트 창을 처리합니다. 오류와 거절은 선불 크레딧을 소모하지 않으므로 유효한 추론에만 비용을 지불합니다.