API Llama: Yêu cầu đầu tiên trong năm phút

llamaapis.com

Cài đặt

Bắt đầu bằng cách cài đặt client Python chính thức của OpenAI. Nó xử lý các yêu cầu HTTP và phân tích JSON cho bạn.

• pip install openai

Bạn cũng có thể sử dụng SDK JavaScript cho Node.js. Cả hai thư viện đều tương thích hoàn toàn với API của chúng tôi vì chúng tôi tuân thủ chính xác thông số chat-completions của OpenAI.

Thiết lập xác thực

API của chúng tôi sử dụng xác thực khóa API tiêu chuẩn. Sau khi đăng ký tại https://llamaapis.com, bạn sẽ nhận được khóa ngay lập tức. Không cần thẻ tín dụng cho gói dùng thử.

Lưu khóa này trong biến môi trường hoặc truyền trực tiếp vào client của bạn. Khóa xác thực tất cả các yêu cầu đến các endpoint /v1. Nếu bạn mất khóa, bạn có thể tạo lại từ bảng điều khiển, điều này vô hiệu hóa khóa cũ ngay lập tức.

Yêu cầu hoàn thành trò chuyện cơ bản

Thực hiện yêu cầu đến endpoint hoàn thành trò chuyện. Bạn phải đặt base URL thành máy chủ của chúng tôi và cung cấp khóa API của bạn.

ID của mô hình là uncensored. Mô hình này không áp dụng các bộ lọc nội dung tiêu chuẩn cho mục đích sử dụng người trưởng thành hợp pháp.

Dưới đây là cách bạn thực hiện một yêu cầu đơn giản bằng curl:

Copycurl https://api.llamaapis.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Phản hồi trả về một chuỗi văn bản được tạo. Nếu bạn cần gọi hàm, cấu trúc giống hệt với định dạng của OpenAI.

Phản hồi truyền phát (SSE)

Để xuất đầu ra thời gian thực, hãy bật truyền phát bằng cách đặt stream: true. Máy chủ gửi các sự kiện đã gửi máy chủ (SSE) chứa các phần delta.

Điều này hữu ích cho các giao diện trò chuyện nơi bạn muốn hiển thị văn bản khi nó được tạo. Cửa sổ ngữ cảnh hỗ trợ tối đa 100.000 token, vì vậy truyền phát hoạt động hiệu quả ngay cả với các cuộc trò chuyện dài.

Ví dụ triển khai truyền phát:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Hãy nhớ xử lý sự kiện stop để đóng kết nối một cách sạch sẽ.

Hỗ trợ gọi công cụ/hàm

API của chúng tôi hỗ trợ gọi công cụ có cấu trúc. Xác định các hàm của bạn trong tham số tools và đặt mô hình phản hồi bằng các lệnh gọi hàm.

Thư viện client sẽ tự động phân tích các đối số JSON. Điều này hoạt động chính xác như được ghi lại trong thông số OpenAI.

Ví dụ sử dụng SDK Python:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaapis.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Mô hình sẽ trả về tên hàm và các đối số. Bạn thực thi hàm và gửi kết quả lại trong tin nhắn tiếp theo.

Giới hạn, Lỗi và Ngữ cảnh

Hãy lưu ý các giới hạn sau:

• Giới hạn tốc độ: 300 yêu cầu mỗi phút mỗi khóa API.
• Kích thước tối đa của thân yêu cầu: 8 MB.
• Cửa sổ ngữ cảnh: 100.000 token tổng cộng (đầu vào + đầu ra).

Lỗi phổ biến:

• 401 Không được ủy quyền: Khóa API không hợp lệ hoặc bị thiếu.
• 402 Yêu cầu thanh toán: Tín dụng trả trước không đủ.
• 429 Quá nhiều yêu cầu: Bạn đã vượt quá giới hạn 300 yêu cầu mỗi phút.

Chúng tôi không cung cấp embedding, tạo hình ảnh hoặc xử lý âm thanh. Đây là API LLM chỉ dành cho văn bản.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaapis.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);