API Llama: คำขอแรกในห้านาที

llamaapis.com

การติดตั้ง

เริ่มต้นด้วยการติดตั้งไคลเอนต์ Python ของ OpenAI อย่างเป็นทางการ ไคลเอนต์นี้จะจัดการคำขอ HTTP และการแยกวิเคราะห์ JSON ให้คุณ

• pip install openai

คุณสามารถใช้ SDK JavaScript สำหรับ Node.js ได้เช่นกัน ไลบรารีทั้งสองเข้ากันได้กับ API ของเราอย่างสมบูรณ์เนื่องจากเราปฏิบัติตามข้อกำหนด chat-completions ของ OpenAI อย่างถูกต้อง

การตั้งค่าการตรวจสอบสิทธิ์

API ของเราใช้การตรวจสอบสิทธิ์ด้วยคีย์ API มาตรฐาน หลังจากสมัครสมาชิกที่ https://llamaapis.com คุณจะได้รับคีย์ทันที ไม่จำเป็นต้องใช้บัตรเครดิตสำหรับระดับทดลองใช้

เก็บคีย์นี้ในตัวแปรสภาพแวดล้อมหรือส่งตรงไปยังไคลเอนต์ของคุณ คีย์นี้จะตรวจสอบสิทธิ์คำขอทั้งหมดไปยังเอนด์พอยต์ /v1 หากคุณทำคีย์หาย คุณสามารถสร้างคีย์ใหม่จากแดชบอร์ดของคุณ ซึ่งจะทำให้คีย์เก่าหมดอายุทันที

คำขอการสนทนาพื้นฐาน

ส่งคำขอไปยังเอนด์พอยต์การสนทนา คุณต้องตั้งค่า base URL เป็นเซิร์ฟเวอร์ของเราและระบุคีย์ API

รหัสโมเดลคือ uncensored โมเดลนี้ไม่ใช้ตัวกรองเนื้อหามาตรฐานสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย

นี่คือวิธีส่งคำของ่ายๆ โดยใช้ curl:

Copycurl https://api.llamaapis.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

การตอบสนองจะส่งคืนสตริงข้อความที่สร้าง หากต้องการเรียกใช้ฟังก์ชัน โครงสร้างจะเหมือนกับรูปแบบของ OpenAI

การตอบสนองแบบสตรีมมิง (SSE)

สำหรับการเอาต์พุตแบบเรียลไทม์ ให้เปิดใช้งานสตรีมมิงโดยตั้งค่า stream: true เซิร์ฟเวอร์จะส่งเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ (SSE) ที่มีเดลตาบางส่วน

สิ่งนี้มีประโยชน์สำหรับอินเทอร์เฟซการสนทนาที่คุณต้องการแสดงข้อความเมื่อสร้างข้อความ หน้าต่างบริบทรองรับโทเคนได้สูงสุด 100,000 โทเคน ดังนั้นการสตรีมมิงจึงทำงานได้อย่างมีประสิทธิภาพแม้สำหรับการสนทนาที่ยาวนาน

ตัวอย่างการนำไปใช้การสตรีมมิง:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

โปรดจัดการเหตุการณ์ stop เพื่อปิดการเชื่อมต่ออย่างเรียบร้อย

การรองรับการเรียกใช้เครื่องมือ/ฟังก์ชัน

API ของเรารองรับการเรียกใช้เครื่องมือแบบมีโครงสร้าง กำหนดฟังก์ชันของคุณในพารามิเตอร์ tools และตั้งค่าโมเดลให้ตอบสนองด้วยการเรียกใช้ฟังก์ชัน

ไลบรารีไคลเอนต์จะแยกวิเคราะห์อาร์กิวเมนต์ JSON โดยอัตโนมัติ สิ่งนี้ทำงานเหมือนกับที่อธิบายไว้ในข้อกำหนดของ OpenAI

ตัวอย่างการใช้ SDK Python:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaapis.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

โมเดลจะส่งคืนชื่อฟังก์ชันและอาร์กิวเมนต์ คุณดำเนินการฟังก์ชันและส่งผลลัพธ์กลับในข้อความถัดไป

ขีดจำกัด ข้อผิดพลาด และบริบท

โปรดทราบขีดจำกัดต่อไปนี้:

• ขีดจำกัดอัตรา: 300 คำขอต่อนาทีต่อคีย์ API
• ขนาดสูงสุดของร่างกายคำขอ: 8 MB
• หน้าต่างบริบท: โทเคนรวม 100,000 โทเคน (อินพุต + เอาต์พุต)

ข้อผิดพลาดทั่วไป:

• 401 ไม่ได้รับอนุญาต: คีย์ API ไม่ถูกต้องหรือหายไป
• 402 ต้องการการชำระเงิน: เครดิตเติมเงินไม่เพียงพอ
• 429 คำขอมากเกินไป: คุณเกินขีดจำกัด 300 rpm

เราไม่เสนอการฝังตัว การสร้างภาพ หรือการประมวลผลเสียง นี่คือ API LLM สำหรับข้อความเท่านั้น

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaapis.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);