API Llama: Permintaan pertama dalam lima menit

llamaapis.com

Instalasi

Mulailah dengan menginstal klien Python OpenAI resmi. Ini menangani permintaan HTTP dan parsing JSON untuk Anda.

• pip install openai

Anda juga dapat menggunakan SDK JavaScript untuk Node.js. Kedua pustaka ini sepenuhnya kompatibel dengan API kami karena kami mengikuti spesifikasi chat-completions OpenAI secara tepat.

Pengaturan Autentikasi

API kami menggunakan autentikasi kunci API standar. Setelah mendaftar di https://llamaapis.com, Anda menerima kunci secara instan. Tidak diperlukan kartu kredit untuk tier uji coba.

Simpan kunci ini dalam variabel lingkungan atau berikan langsung ke klien Anda. Kunci ini mengautentikasi semua permintaan ke endpoint /v1. Jika Anda kehilangan kunci, Anda dapat membuat ulang kunci tersebut dari dasbor Anda, yang akan membuat kunci lama tidak berlaku secara instan.

Permintaan Penyelesaian Chat Dasar

Buat permintaan ke endpoint penyelesaian chat. Anda harus mengatur URL dasar ke server kami dan menyediakan kunci API Anda.

ID model adalah uncensored. Model ini tidak menerapkan filter konten standar untuk penggunaan dewasa yang sah.

Berikut cara membuat permintaan sederhana menggunakan curl:

Copycurl https://api.llamaapis.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Respons mengembalikan string teks yang dihasilkan. Jika Anda memerlukan pemanggilan fungsi, strukturnya identik dengan format OpenAI.

Respons Streaming (SSE)

Untuk output waktu nyata, aktifkan streaming dengan mengatur stream: true. Server mengirim Event yang Dikirim Server (SSE) yang berisi delta parsial.

Ini berguna untuk antarmuka chat di mana Anda ingin menampilkan teks saat teks tersebut dihasilkan. Jendela konteks mendukung hingga 100.000 token, sehingga streaming bekerja secara efisien bahkan untuk percakapan panjang.

Contoh implementasi streaming:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ingatlah untuk menangani peristiwa stop untuk menutup koneksi dengan bersih.

Dukungan Pemanggilan Alat/Fungsi

API kami mendukung pemanggilan alat terstruktur. Tentukan fungsi Anda dalam parameter tools dan atur model untuk merespons dengan panggilan fungsi.

Pustaka klien akan mengurai argumen JSON secara otomatis. Ini bekerja persis seperti yang didokumentasikan dalam spesifikasi OpenAI.

Contoh menggunakan SDK Python:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaapis.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Model akan mengembalikan nama fungsi dan argumen. Anda menjalankan fungsi tersebut dan mengirimkan hasilnya kembali dalam pesan berikutnya.

Batas, Error, dan Konteks

Perhatikan batas berikut:

• Batas laju: 300 permintaan per menit per kunci API.
• Ukuran badan permintaan maksimum: 8 MB.
• Jendela konteks: 100.000 token total (input + output).

Error umum:

• 401 Tidak Sah: Kunci API tidak valid atau hilang.
• 402 Pembayaran Diperlukan: Saldo prabayar tidak mencukupi.
• 429 Terlalu Banyak Permintaan: Anda melebihi batas 300 rpm.

Kami tidak menawarkan embedding, pembuatan gambar, atau pemrosesan audio. Ini adalah API LLM hanya teks.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaapis.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);