API Llama: первый запрос за пять минут

llamaapis.com

Установка

Начните с установки официального клиента OpenAI для Python. Он обрабатывает HTTP-запросы и парсинг JSON за вас.

• pip install openai

Вы также можете использовать SDK для JavaScript для Node.js. Обе библиотеки полностью совместимы с нашим API, так как мы точно следуем спецификации chat-completions OpenAI.

Настройка аутентификации

Наш API использует стандартную аутентификацию по API-ключу. После входа на https://llamaapis.com вы сразу получаете ключ. Для пробного уровня не требуется кредитная карта.

Сохраните этот ключ в переменной окружения или передайте его напрямую клиенту. Ключ аутентифицирует все запросы к эндпоинтам /v1. Если вы потеряете ключ, вы можете сгенерировать новый в панели управления, что немедленно аннулирует старый.

Базовый запрос на завершение чата

Отправьте запрос на эндпоинт завершения чата. Вы должны установить базовый URL на наш сервер и предоставить API-ключ.

Идентификатор модели — uncensored. Эта модель не применяет стандартные фильтры контента для законного использования взрослыми.

Вот как сделать простой запрос с помощью curl:

Copycurl https://api.llamaapis.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

В ответе возвращается сгенерированная строка текста. Если вам нужен вызов функций, структура идентична формату OpenAI.

Потоковые ответы (SSE)

Для вывода в реальном времени включите потоковую передачу, установив stream: true. Сервер отправляет события Server-Sent Events (SSE), содержащие частичные дельты.

Это полезно для интерфейсов чата, где вы хотите показывать текст по мере его генерации. Контекстное окно поддерживает до 100 000 токенов, поэтому потоковая передача эффективно работает даже для длинных разговоров.

Пример реализации потоковой передачи:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Помните обрабатывать событие stop, чтобы корректно закрыть соединение.

Поддержка вызова инструментов/функций

Наш API поддерживает структурированный вызов функций. Определите свои функции в параметре tools и установите для модели режим ответа с помощью вызовов функций.

Библиотека клиента автоматически проанализирует аргументы JSON. Это работает точно так же, как описано в спецификации OpenAI.

Пример с использованием SDK Python:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llamaapis.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Модель вернет имя функции и аргументы. Вы выполняете функцию и отправляете результат обратно в следующем сообщении.

Лимиты, ошибки и контекст

Обратите внимание на следующие ограничения:

• Лимит запросов: 300 запросов в минуту на один API-ключ.
• Максимальный размер тела запроса: 8 МБ.
• Контекстное окно: 100 000 токенов всего (ввод + вывод).

Распространенные ошибки:

• 401 Unauthorized: Неверный или отсутствующий API-ключ.
• 402 Payment Required: Недостаточно предоплаченного кредита.
• 429 Too Many Requests: Вы превысили лимит 300 rpm.

Мы не предоставляем эмбеддинги, генерацию изображений или обработку аудио. Это API только для текста.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llamaapis.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);