Tổng quan

Đặc điểm kỹ thuật

Tính năng nổi bật

API Endpoints

Base URL

Available Endpoints

Xác thực

Cách sử dụng

Thêm header sau vào mọi request:

Authorization: Bearer YOUR_API_TOKEN

Ví dụ sử dụng

1. Simple Chat (CURL)

curl -X POST https://pnt.badt.vn/gemma2/chat \
  -H "Authorization: Bearer YOUR_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "Triệu chứng của bệnh viêm phổi là gì?",
    "max_tokens": 200,
    "temperature": 0.7
  }'

Response

{
  "response": "Triệu chứng của bệnh viêm phổi thường bao gồm:\n\n1. Ho có đờm (có thể có máu)\n2. Sốt cao\n3. Khó thở, thở nhanh\n4. Đau ngực khi hít thở sâu\n5. Mệt mỏi\n...",
  "model": "hugging-quants/gemma-2-9b-it-AWQ-INT4",
  "elapsed_time": "2.45s",
  "usage": {
    "prompt_tokens": 15,
    "completion_tokens": 85,
    "total_tokens": 100
  }
}

2. Python với requests

import requests
import os

url = "https://pnt.badt.vn/gemma2/chat"
headers = {
    "Authorization": f"Bearer {os.getenv('GEMMA2_API_TOKEN')}",
    "Content-Type": "application/json"
}
data = {
    "prompt": "Xin chào! Bạn là trợ lý AI y tế.",
    "max_tokens": 150,
    "temperature": 0.7
}

response = requests.post(url, json=data, headers=headers)
result = response.json()

print(result["response"])
print(f"Time: {result['elapsed_time']}")

3. Text Correction (Medical Transcription)

curl -X POST https://pnt.badt.vn/gemma2/chat \
  -H "Authorization: Bearer YOUR_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "Chỉ viết lại câu đã sửa lỗi, không thêm gì khác:\n\nMột số yếu tố như là kháng trị với corticoid, lợi yếu tố nguy cơ, tuổi trên 55 tuổi lợi yếu tố nguy cơ",
    "max_tokens": 50,
    "temperature": 0.2
  }'

Response

{
  "response": "Một số yếu tố như kháng trị với corticoid, lợi yếu tố nguy cơ, tuổi trên 55 tuổi là yếu tố nguy cơ.\n",
  "model": "hugging-quants/gemma-2-9b-it-AWQ-INT4",
  "elapsed_time": "0.88s",
  "usage": {
    "prompt_tokens": 45,
    "completion_tokens": 32,
    "total_tokens": 77
  }
}

Best Practices cho Text Correction

• Temperature thấp (0.2-0.3): Giảm tính ngẫu nhiên, output ổn định hơn
• Max tokens ít (50-100): Tránh model sinh thêm text không cần thiết
• Prompt rõ ràng: "Chỉ viết lại", "không thêm gì khác", "không giải thích"

4. Health Check

curl https://pnt.badt.vn/gemma2/health \
  -H "Authorization: Bearer YOUR_API_TOKEN"

Response

{
  "status": "healthy",
  "service": "gemma2_service",
  "vllm_server": "healthy",
  "model": "hugging-quants/gemma-2-9b-it-AWQ-INT4",
  "timestamp": "2025-12-06T06:24:48.316887"
}

OpenAI Compatible API

Gemma2 service hỗ trợ OpenAI-compatible API, có thể sử dụng với OpenAI Python SDK:

Python với OpenAI SDK

from openai import OpenAI
import os

# Initialize client with Bearer token
client = OpenAI(
    api_key="not-needed",
    base_url="https://pnt.badt.vn/gemma2/v1",
    default_headers={
        "Authorization": f"Bearer {os.getenv('GEMMA2_API_TOKEN')}"
    }
)

# Chat completion
response = client.chat.completions.create(
    model="gemma-2-9b-it",
    messages=[
        {"role": "user", "content": "Triệu chứng của bệnh tiểu đường?"}
    ],
    temperature=0.7,
    max_tokens=300
)

print(response.choices[0].message.content)

JavaScript với OpenAI SDK

import OpenAI from 'openai';

const client = new OpenAI({
    apiKey: 'not-needed',
    baseURL: 'https://pnt.badt.vn/gemma2/v1',
    defaultHeaders: {
        'Authorization': `Bearer ${process.env.GEMMA2_API_TOKEN}`
    }
});

const response = await client.chat.completions.create({
    model: 'gemma-2-9b-it',
    messages: [
        { role: 'user', content: 'Xin chào!' }
    ],
    max_tokens: 100
});

console.log(response.choices[0].message.content);

Rate Limits

Error Codes

Tài liệu bổ sung