LlamaFile — 단일 휴대용 바이너리로 로컬 LLM 실행

# 전통적 LLM 설정 (복잡)
pip install torch transformers accelerate bitsandbytes
git clone https://github.com/meta-llama/llama
python -m llama.generate --model meta-llama/Llama-3.2-8B
# 필요: 30GB 디스크, 16GB RAM, NVIDIA GPU, CUDA 12.x

# LlamaFile 설정 (간단)
wget https://huggingface.co/jartine/llamafile/resolve/main/llama-3.2-8b-instruct.Q4_K_M.llamafile
chmod +x llama-3.2-8b-instruct.Q4_K_M.llamafile
./llama-3.2-8b-instruct.Q4_K_M.llamafile --server
# 완료. CPU, macOS, Linux, Windows에서 작동.

# 방법 1: HuggingFace에서 다운로드
wget https://huggingface.co/jartine/llamafile/resolve/main/llama-3.2-8b-instruct.Q4_K_M.llamafile
chmod +x llama-3.2-8b-instruct.Q4_K_M.llamafile

# 방법 2: curl 사용
curl -L -o llamafile https://huggingface.co/jartine/llamafile/resolve/main/llama-3.2-8b-instruct.Q4_K_M.llamafile
chmod +x llamafile

# 방법 3: 소스에서 빌드
git clone https://github.com/Mozilla-Ocho/llamafile.git
cd llamafile
make

# 내장 서버 시작
./llama-3.2-8b-instruct.Q4_K_M.llamafile --server -c 4096 --host 0.0.0.0 --port 8080

# 대화형 CLI 모드
./llama-3.2-8b-instruct.Q4_K_M.llamafile -ngl 99 --interactive

# 백그라운드 서버 (Linux)
nohup ./llama-3.2-8b-instruct.Q4_K_M.llamafile --server > llama.log 2>&1 &

# API 테스트
curl http://localhost:8080/v1/models

# 채팅 완료
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.2-8b",
    "messages": [{"role": "user", "content": "양자 컴퓨팅을 설명해주세요"}],
    "temperature": 0.7
  }'

# 모델 선택을 위한 의사결정 매트릭스
def choose_model(ram_gb, gpu_available, use_case):
    if ram_gb >= 64:
        return "llama-3.2-70b-Q4_K_M"  # 전체 70B 모델
    elif ram_gb >= 32:
        return "llama-3.2-8b-Q8_0"      # 고품질 8B
    elif ram_gb >= 16:
        return "llama-3.2-8b-Q4_K_M"    # 균형 잡힌 선택
    elif ram_gb >= 8:
        return "phi-3-mini-Q4_K_M"      # 경량 옵션
    else:
        return "gemma-2b-Q4_K_M"        # 최소 실행 가능

./all-MiniLM-L6-v2.Q4_K_M.llamafile --embedding --server -c 2048

# 임베딩 생성
curl http://localhost:8080/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{"input": "여기에 텍스트", "model": "all-MiniLM-L6-v2"}'

# 간단한 RAG 워크플로우
import subprocess
import requests

# 단계 1: 문서 임베딩
def embed(text):
    resp = requests.post("http://localhost:8080/v1/embeddings", json={
        "input": text,
        "model": "all-MiniLM-L6-v2"
    })
    return resp.json()["data"][0]["embedding"]

# 단계 2: 컨텍스트로 쿼리
def rag_query(query, retrieved_docs):
    context = "\n".join(retrieved_docs)
    prompt = f"다음에 기반하여 답변:\n{context}\n\n질문: {query}"
    
    resp = requests.post("http://localhost:8080/v1/chat/completions", json={
        "model": "llama-3.2-8b",
        "messages": [{"role": "user", "content": prompt}],
        "temperature": 0.3
    })
    return resp.json()["choices"][0]["message"]["content"]

# 터미널 1: 채팅 모델
./llama-3.2-8b-instruct.Q4_K_M.llamafile --server -p 8080

# 터미널 2: 임베딩 모델
./all-MiniLM-L6-v2.Q4_K_M.llamafile --embedding --server -p 8081

# 터미널 3: 코딩 모델
./deepseek-coder-6.7b.Q4_K_M.llamafile --server -p 8082

FROM ubuntu:22.04
RUN apt-get update && apt-get install -y curl
COPY llama-3.2-8b-instruct.Q4_K_M.llamafile /app/llamafile
RUN chmod +x /app/llamafile
EXPOSE 8080
CMD ["/app/llamafile", "--server", "-c", "4096"]

# 먼저 Ollama 설치
curl -fsSL https://ollama.com/install.sh | sh

# Ollama를 통해 모델 풀
ollama pull llama3.2:8b

# Ollama는 GGUF 파일 다운로드 — LlamaFile은 본질적으로 휴대용 GGUF 러너

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="llama-3.2-8b",
    messages=[{"role": "user", "content": "Python 함수 작성"}],
    temperature=0.7
)
print(response.choices[0].message.content)

# 수정: 파일을 실행 가능하게 만들기
chmod +x your-model.llamafile

# 수정: 컨텍스트 길이 축소
./your-model.llamafile --server -c 2048  # 기본 4096 대신

# 또는 RAM을 사용하는 다른 응용 프로그램 닫기

# 수정: CPU 최적화 활성화
./your-model.llamafile --server -t 8  # 8 스레드 사용
./your-model.llamafile --server --mlock  # 모델을 RAM에 잠금

# 수정: 서버가 실행 중인지 확인
ps aux | grep llamafile

# 수정: 올바른 포트 보장
./your-model.llamafile --server --port 8080

# 실행 전 SHA256 해시 확인
sha256sum llama-3.2-8b.Q4_K_M.llamafile
# HuggingFace의 공식 해시와 비교

# 샌드박스 환경에서 실행
bubblewrap --ro-bind / / --bind . /app --run /app/llamafile --server

# ❌ 위험: 모든 인터페이스에 노출
./model.llamafile --server --host 0.0.0.0

# ✅ 안전: 방화벽 규칙 또는 프록시 사용
./model.llamafile --server --host 127.0.0.1
nginx -c /path/to/proxy.conf