Hugging Face Transformers 완벽 가이드 2025: 개발자를 위한 상세 튜토리얼

pip install transformers
pip install torch  # PyTorch 백엔드

# CUDA 12.1 기준
pip install torch --index-url https://download.pytorch.org/whl/cu121

# GPU 사용 가능 여부 확인
python -c "import torch; print(torch.cuda.is_available())"

from transformers import pipeline

# 감성 분석
classifier = pipeline("sentiment-analysis")
result = classifier("이 제품 정말 만족스럽습니다!")
# [{'label': 'POSITIVE', 'score': 0.9998}]

# 개척명 인식 (NER)
ner = pipeline("ner", model="klue/bert-base", aggregation_strategy="simple")
ner("김철수는 서울에 살고 있다.")

# 질의응답
qa = pipeline("question-answering")
qa(question="누가 서울에 사나요?", context="김철수는 서울에 살고 있다.")

# 텍스트 생성
generator = pipeline("text-generation", model="gpt2")
generator("인공지능의 미래는", max_length=50)

# 요약
summarizer = pipeline("summarization", model="facebook/bart-large-cnn")
summarizer(long_text, max_length=130)

# 번역
translator = pipeline("translation_en_to_de", model="t5-base")
translator("Hello world")

from transformers import AutoModel, AutoTokenizer

# 자동 클래스로 모델 로딩
tokenizer = AutoTokenizer.from_pretrained("bert-base-multilingual-cased")
model = AutoModel.from_pretrained("bert-base-multilingual-cased")

# 로컬에 저장
tokenizer.save_pretrained("./my_tokenizer")
model.save_pretrained("./my_model")

# 로컬에서 로딩
tokenizer = AutoTokenizer.from_pretrained("./my_tokenizer")

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-multilingual-cased")

text = "Hugging Face Transformers는 강력합니다."
encoded = tokenizer(text)
print(encoded.input_ids)      # [101, ..., 102]
print(encoded.tokens())       # ['[CLS]', 'Hugging', 'Face', ...]
print(encoded.attention_mask) # [1, 1, 1, ...]

# 배치 처리
texts = ["첫 번째 문장", "두 번째 문장입니다"]
batch = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")

from transformers import (
    AutoModelForSequenceClassification,
    AutoTokenizer,
    TrainingArguments,
    Trainer
)

model = AutoModelForSequenceClassification.from_pretrained(
    "klue/roberta-base", num_labels=7
)
tokenizer = AutoTokenizer.from_pretrained("klue/roberta-base")

# 데이터셋 준비
train_dataset = ...  # Dataset 객체

training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=16,
    learning_rate=5e-5,
    evaluation_strategy="epoch",
    save_strategy="epoch",
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    tokenizer=tokenizer,
)

trainer.train()

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["query", "value"],
    lora_dropout=0.05,
    bias="none",
    task_type="SEQ_CLS"
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# trainable params: 296,964 || all params: 108,929,604

from transformers import BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_quant_type="nf4",
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b",
    quantization_config=quantization_config,
    device_map="auto",
)

from transformers import AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained("my-model")
torch.onnx.export(
    model,
    dummy_input,
    "model.onnx",
    input_names=["input_ids", "attention_mask"],
    output_names=["logits"],
    dynamic_axes={...}
)