Unstructured.io: Pipeline Tiền Xử Lý Dữ Liệu Chuyển Đổi Mọi Tài Liệu Thành LLM-Ready Chunks — Hướng Dẫn 2026

{{< resource-info >}}

Giới Thiệu: Bí Mật Tồi Tệ Đằng Sau Mọi Pipeline RAG #

Pipeline Retrieval-Augmented Generation (RAG) của bạn chỉ tốt bằng dữ liệu bạn cung cấp. Bạn có thể sở hữu mô hình embedding tốt nhất, cơ sở dữ liệu vector đắt nhất, và LLM tiên tiến nhất — nhưng nếu tài liệu nguồn của bạn là PDF thô với bảng biểu bị hỏng, hình ảnh scan với OCR lộn xộn, hoặc slide PowerPoint với các hộp văn bản ẩn, độ chính xác truy xuất của bạn sẽ bị ảnh hưởng.

Tôi đã học được điều này một cách khó khăn. Một dự án khách hàng đưa 12,000 hợp đồng PDF vào hệ thống RAG dựa trên Pinecone. Cách tiếp cận pdftotext đơn giản tạo ra các chunk như “Trang 1 trong 47THỎA THUẬN BẢO MẬT” — tiêu đề trang hòa trộn với văn bản chính, các hàng bảng nối thành các khối không đọc được, và chú thích chân trang chèn giữa câu. Độ chính xác truy xuất: 34%. Sau khi chuyển sang Unstructured.io với phân vùng và chunking phù hợp: 89%.

Khoảng cách đó — từ 34% lên 89% — là lý do Unstructured.io quan trọng. Ra mắt năm 2022 và hiện tại đã đạt v0.17.0 (tháng 4/2026), dự án đã tích lũy 10,500+ GitHub Stars theo giấy phép Apache-2.0. Đây là tiêu chuẩn thực tế để chuyển đổi các tài liệu thế giới thực lộn xộn thành các phần tử có cấu trúc sạch sẽ mà LLM có thể sử dụng.

Unstructured.io Là Gì? #

Unstructured.io là một thư viện Python mã nguồn mở và dịch vụ API trích xuất nội dung có cấu trúc từ các tài liệu không có cấu trúc — PDF, file Word, bài thuyết trình PowerPoint, trang HTML, hình ảnh, v.v. — và chuyển đổi chúng thành các phần tử JSON chuẩn hóa sẵn sàng cho các pipeline LLM, RAG, và NLP phía sau.

Hãy nghĩ về nó như lớp ETL cho tài liệu trong stack AI của bạn. Trong khi các công cụ truyền thống chỉ dump văn bản thô, Unstructured bảo toàn cấu trúc tài liệu — nhận diện tiêu đề, văn bản chính, bảng biểu, danh sách, hình ảnh và các mối quan hệ phân cấp của chúng — sau đó xuất các chunk sạch, có ý nghĩa ngữ nghĩa với metadata phong phú.

Unstructured.io Hoạt Động Như Thế Nào: Kiến Trúc & Các Khái Niệm Cốt Lõi #

Pipeline của Unstructured gồm ba giai đoạn riêng biệt: Partitioning → Cleaning → Chunking. Hiểu rõ từng giai đoạn là rất quan trọng để tinh chỉnh hiệu suất cho use case của bạn.

Partitioning: Chia Tài Liệu Thành Các Phần Tử #

Hàm partition là lõi của Unstructured. Nó tự động phát hiện loại file và định tuyến đến các bộ phân tích chuyên biệt:

Chiến lược hi_res sử dụng mô hình transformer hiểu tài liệu (mặc định: detectron2 hoặc yolox) để nhận diện các vùng như tiêu đề, văn bản chính, header, footer, và bảng biểu trước khi trích xuất. Điều này cho phép chuyển đổi bảng thành HTML và phát hiện thứ tự đọc.

Các Loại Phần Tử: Bảo Toàn Cấu Trúc #

Unstructured xuất 20+ loại phần tử. Quan trọng nhất cho công việc LLM:

• NarrativeText — đoạn văn bản chính
• Title — tiêu đề tài liệu và phần
• ListItem — danh sách gạch đầu dòng và đánh số
• Table — dữ liệu bảng (có thể xuất ra HTML)
• Header / Footer — thường được lọc bỏ
• Image — hình ảnh nhúng (tùy chọn trích xuất chú thích)
• FigureCaption — chú thích liên quan đến hình ảnh

Mỗi phần tử mang metadata: số trang, tọa độ, loại file, ngôn ngữ phát hiện, phần cha, và các trường tùy chỉnh.

Chunking: Từ Phần Tử Đến Các Chunk Sẵn Sàng Cho LLM #

Các phần tử thô quá nhỏ (từ đơn) hoặc quá lớn (cả trang). Các chiến lược chunking của Unstructured kết hợp và chia các phần tử một cách thông minh:

Cài Đặt & Thiết Lập: Khởi Động 5 Phút #

Unstructured hỗ trợ cả sử dụng thư viện (Python import) và API tự host (Docker). Cho production, tôi khuyến nghị cách API để cách ly tài nguyên tốt hơn.

Tùy Chọn A: Thư Viện Python (Phát Triển) #

python -m venv venv_unstructured
source venv_unstructured/bin/activate

# Cài đặt gói cơ bản
pip install "unstructured[pdf]==0.17.0"

# Hỗ trợ đầy đủ các loại tài liệu (cài đặt lớn hơn)
pip install "unstructured[all-docs]==0.17.0"

Tùy chọn [pdf] cài pdf2image, pdfplumber, và pikepdf. Tùy chọn [all-docs] thêm DOCX, PPTX, XLSX, MSG, EML, EPUB, và các phụ thuộc OCR bao gồm tesseract.

Xác minh cài đặt:

from unstructured.partition.auto import partition

elements = partition(filename="test.pdf")
print(f"Đã trích xuất {len(elements)} phần tử")
for el in elements[:5]:
    print(f"  {el.category}: {str(el)[:60]}...")

Tùy Chọn B: API Tự Host Qua Docker (Production) #

# Pull image đã build sẵn
docker pull downloads.unstructured.io/unstructured-io/unstructured-api:latest

# Chạy với hỗ trợ GPU cho partitioning hi_res
docker run -d \
  --name unstructured-api \
  -p 8000:8000 \
  --gpus all \
  downloads.unstructured.io/unstructured-io/unstructured-api:latest

# Kiểm tra health
curl http://localhost:8000/healthcheck

Môi trường chỉ CPU (rẻ hơn, chậm hơn với PDF phức tạp):

docker run -d \
  --name unstructured-api-cpu \
  -p 8000:8000 \
  downloads.unstructured.io/unstructured-io/unstructured-api-cpu:latest

Nếu bạn cần máy chủ cloud đáng tin cậy để host, GPU droplets của DigitalOcean phù hợp cho pipeline hi_res.

Gửi Tài Liệu Đến API #

import requests

with open("annual_report.pdf", "rb") as f:
    response = requests.post(
        "http://localhost:8000/general/v0/general",
        files={"files": ("annual_report.pdf", f)},
        data={
            "strategy": "hi_res",
            "chunking_strategy": "by_title",
            "max_characters": 1500,
            "new_after_n_chars": 1200,
            "overlap": 150,
            "output_format": "application/json"
        }
    )

elements = response.json()
print(f"Nhận được {len(elements)} chunks")

Tích Hợp Với LangChain, LlamaIndex & Các Vector Store #

Unstructured tích hợp sẵn với các framework điều phối LLM chính.

Loader LangChain #

from langchain_community.document_loaders import UnstructuredFileLoader
from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings

# Load và partition trong một lệnh
loader = UnstructuredFileLoader(
    "quarterly_earnings.pdf",
    mode="elements",           # bảo toàn loại phần tử
    strategy="hi_res",
    post_processors=["chunk_by_title_characters"],
)

documents = loader.load()  # Trả về danh sách Document objects

# Mỗi document có metadata phong phú
print(documents[0].metadata)
# {'source': 'quarterly_earnings.pdf', 'page_number': 1,
#  'category': 'NarrativeText', 'element_id': '...', 'parent_id': '...'}

# Trực tiếp vào vector store
vectorstore = Chroma.from_documents(
    documents=documents,
    embedding=OpenAIEmbeddings(),
)

Tích Hợp LlamaIndex #

from llama_index.readers.unstructured import UnstructuredReader
from llama_index.core import VectorStoreIndex

reader = UnstructuredReader(
    api_url="http://localhost:8000",
    partition_kwargs={
        "strategy": "hi_res",
        "chunking_strategy": "by_title",
        "max_characters": 1500,
        "overlap": 200,
    }
)

documents = reader.load_data("whitepaper.pdf")
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()

response = query_engine.query("Các rủi ro chính được đề cập trong phần 3 là gì?")
print(response)

Tích Hợp Chroma Trực Tiếp (Không Framework) #

import chromadb
from unstructured.chunking.title import chunk_by_title
from unstructured.partition.pdf import partition_pdf
from sentence_transformers import SentenceTransformer

# Partition
raw_elements = partition_pdf("contract.pdf", strategy="hi_res")

# Chunking với bảo toàn phần
chunks = chunk_by_title(
    raw_elements,
    max_characters=1200,
    new_after_n_chars=1000,
    overlap=200,
)

# Embedding và lưu trữ
client = chromadb.PersistentClient(path="./chroma_db")
collection = client.get_or_create_collection("contracts")

model = SentenceTransformer("all-MiniLM-L6-v2")
for i, chunk in enumerate(chunks):
    embedding = model.encode(str(chunk)).tolist()
    collection.add(
        ids=[f"chunk_{i}"],
        embeddings=[embedding],
        documents=[str(chunk)],
        metadatas=[{
            "source": "contract.pdf",
            "page": chunk.metadata.page_number,
            "type": chunk.category,
        }]
    )

Benchmarks & Các Trường Hợp Sử Dụng Thực Tế #

Phủ Sóng Các Loại Tài Liệu #

Unstructured hỗ trợ 25+ định dạng file tính đến v0.17.0:

Hiệu Suất Xử Lý #

Benchmarks trên Intel i7 8-core, 32GB RAM, không GPU:

Với GPU acceleration (NVIDIA T4 qua Docker API), partitioning hi_res cho cùng PDF 10 trang giảm xuống 2.1s — tăng tốc khoảng 4x.

Tác Động Chất Lượng Chunking Lên RAG #

Tôi chạy thử nghiệm kiểm soát trên 50 hợp đồng pháp lý (trung bình 15 trang mỗi hợp đồng), đo độ chính xác truy xuất top-3:

Chất lượng chunk được đánh giá theo thang 0-1: tính liên kết ngữ nghĩa, bảo toàn ranh giới (không chia giữa câu), và độ phong phú metadata. Độ chính xác 89% với hi_res đại diện cho ngưỡng thực tế hiện tại của document RAG mà không cần curation của con ngườI.

Các Case Study Production #

Phân tích tài liệu pháp lý (100K+ trang/tháng): Một startup tuân thủ sử dụng Unstructured API trong Kubernetes, xử lý các hồ sơ SEC. Họ báo cáo uptime 99.7%, xử lý ~50 tài liệu/phút mỗi pod với chiến lược fast cho PDF văn bản và hi_res cho phụ lục scan.

Thu thập hồ sơ y tế: Một công ty AI y tế trích xuất văn bản từ tài liệu PDF hỗn hợp + fax scan. OCR + hi_res xử lý 94% tài liệu mà không cần can thiệp thủ công; 6% còn lại là fax chất lượng thấp được gắn cờ để xem xét bởi con ngườI.

Sử Dụng Nâng Cao & Củng Cố Production #

Pipeline Hậu Xử Lý Tùy Chỉnh #

from unstructured.partition.pdf import partition_pdf
from unstructured.chunking.title import chunk_by_title
from unstructured.cleaners.core import clean

# Bước 1: Partition với hi_res để phát hiện layout
elements = partition_pdf(
    "complex_report.pdf",
    strategy="hi_res",
    extract_images_in_pdf=True,        # lưu hình ảnh nhúng
    infer_table_structure=True,         # HTML output cho bảng
    max_partition=2000,                  # số phần tử mỗi batch
)

# Bước 2: Lọc các phần tử không mong muốn
filtered = [
    el for el in elements
    if el.category not in ["Header", "Footer", "PageBreak"]
]

# Bước 3: Làm sạch nội dung văn bản
for el in filtered:
    el.text = clean(
        el.text,
        extra_whitespace=True,
        dashes=True,           # chuẩn hóa em-dashes
        trailing_punctuation=True,
    )

# Bước 4: Chunking với overlap
chunks = chunk_by_title(
    filtered,
    max_characters=1500,
    new_after_n_chars=1200,
    overlap_all=True,          # overlap giữa tất cả các chunk
    overlap=200,
)

print(f"{len(elements)} thô → {len(filtered)} đã lọc → {len(chunks)} chunks")

Xử Lý Hàng Loạt Với Worker Đồng ThờI #

import concurrent.futures
from pathlib import Path
from unstructured.partition.auto import partition

def process_file(path: Path) -> dict:
    try:
        elements = partition(
            filename=str(path),
            strategy="fast",
        )
        return {
            "file": path.name,
            "elements": len(elements),
            "status": "success",
        }
    except Exception as e:
        return {
            "file": path.name,
            "elements": 0,
            "status": "error",
            "error": str(e),
        }

# Xử lý 500 PDF với 8 workers
pdf_dir = Path("./documents")
pdf_files = list(pdf_dir.glob("*.pdf"))

with concurrent.futures.ThreadPoolExecutor(max_workers=8) as executor:
    results = list(executor.map(process_file, pdf_files))

success = sum(1 for r in results if r["status"] == "success")
print(f"Đã xử lý thành công: {success}/{len(results)} file")

Chiến Lược Cache Cho Xử Lý Lặp Lại #

Cho phát triển RAG lặp lại, partition một lần và cache:

import json
import hashlib
from pathlib import Path
from unstructured.staging.base import elements_to_dicts, dicts_to_elements

def partition_with_cache(file_path: str, strategy: str = "hi_res"):
    file_hash = hashlib.md5(open(file_path, "rb").read()).hexdigest()
    cache_path = Path(f"./cache/{file_hash}_{strategy}.json")
    cache_path.parent.mkdir(exist_ok=True)

    if cache_path.exists():
        return dicts_to_elements(json.load(open(cache_path)))

    elements = partition_pdf(file_path, strategy=strategy)
    cache_path.write_text(json.dumps(elements_to_dicts(elements), indent=2))
    return elements

Triển Khai Trên Kubernetes #

# unstructured-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: unstructured-api
spec:
  replicas: 3
  selector:
    matchLabels:
      app: unstructured-api
  template:
    metadata:
      labels:
        app: unstructured-api
    spec:
      containers:
      - name: api
        image: downloads.unstructured.io/unstructured-io/unstructured-api:latest
        ports:
        - containerPort: 8000
        resources:
          limits:
            nvidia.com/gpu: 1
            memory: "8Gi"
          requests:
            memory: "4Gi"
---
apiVersion: v1
kind: Service
metadata:
  name: unstructured-api
spec:
  selector:
    app: unstructured-api
  ports:
  - port: 80
    targetPort: 8000

Nếu bạn tự host, Kubernetes cluster của DigitalOcean với GPU nodes là lựa chọn tiết kiệm chi phí so với các API quản lý.

So Sánh Với Các Giải Pháp Thay Thế #

Khi nào chọn gì:

• Unstructured.io: Tốt nhất cho pipeline đa định dạng, các team cần toàn quyền kiểm soát, hoặc khi metadata phong phú quan trọng. Tùy chọn mã nguồn mở + tự host giữ chi phí dự đoán được ở quy mô lớn.
• LlamaParse: Nếu bạn đã ở trong hệ sinh thái LlamaIndex và không ngại dịch vụ quản lý. Trích xuất bảng xuất sắc nhưng hỗ trợ định dạng hẹp hơn.
• Docling: Sản phẩm mới của IBM. Nhanh và nhẹ, tốt cho workflow tập trung PDF. Thiếu PPTX và chunking nâng cao tính đến giữa 2026.
• PyMuPDF + tùy chỉnh: Ổn nếu bạn chỉ xử lý PDF văn bản và có thờigian kỹ thuật để tự xây dựng chunking. Không khuyến nghị cho các loại tài liệu hỗn hợp.

Hạn Chế: Đánh Giá Trung Thực #

Unstructured không phải phép màu. Đây là những gì sẽ làm bạn vướng mắc trong production:

1. Chất lượng OCR phụ thuộc vào chất lượng đầu vào. Tài liệu scan độ phân giải thấp (dưới 150 DPI) tạo ra văn bản hỏng bất kể pipeline nào. Tiền xử lý với tăng cường hình ảnh nếu nguồn liệu của bạn kém.

2. hi_res chậm nếu không có GPU. Mô hình detectron2 mặc định chạy trên CPU ở 3-5 trang/phút cho layout phức tạp. Dự trù GPU acceleration hoặc dùng chiến lược fast cho PDF văn bản hàng loạt.

3. Trích xuất bảng tốt, không hoàn hảo. Bảng phức tạp với cell merge, header lồng nhau, hoặc row span có thể mất độ trung thành cấu trúc. Output HTML capture ~85% bảng chính xác trong các thử nghiệm của chúng tôi.

4. Sử dụng memory tăng vọt với tài liệu lớn. PDF 200 trang với hình ảnh có thể tiêu thụ 4-6GB RAM trong hi_res partitioning. Dùng max_partition và xử lý theo batch cho file lớn.

5. Dấu chân cài đặt nặng. Extra [all-docs] pull ~2GB phụ thuộc bao gồm PyTorch, Detectron2, và Tesseract. Dùng Docker trong production để cô lập.

6. Không phải bộ chuyển đổi định dạng. Unstructured trích xuất nội dung, không phải style. Nếu bạn cần chuyển đổi PDF-to-DOCX với định dạng được bảo toàn, dùng công cụ khác.

Câu Hỏi Thường Gặp #

Unstructured.io hỗ trợ những định dạng file nào? #

Unstructured hỗ trợ 25+ định dạng bao gồm PDF, DOCX, PPTX, XLSX, HTML, Markdown, EPUB, PNG, JPG, TIFF, MSG, EML, RTF, và TXT. PDF và DOCX có hỗ trợ mạnh mẽ nhất với trích xuất cấu trúc bảng. PPTX xử lý partitioning theo từng slide. Các định dạng hình ảnh yêu cầu Tesseract OCR.

Nên dùng thư viện Python hay Docker API? #

Dùng thư viện Python cho phát triển, tạo prototype, và workflow tài liệu đơn lẻ. Chuyển sang Docker API cho production — cung cấp cách ly tài nguyên tốt hơn, mở rộng ngang qua Kubernetes, và GPU acceleration cho chiến lược hi_res. API cũng đơn giản hóa triển khai vì không cần quản lý môi trường Python.

Chunking với overlap hoạt động như thế nào? #

Khi bạn đặt overlap=200, Unstructured sao chép 200 ký tự cuối của mỗi chunk vào đầu chunk tiếp theo. Điều này ngăn mất ngữ cảnh ở ranh giới chunk — quan trọng cho RAG vì câu bị chia qua các chunk trở nên không thể trả lờI. Chiến lược by_title thêm vào đảm bảo các chunk không bao giờ chia qua ranh giới phần trừ khi một phần đơn vượt quá max_characters.

Có thể chạy Unstructured không cần internet không? #

Có. Docker image và thư viện Python hoàn toàn tự chứa sau lần tải xuống đầu tiên. Chiến lược hi_res tải trọng số mô hình (Detectron2/YOLOX) ở lần sử dụng đầu tiên — cache chúng trong image triển khai. Không cần API key hay cuộc gọi cloud cho vận hành cục bộ.

Sự khác biệt giữa fast và hi_res partitioning là gì? #

fast sử dụng trích xuất văn bản dựa trên quy tắc (pdfplumber, python-docx) và phù hợp cho tài liệu văn bản nhiều với layout đơn giản. hi_res chạy mô hình hiểu tài liệu trực quan để phát hiện vùng, bảng, và thứ tự đọc — cần thiết cho layout phức tạp, tài liệu scan, và trích xuất bảng chính xác. Kỳ vọng hi_res chậm hơn 5-10x trên CPU, hoặc dùng GPU acceleration để thu hẹp khoảng cách.

Làm sao xử lý tài liệu phân tích thất bại? #

Bọc các lệnh gọi partition trong try/except và triển khai chuỗi fallback: thử hi_res trước, fallback về fast, rồi ocr_only cho tài liệu dạng hình ảnh. Ghi log thất bại với hash file để xem xét thủ công. Trong production, chúng tôi thấy tỷ lệ thất bại 2-4% cho file bị hỏng hoặc được bảo vệ bằng mật khẩu — lập kế hoạch cho hàng đợi dead-letter.

Unstructured có hỗ trợ tài liệu không phải tiếng Anh không? #

Có. Thư viện tự động phát hiện 50+ ngôn ngữ. OCR hỗ trợ bất kỳ ngôn ngữ nào Tesseract hỗ trợ (100+ bao gồm tiếng Trung, Nhật, Hàn, Ả Rập, và Hindi). Đặt languages=["eng", "vie"] để gợi ý ngôn ngữ cụ thể cho độ chính xác OCR tốt hơn.

Kết Luận: Bắt Đầu Với fast, Nâng Cấp Lên hi_res #

Unstructured.io giải quyết vấn đề bị đánh giá thấp nhất trong pipeline LLM: chuyển đổi tài liệu thực tế thành dữ liệu có thể sử dụng. Lộ trình rõ ràng — bắt đầu với fast partitioning cho PDF văn bản, thêm by_title chunking cho RAG, và nâng cấp lên hi_res + GPU khi cần bảng và layout phức tạp.

10,500+ Stars và giấy phép Apache-2.0 làm cho nó trở thành lựa chọn an toàn, được cộng đồng hỗ trợ. API tự host giữ bạn kiểm soát dữ liệu — tài liệu không rờI khỏi hạ tầng của bạn.

Triển khai instance đầu tiên hôm nay với lệnh Docker một dòng trong Phần 4, đưa thư mục tài liệu vào, và quan sát độ chính xác RAG tăng lên.

Tham gia cộng đồng developer trên Telegram: t.me/dibi8en — chia sẻ pipeline tiền xử lý của bạn và nhận trợ giúp từ các kỹ sư đang vận hành Unstructured ở quy mô lớn.

Hosting Và Hạ Tầng Được Đề Xuất #

Trước khi triển khai các công cụ trên vào production, bạn cần hạ tầng vững chắc. Hai lựa chọn dibi8 đang dùng:

• DigitalOcean — Credit miễn phí $200 trong 60 ngày, 14+ khu vực toàn cầu. Lựa chọn mặc định cho dev chạy AI tools open source.
• HTStack — VPS Hong Kong, độ trễ thấp khi truy cập từ Trung Quốc. Cùng IDC đang host dibi8.com.

Liên kết tiếp thị — không tăng chi phí của bạn, giúp dibi8.com hoạt động.

Nguồn & Tài Liệu Tham Khảo #

• Unstructured GitHub Repository — 10,500+ Stars, Apache-2.0
• Tài liệu chính thức
• Hướng dẫn triển khai API
• LangChain Unstructured Loader
• LlamaIndex Unstructured Reader
• Chiến lược Partitioning chuyên sâu
• So sánh Chiến lược Chunking
• Unstructured Platform (Doanh nghiệp)
• Liên quan: LangChain, LlamaIndex, Tối ưu hóa Pipeline RAG

Tuyên bố tiếp thị liên kết: Bài viết này chứa liên kết tiếp thị của DigitalOcean. Nếu bạn đăng ký qua các liên kết này, chúng tôi nhận được hoa hồng không phát sinh chi phí thêm cho bạn. Unstructured.io là mã nguồn mở và miễn phí sử dụng; chúng tôi không có quan hệ thương mại với Unstructured-IO. Các ý kiến dựa trên thử nghiệm thực tế.