MeloTTS: 7.4K+ Stars — TTS Đa Ngôn Ngữ So Sánh với Coqui TTS, ChatTTS, Bark 2026

{{< resource-info >}}

Hầu hết các thư viện TTS mã nguồn mở đều buộc bạn phải lựa chọn: chất lượng cao đòi hỏi GPU, còn tùy chọn thân thiện với CPU nghe như robot. MeloTTS, được phát triển bởi các nhà nghiên cứu từ MIT và MyShell.ai, phá vỡ sự đánh đổi này. Với hơn 7.400 GitHub Stars và giấy phép MIT, nó cung cấp tổng hợp giọng nói đa ngôn ngữ thờ gian thực trên CPU với 6 ngôn ngữ và nhiều giọng Anh khác nhau. Hướng dẫn này sẽ đi qua toàn bộ quá trình thiết lập MeloTTS, đánh giá hiệu năng so với Coqui TTS, ChatTTS và Bark, và cung cấp cấu hình triển khai production-ready.

MeloTTS là gì? #

MeloTTS là thư viện chuyển văn bản thành giọng nói đa ngôn ngữ chất lượng cao được xây dựng trên kiến trúc VITS, VITS2 và Bert-VITS2. Nó hỗ trợ tiếng Anh (Mỹ, Anh, Ấn Độ, Úc, mặc định), tiếng Tây Ban Nha, tiếng Pháp, tiếng Trung (hỗ trợ Trung-Anh pha trộn), tiếng Nhật và tiếng Hàn. Dự án được duy trì bởi MyShell.ai với sự đóng góp từ các nhà nghiên cứu MIT, và toàn bộ mã nguồn sử dụng giấy phép MIT — miễn phí cho cả sử dụng thương mại và phi thương mại.

Các điểm khác biệt chính:

• Suy luận thờ gian thực trên CPU với RTF (Real-Time Factor) thấp tới 0.41 trên Intel i7-12700
• Kích thước mô hình ~180-300MB, đủ nhỏ để triển khai trên thiết bị biên
• Hỗ trợ ngôn ngữ pha trộn — giọng Trung xử lý từ tiếng Anh xen kẽ mà không cần chuyển mô hình
• Điều khiển tốc độ từ 0.5x đến 2.0x không làm biến dạng âm thanh
• Không cần GPU cho tổng hợp luồng đơn

MeloTTS hoạt động như thế nào? #

MeloTTS sử dụng kiến trúc neural end-to-end không tự hồi quy (non-autoregressive) từ VITS2 với mã hóa văn bản dựa trên BERT. Quy trình gồm bốn giai đoạn:

1. Xử lý văn bản: Chuyển đổi G2P (Grapheme-to-Phoneme) qua espeak-ng cho hầu hết ngôn ngữ; BERT tokenizer cho tiếng Trung và Nhật (qua unidic). Văn bản Trung-Anh pha trộn được phân đoạn và định tuyến đến các trình trích xuất âm vị phù hợp.

2. Bộ mã hóa BERT: Bộ mã hóa MiniLM nhẹ trích xuất biểu diễn ngữ cảnh từ văn bản đầu vào, nắm bắt các sắc thái về ngữ điệu và ngữ nghĩa.

3. Mô hình âm học dựa trên Flow: Các phép tích chập depthwise-separable biến đổi đặc trưng BERT thành mel-spectrogram. Đây là phần tính toán chính và chạy hiệu quả trên CPU thông qua các kernel tích chập tối ưu.

4. Vocoder HiFi-GAN: Mel-spectrogram được chuyển đổi thành âm thanh thô với tần số lấy mẫu 22kHz.

Toàn bộ pipeline là non-autoregressive, nghĩa là mô hình xử lý toàn bộ văn bản song song thay vì tạo âm thanh từng token một. Lựa chọn kiến trúc này là yếu tố cho phép đạt tốc độ suy luận dưới thờ gian thực.

Cài đặt & Thiết lập #

Yêu cầu tiên quyết #

Trước khi cài đặt MeloTTS, hãy đảm bảo bạn đã cài:

# Ubuntu/Debian
sudo apt-get update && sudo apt-get install -y espeak-ng libsndfile1 ffmpeg

# macOS
brew install espeak libsndfile ffmpeg

# Kiểm tra espeak-ng
espeak-ng --version

Cách 1: Cài đặt qua pip (Linux/macOS) #

# Tạo môi trường ảo
python -m venv melotts-env
source melotts-env/bin/activate

# Cài đặt MeloTTS
pip install melotts

# Tải từ điển tiếng Nhật (bắt buộc cho hỗ trợ JA)
python -m unidic download

Cách 2: Cài đặt từ mã nguồn #

git clone https://github.com/myshell-ai/MeloTTS.git
cd MeloTTS
pip install -e .
python -m unidic download

Cách 3: Docker (Khuyến nghị cho Windows) #

git clone https://github.com/myshell-ai/MeloTTS.git
cd MeloTTS
docker build -t melotts .
docker run -it -p 8888:8888 melotts

Phiên bản tăng tốc GPU:

docker run --gpus all -it -p 8888:8888 melotts

Mở http://localhost:8888 để truy cập Web UI tích hợp.

Xác minh cài đặt #

from melo.api import TTS

# Tốc độ có thể điều chỉnh
speed = 1.0
device = 'auto'  # tự động phát hiện GPU, fallback về CPU

text = "MeloTTS is working correctly on this machine."
model = TTS(language='EN', device=device)
speaker_ids = model.hps.data.spk2id

output_path = 'test_output.wav'
model.tts_to_file(text, speaker_ids['EN-Default'], output_path, speed=speed)
print(f"Audio saved to {output_path}")

Tổng hợp đầu tiên #

# Sử dụng CLI (sau khi cài pip)
melo "Hello, this is MeloTTS speaking." output.wav -l EN --speaker EN-US

# Liệt kê các speaker có sẵn
melo --list-speakers

Tích hợp với các công cụ phổ biến #

Python API — Tiếng Anh với nhiều giọng khác nhau #

from melo.api import TTS

speed = 1.0
device = 'auto'

text = "Did you ever hear a folk tale about a giant turtle?"
model = TTS(language='EN', device=device)
speaker_ids = model.hps.data.spk2id

# Giọng Mỹ
model.tts_to_file(text, speaker_ids['EN-US'], 'en-us.wav', speed=speed)

# Giọng Anh
model.tts_to_file(text, speaker_ids['EN-BR'], 'en-br.wav', speed=speed)

# Giọng Ấn Độ
model.tts_to_file(text, speaker_ids['EN_INDIA'], 'en-india.wav', speed=speed)

# Giọng Úc
model.tts_to_file(text, speaker_ids['EN-AU'], 'en-au.wav', speed=speed)

Tiếng Trung pha trộn tiếng Anh #

from melo.api import TTS

speed = 1.0
device = 'cpu'

# Giọng Trung xử lý từ tiếng Anh liền mạch
text = "我最近在学习machine learning，希望能够在未来的artificial intelligence领域有所建树。"
model = TTS(language='ZH', device=device)
speaker_ids = model.hps.data.spk2id

output_path = 'zh-mixed.wav'
model.tts_to_file(text, speaker_ids['ZH'], output_path, speed=speed)

Tiếng Nhật #

from melo.api import TTS

speed = 1.0
device = 'cpu'

text = "こんにちは、これは日本語の音声合成テストです。"
model = TTS(language='JA', device=device)
speaker_ids = model.hps.data.spk2id

output_path = 'ja.wav'
model.tts_to_file(text, speaker_ids['JA'], output_path, speed=speed)

FastAPI REST API #

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from melo.api import TTS
import tempfile
import os

app = FastAPI()

# Tải trước các mô hình cho ngôn ngữ được hỗ trợ
models = {}
for lang in ['EN', 'ZH', 'ES', 'FR', 'JA', 'KO']:
    models[lang] = TTS(language=lang, device='auto')

class TTSRequest(BaseModel):
    text: str
    language: str = 'EN'
    speaker: str = 'EN-Default'
    speed: float = 1.0

@app.post("/tts")
async def text_to_speech(req: TTSRequest):
    if req.language not in models:
        raise HTTPException(status_code=400, detail=f"Ngôn ngữ {req.language} không được hỗ trợ")
    
    model = models[req.language]
    speaker_ids = model.hps.data.spk2id
    
    if req.speaker not in speaker_ids:
        raise HTTPException(status_code=400, detail=f"Không tìm thấy speaker {req.speaker}")
    
    output_path = tempfile.mktemp(suffix='.wav')
    model.tts_to_file(req.text, speaker_ids[req.speaker], output_path, speed=req.speed)
    
    return {"audio_file": output_path}

Chạy API:

uvicorn tts_api:app --host 0.0.0.0 --port 8000 --workers 2

Docker Compose cho Production #

version: '3.8'

services:
  melotts:
    build:
      context: .
      dockerfile: Dockerfile
    ports:
      - "8888:8888"
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    restart: unless-stopped
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8888"]
      interval: 30s
      timeout: 10s
      retries: 3

TTS Streaming với WebSocket #

import asyncio
import websockets
import json
from melo.api import TTS

model = TTS(language='EN', device='auto')
speaker_ids = model.hps.data.spk2id

async def tts_stream(websocket, path):
    async for message in websocket:
        data = json.loads(message)
        text = data.get('text', '')
        speaker = data.get('speaker', 'EN-Default')
        speed = data.get('speed', 1.0)
        
        # Phát luồng các chunk âm thanh
        for chunk in model.stream_tts(text, speaker_ids[speaker], speed=speed):
            await websocket.send(chunk)

start_server = websockets.serve(tts_stream, '0.0.0.0', 8765)
asyncio.get_event_loop().run_until_complete(start_server)
asyncio.get_event_loop().run_forever()

Gradio Web UI #

import gradio as gr
from melo.api import TTS

model = TTS(language='EN', device='auto')
speaker_ids = model.hps.data.spk2id
speaker_names = list(speaker_ids.keys())

def synthesize(text, speaker, speed):
    output_path = '/tmp/gradio_output.wav'
    model.tts_to_file(text, speaker_ids[speaker], output_path, speed=float(speed))
    return output_path

iface = gr.Interface(
    fn=synthesize,
    inputs=[
        gr.Textbox(label="Văn bản", value="Hello from MeloTTS!"),
        gr.Dropdown(choices=speaker_names, label="Speaker", value="EN-Default"),
        gr.Slider(0.5, 2.0, value=1.0, label="Tốc độ")
    ],
    outputs=gr.Audio(label="Âm thanh đã tạo"),
    title="MeloTTS Web UI",
    description="Chuyển văn bản thành giọng nói đa ngôn ngữ thờ gian thực"
)

iface.launch(server_name='0.0.0.0', server_port=7860)

Đánh giá hiệu năng / Các trường hợp sử dụng thực tế #

Benchmark tốc độ suy luận #

Real-Time Factor (RTF) đo lường tốc độ tạo âm thanh của mô hình so với thờ lượng phát lại. RTF < 1.0 nghĩa là tạo nhanh hơn thờ gian thực.

So sánh với các lựa chọn thay thế #

Khuyến nghị theo trường hợp sử dụng #

So sánh độ trễ (RTF càng thấp càng tốt) #

So sánh bộ nhớ sử dụng #

MeloTTS sử dụng ít hơn một phần sáu bộ nhớ so với Coqui XTTS, cho phép triển khai trên các môi trường hạn chế tài nguyên như AWS t3.medium (4GB RAM) hoặc VPS nhỏ. Đối với các nhà cung cấp SaaS chạy nhiều instance TTS, footprint thấp này chuyển thẳng thành chi phí vận hành thấp hơn.

Trong các bài kiểm tra đối đầu trên phần cứng giống hệt (Intel i7-12700, 32GB RAM):

• MeloTTS: 0.41 RTF — xử lý 10 giây âm thanh trong 4.1 giây
• Coqui TTS (XTTS-v2): 0.55 trên GPU, 2.8+ trên CPU — không khả thi khi không có GPU
• ChatTTS: 1.2 RTF trên CPU — chỉ sử dụng được với GPU
• Bark: 3.5+ RTF trên CPU, 0.3 trên GPU (A100) — yêu cầu GPU cao cấp

Sử dụng nâng cao / Cứng hóa Production #

Làm nóng mô hình (Pre-warming) #

Trong production, luôn tải mô hình khi khởi động để tránh độ trễ khởi động lạnh:

from melo.api import TTS
import functools

@functools.lru_cache(maxsize=6)
def get_model(language):
    """Trình tải mô hình được cache — mô hình chỉ tải một lần và tái sử dụng."""
    return TTS(language=language, device='auto')

# Làm nóng trước tất cả ngôn ngữ khi khởi động
for lang in ['EN', 'ZH', 'ES', 'FR', 'JA', 'KO']:
    get_model(lang)
print("Tất cả mô hình đã sẵn sàng.")

Xử lý batch để tăng thông lượng #

from melo.api import TTS
import concurrent.futures

model = TTS(language='EN', device='cuda:0')
speaker_ids = model.hps.data.spk2id

texts = [
    "Câu đầu tiên cần tổng hợp.",
    "Câu thứ hai cần tổng hợp.",
    "Câu thứ ba cần tổng hợp.",
]

def synth(text):
    output_path = f"batch_{hash(text)}.wav"
    model.tts_to_file(text, speaker_ids['EN-Default'], output_path)
    return output_path

# Xử lý batch song song
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
    results = list(executor.map(synth, texts))

Máy chủ Production Gunicorn + FastAPI #

# Cài đặt gunicorn với uvicorn workers
pip install gunicorn uvicorn

# Chạy với 4 workers
gunicorn tts_api:app -k uvicorn.workers.UvicornWorker \
  --bind 0.0.0.0:8000 \
  --workers 4 \
  --timeout 120 \
  --max-requests 1000 \
  --max-requests-jitter 100

File dịch vụ systemd #

[Unit]
Description=MeloTTS REST API
After=network.target

[Service]
Type=simple
User=melotts
Group=melotts
WorkingDirectory=/opt/melotts
Environment=PYTHONPATH=/opt/melotts
Environment=CUDA_VISIBLE_DEVICES=0
ExecStart=/opt/melotts/venv/bin/gunicorn tts_api:app -k uvicorn.workers.UvicornWorker --bind 0.0.0.0:8000 --workers 4
Restart=on-failure
RestartSec=5s

[Install]
WantedBy=multi-user.target

Cài đặt và khởi động:

sudo cp melotts.service /etc/systemd/system/
sudo systemctl daemon-reload
sudo systemctl enable melotts
sudo systemctl start melotts
sudo systemctl status melotts

Giám sát với Prometheus #

from prometheus_client import Counter, Histogram, generate_latest
from fastapi import Response

# Metrics
tts_requests = Counter('melotts_requests_total', 'Tổng yêu cầu TTS', ['language', 'speaker'])
tts_duration = Histogram('melotts_duration_seconds', 'Thờ gian tạo TTS')

@app.get("/metrics")
async def metrics():
    return Response(content=generate_latest(), media_type="text/plain")

@app.post("/tts")
async def text_to_speech(req: TTSRequest):
    with tts_duration.time():
        # ... logic TTS hiện tại ...
        tts_requests.labels(language=req.language, speaker=req.speaker).inc()

Reverse Proxy Nginx #

upstream melotts {
    server 127.0.0.1:8000;
    keepalive 32;
}

server {
    listen 80;
    server_name tts.yourdomain.com;

    location / {
        proxy_pass http://melotts;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_connect_timeout 30s;
        proxy_send_timeout 120s;
        proxy_read_timeout 120s;
        
        # Giới hạn tốc độ
        limit_req zone=tts_zone burst=20 nodelay;
    }
}

So sánh với các lựa chọn thay thế #

Ma trận tính năng chi tiết #

Khi nào chọn cái nào #

• MeloTTS: Chọn khi cần triển khai chỉ CPU, hỗ trợ đa ngôn ngữ, giấy phép MIT và độ trễ dưới 1 giây. Lý tưởng cho sản phẩm SaaS, backend di động và thiết bị biên.

• Coqui TTS: Chọn khi cần nhân bản giọng hoặc cần nhiều giọng nói pre-trained nhất. Mô hình XTTS-v2 tạo ra các giọng nhân bản tự nhiên nhất trong mã nguồn mở.

• ChatTTS: Chọn cho các ứng dụng AI hội thoại tiếng Trung hoặc tiếng Anh. Ngữ điệu được điều chỉnh cho hội thoại, rất phù hợp cho chatbot và trợ lý ảo.

• Bark: Chọn cho ứng dụng sáng tạo cần nhạc, tiếng cưới hoặc hiệu ứng âm thanh. Chi phí trade-off là yêu cầu tính toán cao hơn đáng kể.

Hạn chế / Đánh giá trung thực #

MeloTTS không phải giải pháp vạn năng. Đây là các hạn chế cụ thể cần cân nhắc:

1. Không nhân bản giọng: Không giống Coqui XTTS hay Bark, MeloTTS không thể nhân bản ngưới nói từ đoạn âm thanh tham chiếu. Bạn chỉ có thể dùng các giọng tích hợp sẵn theo ngôn ngữ.

2. Không điều khiển cảm xúc: Bạn có thể điều chỉnh tốc độ, nhưng không có tham số nào để điều khiển vui, buồn, giận dữ hay các chất lượng cảm xúc khác. Bark và ChatTTS cung cấp biểu đạt cảm xúc phong phú hơn.

3. Hạn chế G2P: Pipeline grapheme-to-phoneme mặc định sử dụng espeak-ng dựa trên quy tắc, đôi khi phát âm sai các từ hiếm hoặc danh từ riêng. Không có G2P neural nào được tích hợp sẵn.

4. Không streaming inference: Dù việc tạo âm thanh đầy đủ rất nhanh, bạn phải đợi toàn bộ âm thanh được tổng hợp xong trước khi phát. Streaming thực sự từng chunk không được hỗ trợ.

5. Tài liệu fine-tuning hạn chế: Huấn luyện trên tập dữ liệu tùy chỉnh là khả thi nhưng tài liệu ít hơn Coqui TTS. Bạn cần đọc mã nguồn để tùy chỉnh huấn luyện.

6. Không hỗ trợ SSML: Speech Synthesis Markup Language để điều khiển khoảng dừng, nhấn mạnh và chi tiết cấp âm vị không được hỗ trợ.

7. Số lượng speaker mỗi ngôn ngữ: Chỉ một speaker mỗi ngôn ngữ (tiếng Anh có các biến thể giọng vùng miền). Coqui TTS cung cấp hàng trăm giọng pre-trained.

Câu hỏi thường gặp #

Q1: MeloTTS có cần GPU không? #

Không. MeloTTS được thiết kế đặc biệt cho suy luận trên CPU và đạt tốc độ thờ gian thực (RTF 0.41) trên các bộ xử lý Intel và AMD hiện đại. GPU (NVIDIA CUDA) sẽ cải thiện thông lượng cho xử lý batch nhưng không bắt buộc cho tổng hợp luồng đơn.

Q2: Tôi có thể sử dụng MeloTTS thương mại không? #

Có. MeloTTS được phát hành theo giấy phép MIT, cho phép sử dụng thương mại, sửa đổi, phân phối và sử dụng riêng tư. Không có yêu cầu nào khác ngoài việc giữ thông báo giấy phép trong các tác phẩm phái sinh.

Q3: Đầu vào pha trộn Trung-Anh hoạt động như thế nào? #

Mô hình Trung (language='ZH') tự động phát hiện các từ tiếng Anh trong văn bản tiếng Trung và định tuyến chúng qua pipeline G2P tiếng Anh trong khi duy trì tính liên tục về ngữ điệu. Không cần gán nhãn thủ công hay chuyển đổi mô hình.

Q4: Độ dài văn bản tối đa MeloTTS có thể xử lý là bao nhiêu? #

Không có giới hạn độ dài được hardcode. Tuy nhiên, mô hình xử lý toàn bộ văn bản trong một forward pass duy nhất, nên văn bản rất dài (> 1000 ký tự) có thể gây lỗi out-of-memory trên hệ thống RAM thấp. Đối với nội dung dạng, hãy chia văn bản thành câu và tổng hợp theo batch.

Q5: Làm thế nào để sửa lỗi espeak-ng not found? #

Cài đặt espeak-ng qua trình quản lý gói hệ thống trước khi cài MeloTTS. Trên Ubuntu: sudo apt-get install espeak-ng. Trên macOS: brew install espeak. Trên Windows, tải trình cài đặt từ trang phát hành espeak-ng GitHub và thêm vào PATH.

Q6: Tôi có thể fine-tune MeloTTS bằng giọng của mình không? #

Có, nhưng có lưu ý. Pipeline huấn luyện tồn tại (docs/training.md) nhưng tài liệu còn hạn chế. Bạn cần khoảng 30 phút bản ghi âm sạch và bản ghi chép văn bản tương ứng. Fine-tuning yêu cầu GPU (NVIDIA với 8GB+ VRAM) và mất vài giờ.

Q7: MeloTTS so với ElevenLabs hoặc các dịch vụ TTS thương mại khác như thế nào? #

MeloTTS sánh ngang các dịch vụ thương mại về khả năng hiểu và tiến gần về độ tự nhiên đối với các ngôn ngữ được hỗ trợ. Các dịch vụ thương mại vượt trội ở đa dạng giọng nói (hàng nghìn giọng) và chất lượng nhân bản. MeloTTS thắng ở độ trễ, chi phí (miễn phí), quyền riêng tư (hoàn toàn local) và khả năng triển khai.

Kết luận #

MeloTTS chiếm một vị trí độc đáo trong bức tranh TTS mã nguồn mở: đây là thư viện duy nhất kết hợp hỗ trợ đa ngôn ngữ, giấy phép MIT và suy luận CPU thờ gian thực trong một gói dưới 300MB. Đối với các đội ngũ xây dựng sản phẩm SaaS, chatbot hoặc pipeline nội dung cần tổng hợp giọng nói đáng tin cậy mà không cần hạ tầng GPU, MeloTTS là lựa chọn thực tiễn.

Các hành động cần thực hiện:

1. Chạy pip install melotts và tổng hợp đoạn âm thanh đầu tiên ngay hôm nay
2. Triển khai ví dụ FastAPI phía sau Nginx để có endpoint TTS sẵn sàng production
3. Tham gia MeloTTS GitHub Discussions để được hỗ trợ từ cộng đồng
4. Theo dõi nhóm Telegram dibi8 để cập nhật công cụ AI hàng tuần

Hosting Và Hạ Tầng Được Đề Xuất #

Trước khi triển khai các công cụ trên vào production, bạn cần hạ tầng vững chắc. Hai lựa chọn dibi8 đang dùng:

• DigitalOcean — Credit miễn phí $200 trong 60 ngày, 14+ khu vực toàn cầu. Lựa chọn mặc định cho dev chạy AI tools open source.
• HTStack — VPS Hong Kong, độ trễ thấp khi truy cập từ Trung Quốc. Cùng IDC đang host dibi8.com.

Liên kết tiếp thị — không tăng chi phí của bạn, giúp dibi8.com hoạt động.

Nguồn & Tài liệu tham khảo #

• MeloTTS GitHub Repository
• MeloTTS Installation Guide
• MeloTTS Training Guide
• MeloTTS Hugging Face
• Coqui TTS Documentation
• ChatTTS GitHub Repository
• Bark (Suno) GitHub Repository
• VITS2 Paper
• Bert-VITS2 Paper
• MeloTTS Community Guide
• TTS Engine Comparison on Clore.ai
• Open-LLM-VTuber TTS Benchmark
• MeloTTS Performance Analysis