Browser Harness：让 LLM 自主操控浏览器的自愈型神器

# Selector mong manh, trang thay đổi là die
button = driver.find_element(By.CSS_SELECTOR, "#submit-btn")
button.click()

# LLM hiểu ngữ nghĩa trang, tự tìm nút đúng
# Dù id thay đổi cũng hiểu qua ngữ cảnh
result = harness.execute("Nhấn nút gửi")
# Nếu không tìm thấy nút, LLM phân tích trang và đề xuất phương án thay thế

# Nói LLM mục tiêu, không phải bước
harness.execute("Tìm tai nghe không dây trên Amazon, sắp xếp theo đánh giá, chọn kết quả đầu tiên thêm vào giỏ")

# LLM tự động:
# 1. Tìm ô tìm kiếm
# 2. Nhập "wireless headphones"
# 3. Tìm menu sắp xếp
# 4. Chọn "Customer Reviews"
# 5. Tìm sản phẩm đầu tiên
# 6. Nhấn "Add to Cart"

from browser_harness import Harness

harness = Harness(model="gpt-4o")

# Tác vụ phức tạp đa bước
task = """
Đặt vé máy bay từ Bắc Kinh đến Thượng Hải thứ Tư tuần sau,
yêu cầu:
- Khởi hành buổi sáng
- Giá dưới 1000 tệ
- China Eastern hoặc Air China
- Không cần hành lý ký gửi
"""

result = harness.execute(task)
# LLM lập kế hoạch:
# 1. Mở Ctrip/Qu哪儿
# 2. Chọn một chiều
# 3. Nhập Bắc Kinh → Thượng Hải
# 4. Chọn ngày thứ Tư tuần sau
# 5. Lọc chuyến bay buổi sáng
# 6. Sắp xếp theo giá
# 7. Lọc China Eastern/Air China
# 8. Chọn vé không hành lý
# 9. Điền thông tin hành khách
# 10. Gửi đơn hàng

# Phân tích ảnh chụp màn hình
screenshot = harness.screenshot()
analysis = harness.llm.analyze_image(screenshot, 
    "Trang này có biểu mẫu gì? Hãy mô tả nhãn và loại của mỗi ô nhập")

# LLM trả về:
# "Trang có biểu mẫu đăng nhập:
#  - Ô nhập tên người dùng (type=text)
#  - Ô nhập mật khẩu (type=password)
#  - Hộp kiểm Ghi nhớ tôi
#  - Nút đăng nhập"

Browser Harness
├── LLM Core (GPT-4o / Claude / Local LLM)
├── Browser Controller (Playwright / Selenium)
├── Self-Healing Engine
│   ├── Error Detection
│   ├── Screenshot Analysis
│   ├── Strategy Regeneration
│   └── Retry Logic
├── Task Planner
│   ├── Goal Decomposition
│   ├── Step Sequencing
│   └── Dependency Resolution
└── Safety Guardrails
    ├── URL Whitelist
    ├── Action Limits
    └── Human-in-the-Loop

pip install browser-harness

# Cài đặt phụ thuộc trình duyệt
playwright install

from browser_harness import Harness

# Khởi tạo
harness = Harness(
    model="gpt-4o",  # hoặc "claude-3-5-sonnet"
    browser="chromium",
    headless=False   # Chế độ hiển thị để debug
)

# Thực thi tác vụ đơn giản
result = harness.execute("Mở Google tìm kiếm 'Python tutorial'")

# Thực thi tác vụ phức tạp
task = """
1. Truy cập github.com
2. Tìm 'browser-use/browser-harness'
3. Nhấn nút Star
4. Trả về số star
"""
result = harness.execute(task)
print(result)  # "Số Stars hiện tại: 11251"

from browser_harness import Harness, Config

config = Config(
    max_retries=3,           # Số lần thử lại tối đa
    retry_delay=2,           # Thời gian chờ thử lại (giây)
    screenshot_on_error=True, # Chụp màn hình khi lỗi
    human_in_the_loop=True,   # Thao tác quan trọng cần xác nhận người
    url_whitelist=[           # Danh sách trắng URL
        "*.github.com",
        "*.google.com"
    ]
)

harness = Harness(model="gpt-4o", config=config)

# Để LLM kiểm thử website của bạn
test_cases = [
    "Đăng ký người dùng mới, xác minh nhận email xác nhận",
    "Thêm sản phẩm vào giỏ hàng, kiểm tra tính tổng giá đúng",
    "Gửi biểu mẫu để trống trường bắt buộc, xác minh thông báo lỗi"
]

for test in test_cases:
    result = harness.execute(test)
    assert result.success, f"Kiểm thử thất bại: {test}"

# Crawler thông minh, tự thích ứng thay đổi website
data = harness.execute("""
Truy cập example.com/products,
trích xuất tất cả sản phẩm:
- Tên
- Giá
- Đánh giá
- Tình trạng tồn kho
Lưu dạng JSON
""")

# Tự động xử lý tác vụ web hàng ngày
harness.execute("""
1. Đăng nhập hệ thống bồi thường công ty
2. Nộp đơn bồi thường công tác tháng trước
3. Tải lên PDF hóa đơn
4. Điền người phê duyệt
5. Gửi đơn
""")

# Kiểm tra giá đối thủ mỗi ngày
harness.execute("""
Truy cập amazon.com, tìm kiếm từ khóa sản phẩm cốt lõi của chúng ta,
ghi lại giá và đánh giá của 10 kết quả đầu,
tạo báo cáo so sánh
""")