TL;DR: Sử dụng trình duyệt là một khung nguồn mở cho phép các tác nhân AI điều khiển trình duyệt web bằng các hướng dẫn ngôn ngữ tự nhiên. Với hơn 103K sao GitHub, nó cho phép AI duyệt, nhấp, điền biểu mẫu, thu thập dữ liệu và tự động hóa mọi tác vụ web — giúp các tác nhân AI có thể truy cập toàn bộ Internet.

#

Sử dụng trình duyệt là một khung Python kết nối Mô hình ngôn ngữ lớn (LLM) với trình duyệt web. Nó cho phép các tác nhân AI nhìn và tương tác với các trang web giống như con người — nhưng nhanh hơn, nhất quán hơn và có khả năng xử lý các tác vụ lặp đi lặp lại trên quy mô lớn.

Dự án đã bùng nổ với hơn 103 nghìn ngôi sao GitHub, phản ánh nhu cầu lớn về tự động hóa web được hỗ trợ bởi AI. Nó hoạt động với bất kỳ nhà cung cấp LLM nào bao gồm OpenAI, Anthropic, Google và các mô hình địa phương.

#

Natural Language Instruction
        ↓
Browser Use Agent
        ↓
[See the page] → [Plan the action] → [Execute] → [Verify]
        ↓
Result / Data Extraction / Task Completion

#

#

Sử dụng trình duyệt sử dụng quy trình gồm nhiều bước để tương tác với các trang web:

1. Phân tích ảnh chụp màn hình: AI chụp ảnh màn hình của trang hiện tại
2. Nhận dạng phần tử: Nó xác định các phần tử, đầu vào và nút có thể nhấp vào
3. Lập kế hoạch hành động: Dựa trên hướng dẫn ngôn ngữ tự nhiên, nó quyết định những việc cần làm
4. Thực thi: Nó thực hiện hành động (nhấp, gõ, cuộn, điều hướng)
5. Xác minh: Kiểm tra xem hành động đó có đạt được kết quả như mong muốn hay không

from browser_use import Agent, Browser

# Initialize the browser
browser = Browser()

# Create an AI agent
agent = Agent(
    task="Find the cheapest flight from NYC to London next Monday",
    browser=browser,
    llm_provider="openai",
    model="gpt-4o"
)

# Run the agent
result = agent.run()
print(f"Found: {result.extracted_data}")

#

#

#

# Install browser-use
pip install browser-use

# Install dependencies
pip install playwright
playwright install

# Set your API key
export OPENAI_API_KEY="sk-..."
# or
export ANTHROPIC_API_KEY="sk-ant-..."

#

from browser_use import Agent, BrowserSession

# Simple task execution
agent = Agent(
    task="Go to google.com and search for 'AI agents'",
    browser=BrowserSession()
)

result = agent.run(max_steps=10)
print(f"Done! Result: {result}")

#

from browser_use import Agent, BrowserConfig, AgentConfig

config = BrowserConfig(
    headless=False,          # Show browser window
    viewport_width=1920,     # Custom viewport
    viewport_height=1080,
    wait_for_network_idle=True,  # Wait for page to load
    screenshot_delay=0.5,    # Delay before screenshot
)

agent_config = AgentConfig(
    max_steps=20,            # Maximum steps per task
    max_actions_per_step=5,  # Actions per step
    use_vision=True,         # Use screenshot analysis
    tool_call_method="auto", # Auto-detect tool calling
)

agent = Agent(
    task="Research and compile a list of top AI coding tools",
    browser_config=config,
    agent_config=agent_config,
)

#

#

# Extract product prices from an e-commerce site
agent = Agent(
    task=(
        "Go to example-store.com/products, "
        "extract all product names and prices, "
        "and save to CSV"
    ),
)

result = agent.run()
# result.extracted_data contains structured data

#

# Fill out a multi-step form
agent = Agent(
    task=(
        "Go to example-form.com/register, "
        "fill in: name='John Doe', email='john@example.com', "
        "password='secure123', accept terms, submit"
    ),
)

#

# Compile market research
agent = Agent(
    task=(
        "Research the top 10 AI coding tools. "
        "For each, find: name, GitHub stars, "
        "main features, pricing, and use cases. "
        "Present as a comparison table."
    ),
    output_format="markdown"
)

#

# Monitor and respond to mentions
agent = Agent(
    task=(
        "Check Twitter for mentions of 'browser-use'. "
        "For positive mentions, like the tweet. "
        "For questions, compile them in a list."
    ),
)

#

#

Bạn có thể xác định hành động tùy chỉnh cho các trang web cụ thể:

from browser_use import Agent, CustomAction

# Define a custom action for a specific site
github_actions = [
    CustomAction(
        name="star_repository",
        description="Star a GitHub repository",
        params=["owner", "repo"],
        executor=lambda owner, repo: github_api.star(owner, repo)
    ),
    CustomAction(
        name="create_issue",
        description="Create a GitHub issue",
        params=["owner", "repo", "title", "body"],
        executor=lambda owner, repo, title, body: github_api.create_issue(...)
    ),
]

agent = Agent(
    task="Star the browser-use repository",
    custom_actions=github_actions,
)

#

from browser_use import MultiAgentSystem

# Create a multi-agent system
system = MultiAgentSystem(
    agents=[
        {"name": "researcher", "task": "Research AI trends"},
        {"name": "writer", "task": "Write article about findings"},
        {"name": "reviewer", "task": "Review and edit article"},
    ],
    coordination="sequential"
)

result = system.run()

#

# Use browser extensions for enhanced capabilities
browser_config = BrowserConfig(
    extensions=["adblock-plus", "dark-reader", "custom-css"],
    cookies={"session": "abc123"},
    local_storage={"preferences": {"theme": "dark"}},
)

#

#

#

from browser_use import Agent, ErrorHandler

error_handler = ErrorHandler(
    on_failure="retry",       # Retry on failure
    max_retries=3,            # Maximum retries
    retry_delay=5,            # Seconds between retries
    on_timeout="continue",    # Continue on timeout
    alert_email="admin@example.com",  # Alert on critical failure
)

agent = Agent(
    task="Scrape product data",
    error_handler=error_handler,
)

#

#

from browser_use import Agent
from langchain_anthropic import ChatAnthropic

llm = ChatAnthropic(model="claude-3-5-sonnet-20241022")

agent = Agent(
    task="Research and compare AI coding tools",
    llm=llm,
)

#

from browser_use import Agent
from langchain_openai import ChatOpenAI

# Use a custom LLM pipeline
llm = ChatOpenAI(
    model="gpt-4o",
    temperature=0,
    max_tokens=2000,
)

agent = Agent(
    task="Automate my daily workflow",
    llm=llm,
    verbose=True,  # Log all actions
)

#

#

# Run in sandboxed mode for safety
browser_config = BrowserConfig(
    sandbox=True,
    restricted_domains=["example.com", "trusted-site.com"],
    block_ads=True,
    block_trackers=True,
)

#

# Configure privacy settings
agent_config = AgentConfig(
    clear_cookies_between_tasks=True,
    anonymize_screenshots=True,
    local_processing=True,  # No data sent to cloud
)

#

#

#

#

#

# Good: Clear, specific instructions
agent = Agent(task="Go to example.com, click 'Sign Up', fill form with name='John', email='john@test.com', and submit")

# Bad: Vague instructions
agent = Agent(task="Do something on example.com")

#

# Set appropriate step limits
agent = Agent(
    task="Complete checkout on example-store.com",
    max_steps=15,  # Prevent infinite loops
)

#

Việc sử dụng trình duyệt thể hiện sự thay đổi mô hình trong cách AI tương tác với web. Bằng cách cho phép kiểm soát ngôn ngữ tự nhiên của trình duyệt, nó giúp mọi trang web trên internet đều có thể truy cập được bởi các tác nhân AI. 103K+ sao phản ánh nhu cầu rất lớn về khả năng này trong các trường hợp sử dụng quét, tự động hóa, nghiên cứu và tích hợp.

Cho dù bạn đang xây dựng trợ lý AI, tự động hóa quy trình làm việc hay tạo các tác nhân web thông minh, Sử dụng Trình duyệt sẽ cung cấp nền tảng bạn cần.

#

Stay updated on the latest AI tools and open-source projects. Join our Telegram Group for daily AI tool recommendations, community discussions, and exclusive content.

#

#

1. Browser Use GitHub Repository — Official source code and documentation
2. Playwright Documentation — Browser automation API
3. Anthropic Claude — AI model provider
4. OpenAI GPT-4o — Vision-enabled AI model

Tiết lộ: Bài viết này không chứa liên kết liên kết. Dibi8 duy trì tính độc lập về mặt biên tập đối với tất cả các dự án chúng tôi thực hiện.

#

#

Đáp: Việc sử dụng trình duyệt hoạt động trong môi trường trình duyệt cục bộ của bạn. Tất cả dữ liệu vẫn còn trên máy của bạn trừ khi bạn định cấu hình rõ ràng các dịch vụ đám mây. Đối với các tác vụ nhạy cảm, hãy sử dụng chế độ không đầu với các quyền hạn chế và chế độ hộp cát.

#

Đáp: GPT-4o và Claude 3.5 Sonnet mang lại kết quả tốt nhất nhờ khả năng quan sát tốt. GPT-4o nhanh nhất cho các tác vụ đơn giản, trong khi Claude vượt trội với quy trình làm việc nhiều bước phức tạp. Các mô hình cục bộ như Llama 3 hoạt động nhưng độ chính xác giảm.

#

Trả lời: Việc sử dụng trình duyệt không thể giải quyết trực tiếp CAPTCHA. Tuy nhiên, bạn có thể định cấu hình nó để bỏ qua các trang CAPTCHA hoặc sử dụng dịch vụ proxy để giải CAPTCHA. Đối với hầu hết các tác vụ tự động hóa, CAPTCHA không gặp phải.

#

Đáp: Việc sử dụng trình duyệt thường nhanh hơn 2-5 lần đối với các tác vụ do AI điều khiển vì nó sử dụng kế hoạch hành động thông minh thay vì các tập lệnh cứng nhắc. Đối với các tác vụ xác định đơn giản, Selenium có thể nhanh hơn do chi phí thấp hơn.

#

Trả lời: Có, Sử dụng trình duyệt vượt trội trong việc loại bỏ các trang web có nhiều JavaScript mà các công cụ quét truyền thống gặp khó khăn. Nó có thể hiển thị các trang, tương tác với nội dung động và trích xuất dữ liệu có cấu trúc bằng cách sử dụng mô tả ngôn ngữ tự nhiên.

#

#

apiVersion: apps/v1
kind: Deployment
metadata:
  name: browser-use-agent
spec:
  replicas: 3
  template:
    spec:
      containers:
      - name: agent
        image: browser-use/agent:latest
        resources:
          requests:
            cpu: "1"
            memory: "2Gi"
        env:
        - name: OPENAI_API_KEY
          valueFrom:
            secretKeyRef:
              name: api-keys
              key: openai

#

from browser_use import Agent, Monitoring

monitor = Monitoring(
    log_level="INFO",
    metrics_endpoint="/metrics",
    alert_threshold=10,  # Failures before alert
    dashboard_port=9090,
)

agent = Agent(
    task="Automate workflow",
    monitoring=monitor,
)

#

Nhóm Sử dụng Trình duyệt đang tích cực phát triển các khả năng đa phương thức bao gồm điều khiển bằng giọng nói, xử lý tài liệu và tự động hóa bảng tính. Các tính năng được lên kế hoạch bao gồm duyệt web cộng tác theo thời gian thực trong đó nhiều tác nhân AI phối hợp thực hiện các tác vụ phức tạp và hệ sinh thái plugin để mở rộng khả năng của trình duyệt với tích hợp tùy chỉnh.

#

Việc sử dụng trình duyệt đã được nhiều tổ chức áp dụng để tự động hóa các tác vụ web lặp đi lặp lại. Các công ty tài chính sử dụng nó để nghiên cứu thị trường, các công ty thương mại điện tử để theo dõi giá và các tổ chức nghiên cứu để thu thập dữ liệu. Giao diện ngôn ngữ tự nhiên của khung giúp người dùng không có kỹ thuật có thể truy cập được, những người có thể mô tả các tác vụ bằng tiếng Anh đơn giản thay vì viết các tập lệnh tự động hóa phức tạp.

#

Khung này bao gồm các cơ chế phục hồi lỗi mạnh mẽ. Khi một nhiệm vụ không thành công, tác nhân có thể tự động thử lại với các thông số đã điều chỉnh, chuyển sang các phương pháp thay thế hoặc yêu cầu sự can thiệp của con người. Khả năng phục hồi này làm cho nó phù hợp với môi trường sản xuất nơi độ tin cậy là rất quan trọng. Hệ thống ghi lại tất cả các hành động và quyết định cho mục đích kiểm toán.

#

Khi sử dụng Sử dụng trình duyệt, bạn có thể gặp một số vấn đề phổ biến. Thời gian chờ của trình duyệt có thể xảy ra với các trang phức tạp — hãy tăng thời gian chờ wait_for_network_idle để giải quyết. Lỗi nhận dạng phần tử thường xuất phát từ việc tải nội dung động; việc thêm chờ đợi rõ ràng hoặc sử dụng bộ chọn XPath sẽ giúp ích. Đối với các trang CAPTCHA, hãy định cấu hình tác nhân để bỏ qua hoặc sử dụng dịch vụ proxy. Giới hạn tốc độ từ các trang web mục tiêu có thể được quản lý bằng cách thêm độ trễ giữa các hành động và tác nhân người dùng luân phiên.

#

Khung này hỗ trợ cả triển khai được lưu trữ trên đám mây và tự lưu trữ, giúp người dùng linh hoạt trong việc lựa chọn cơ sở hạ tầng dựa trên các yêu cầu bảo mật và hạn chế về ngân sách.

Việc sử dụng trình duyệt liên tục được cải thiện nhờ cộng đồng tích cực với các tính năng mới được bổ sung hàng tuần.

#

Khung này hỗ trợ cả triển khai được lưu trữ trên đám mây và tự lưu trữ, giúp người dùng linh hoạt trong việc lựa chọn cơ sở hạ tầng dựa trên các yêu cầu bảo mật và hạn chế về ngân sách. Sự đóng góp của cộng đồng thúc đẩy sự phát triển tính năng nhanh chóng với các khả năng mới được bổ sung thường xuyên.

Dự án duy trì một cộng đồng Discord tích cực nơi người dùng chia sẻ các mẫu tự động hóa, mẹo khắc phục sự cố và ví dụ tích hợp. Các bản phát hành tính năng hàng tuần giúp nền tảng này luôn dẫn đầu về công nghệ tự động hóa web AI.

Sử dụng trình duyệt hỗ trợ chế độ không đầu để triển khai máy chủ và chế độ có đầu để gỡ lỗi. Cả hai chế độ đều cung cấp chức năng giống hệt nhau với sự cân bằng trải nghiệm người dùng khác nhau, phù hợp với các tình huống triển khai khác nhau.