Browser Harness：让 LLM 自主操控浏览器的自愈型神器

# 취약한 선택기, 페이지가 변경되면 작동하지 않음
button = driver.find_element(By.CSS_SELECTOR, "#submit-btn")
button.click()

# LLM이 페이지 의미를 이해하고 올바른 버튼을 자동으로 찾음
# ID가 변경되어도 맥락을 통해 이해 가능
result = harness.execute("제출 버튼 클릭")
# 버튼을 찾을 수 없으면 LLM이 페이지를 분석하고 대안을 제시

# LLM에 목표를 알려주고 단계는 알려주지 않음
harness.execute("Amazon에서 무선 이어폰을 검색하고, 평점순으로 정렬한 후 첫 번째 결과를 장바구니에 담아줘")

# LLM이 자동으로:
# 1. 검색 상자 찾기
# 2. "wireless headphones" 입력
# 3. 정렬 드롭다운 메뉴 찾기
# 4. "Customer Reviews" 선택
# 5. 첫 번째 상품 찾기
# 6. "Add to Cart" 클릭

from browser_harness import Harness

harness = Harness(model="gpt-4o")

# 복잡한 다단계 작업
task = """
다음 주 수요일 베이징에서 상하이로 가는 항공권을 예약해줘,
요구사항:
- 오전 출발
- 가격 1000위안 미만
- 중국동방항공 또는 중국국제항공
- 수하물 불필요
"""

result = harness.execute(task)
# LLM이 단계를 계획:
# 1. Ctrip/Qu哪儿 열기
# 2. 편도 선택
# 3. 베이징 → 상하이 입력
# 4. 다음 주 수요일 날짜 선택
# 5. 오전 항공편 필터링
# 6. 가격순 정렬
# 7. 중국동방항공/중국국제항공 필터링
# 8. 수하물 없는 운임 선택
# 9. 승객 정보 입력
# 10. 주문 제출

# 스크린샷 분석
screenshot = harness.screenshot()
analysis = harness.llm.analyze_image(screenshot, 
    "이 페이지에 어떤 양식이 있나요? 각 입력 상자의 레이블과 유형을 설명해주세요")

# LLM 반환:
# "페이지에 로그인 양식이 있습니다:
#  - 사용자 이름 입력 상자(type=text)
#  - 비밀번호 입력 상자(type=password)
#  - 나를 기억하기 체크박스
#  - 로그인 버튼"

Browser Harness
├── LLM Core (GPT-4o / Claude / Local LLM)
├── Browser Controller (Playwright / Selenium)
├── Self-Healing Engine
│   ├── Error Detection
│   ├── Screenshot Analysis
│   ├── Strategy Regeneration
│   └── Retry Logic
├── Task Planner
│   ├── Goal Decomposition
│   ├── Step Sequencing
│   └── Dependency Resolution
└── Safety Guardrails
    ├── URL Whitelist
    ├── Action Limits
    └── Human-in-the-Loop

pip install browser-harness

# 브라우저 의존성 설치
playwright install

from browser_harness import Harness

# 초기화
harness = Harness(
    model="gpt-4o",  # 또는 "claude-3-5-sonnet"
    browser="chromium",
    headless=False   # 디버깅을 위해 가시 모드
)

# 간단한 작업 실행
result = harness.execute("Google을 열어 'Python tutorial' 검색")

# 복잡한 작업 실행
task = """
1. github.com 방문
2. 'browser-use/browser-harness' 검색
3. Star 버튼 클릭
4. star 수 반환
"""
result = harness.execute(task)
print(result)  # "현재 Stars: 11251"

from browser_harness import Harness, Config

config = Config(
    max_retries=3,           # 최대 재시도 횟수
    retry_delay=2,           # 재시도 간격(초)
    screenshot_on_error=True, # 오류 시 스크린샷
    human_in_the_loop=True,   # 중요 작업은 사람 확인
    url_whitelist=[           # URL 화이트리스트
        "*.github.com",
        "*.google.com"
    ]
)

harness = Harness(model="gpt-4o", config=config)

# LLM이 웹사이트를 테스트하도록 하기
test_cases = [
    "새 사용자를 등록하고 확인 이메일을 수신했는지 검증",
    "상품을 장바구니에 추가하고 총액 계산이 정확한지 확인",
    "필수 항목을 비워두고 양식을 제출하면 오류 메시지가 표시되는지 검증"
]

for test in test_cases:
    result = harness.execute(test)
    assert result.success, f"테스트 실패: {test}"

# 지능형 크롤러, 웹사이트 변경에 자동 적응
data = harness.execute("""
example.com/products를 방문하여
모든 제품의 다음 정보를 추출:
- 이름
- 가격
- 평점
- 재고 상태
JSON으로 저장
""")

# 일상적인 웹 작업 자동 처리
harness.execute("""
1. 회사 비용 처리 시스템에 로그인
2. 지난달 출장 비용 신청서 제출
3. 영수증 PDF 업로드
4. 승인자 입력
5. 신청 제출
""")

# 매일 경쟁사 가격 확인
harness.execute("""
amazon.com을 방문하여 우리 핵심 제품 키워드를 검색하고,
상위 10개 결과의 가격과 평점을 기록하고,
비교 보고서를 생성
""")