AI Robot - Web Agent

Web Agent

작업 템플릿

부품 검색 - DigiKey 기본
부품 검색 - Mouser 기본
부품 검색 - LCSC 기본
Octopart 검색 커스텀
스크린샷 기본

템플릿을 실행하면 여기에 미리보기가 표시됩니다.

추출된 데이터가 없습니다

템플릿:

📊 ↑ 12%

전체 URL

✅ ↑ 8%

수집 완료

⏳

대기 중

⚠️ ↓ 50%

오류

실시간 수집 현황

전체 보기 →

현재 진행 중인 수집 작업이 없습니다

📄 최근 수집 항목

전체 보기 →

최근 수집된 항목이 없습니다

URL 풀 관리

등록된 URL이 없습니다

GitHub KiCad 프로젝트 검색

0 프로젝트 • 0 PCB • 0 대기 • 0 스캔됨

하드웨어 용어 검색

프로젝트

컴포넌트

기능 블록

Tindie 오픈소스 하드웨어

0 제품 • 0 • 0

제품	카테고리	판매자	가격	GitHub	액션

Bench Market DB Explorer

0 Projects • 0 Components • 0 Blocks • 0 Queue

GitHub Topic 기반 회로 레퍼런스 수집

Rate Limit 확인 중...

수집된 Topics

수집된 Topic이 없습니다.

회로 레퍼런스

회로 레퍼런스가 없습니다.
GitHub Topic에서 수집하세요.

Live Console 0

실행 중인 작업 없음

작업을 시작하면 로그가 표시됩니다

대기 중

파이프라인 흐름

🛍️

Tindie 크롤링

카테고리별 제품 URL 수집

crawl_tindie.py

→

GitHub URL 추출

제품 페이지에서 소스 링크 찾기

fetch_github_urls.py

→

📂

KiCad 분석

스키매틱/PCB 파싱, BOM 추출

run_github_kicad_parser.py

→

📊

벤치마킹 DB

프로젝트/컴포넌트 저장

benchmark_* 테이블

구현 현황

crawl_tindie.py - Tindie 크롤링

fetch_github_urls.py - GitHub URL 추출

run_github_kicad_parser.py - KiCad 파싱

benchmark_* 테이블 - DB 스키마

자동화 파이프라인 - 부분 구현

Placer 연동 - 대기

참고사항

봇 방어: Tindie는 AnubisHQ 봇 방어 사용 → 일부 GitHub URL이 잘못 추출될 수 있음
KiCad 버전: KiCad 5 (레거시 .sch), KiCad 6/7/8 (.kicad_sch) 모두 지원
Eagle CAD: .sch 파일 중 Eagle 형식은 자동 감지하여 스킵
임시 파일: 각 레포 클론 후 자동으로 임시 폴더 삭제됨

GitHub KiCad 파서 사용법

tindie_products 테이블에서 GitHub URL이 있는 제품을 자동으로 파싱하여 benchmark 테이블에 저장합니다.

기본 사용법

# 미처리 제품 전체 파싱 (기본)
python scripts/run_github_kicad_parser.py

# 미처리 제품 10개만 파싱
python scripts/run_github_kicad_parser.py -n 10

# 단일 URL 파싱
python scripts/run_github_kicad_parser.py --url https://github.com/user/repo

# 테스트 모드 (DB 저장 안함)
python scripts/run_github_kicad_parser.py --dry-run

처리 흐름

1. tindie_products에서 processed=0 인 GitHub URL 조회
2. 각 레포 git clone (--depth 1)
3. .kicad_sch, .sch, .kicad_pcb 파일 찾기
4. S-expression 파싱 → 컴포넌트 추출
5. benchmark_projects, benchmark_components 테이블에 저장
6. tindie_products.processed = 1 (성공) 또는 2 (실패) 업데이트
7. 임시 폴더 자동 삭제

지원 형식

• KiCad 6/7/8: .kicad_sch (S-expression)
• KiCad 5 레거시: .sch (텍스트 형식)
• PCB: .kicad_pcb (레이어 수, 풋프린트 보완)

※ Eagle CAD .sch 파일은 자동 감지하여 스킵됩니다.

스크립트 사용법

1. Tindie 크롤링

# 우선 카테고리만 (개발보드 관련)
python scripts/crawl_tindie.py --priority

# 전체 카테고리 (5페이지씩)
python scripts/crawl_tindie.py

# 현재 통계 확인
python scripts/crawl_tindie.py --stats

2. GitHub URL 추출

# 100개 제품 처리
python scripts/fetch_github_urls.py --limit 100

# 현재 통계 확인
python scripts/fetch_github_urls.py --stats

# 잘못된 URL 리셋
python scripts/fetch_github_urls.py --reset

3. KiCad 파싱 (GitHub)

# 전체 미처리 제품 파싱
python scripts/run_github_kicad_parser.py

# 10개만 파싱
python scripts/run_github_kicad_parser.py -n 10

4. 저수준 파서 (직접 호출)

# 단일 GitHub URL 분석
python scripts/parse_kicad_github.py https://github.com/user/repo

# JSON 파일로 출력
python scripts/parse_kicad_github.py https://github.com/user/repo -o output.json

데이터베이스 테이블

tindie_products

Tindie 크롤링 데이터

id - PK
url - 제품 URL
title - 제품명
has_github - GitHub 여부
github_url - GitHub URL
processed - 0/1/2

benchmark_projects

프로젝트 메타

project_id - PK
name - 프로젝트명
github_repo - GitHub URL
kicad_version - 버전
total_components - 컴포넌트 수
tindie_product_id - FK

benchmark_components

BOM 컴포넌트

component_id - PK
project_id - FK
ref - 레퍼런스
value - 값
footprint - 풋프린트
category - R/C/U 등

benchmark_blocks

기능 블록

block_id - PK
project_id - FK
name - 블록명
component_refs - JSON

스키마 파일

modules/web_agent/sql/benchmark_tables.sql
sql/tindie_products.sql

프로젝트 정보

컴포넌트 통계

기능 블록

컴포넌트 목록 0

Ref	Value	Package	MPN	Manufacturer	Role

새 용어 추가

0 전체 0 활성화 0 비활성화

	용어	카테고리	우선순위	검색 결과	마지막 검색	상태	액션

새 템플릿 생성

Claude CLI가 웹사이트를 분석하여 자동으로 Playwright 템플릿을 생성합니다.

URL 입력

목적 선택

분석 결과

저장

대상 URL

분석할 웹사이트 주소를 입력하세요

작업 유형

분석 완료

https://octopart.com 에서 5개의 요소를 찾았습니다.

액션 시퀀스 0

팁: Tab으로 들여쓰기 Ctrl+Z로 실행 취소 Ctrl+Shift+F로 정리

요소 미리보기

하이라이트 전체

100%

URL을 분석하면 미리보기가 표시됩니다

0 실행된 액션

0 추출 항목

0ms 소요 시간

액션 실행 로그

템플릿 이름

설명 (선택)

Live Console 0

템플릿을 실행하면 여기에 실시간 로그가 표시됩니다

대기 중

도움말

Web Agent 사용 가이드

셀렉터란?

웹페이지에서 특정 요소를 찾기 위한 CSS 선택자입니다. Claude CLI가 자동으로 최적의 셀렉터를 찾아줍니다.

input[name="q"] → 검색창
.price-value → 가격 표시

"추정" 상태란?

Claude CLI가 높은 확신을 가지지 못한 셀렉터입니다. 테스트 실행 후 수동으로 확인하는 것을 권장합니다.

테스트 실행

저장하기 전에 "테스트 실행" 버튼으로 템플릿이 정상 동작하는지 확인하세요.

수동 편집

셀렉터가 정확하지 않다면 직접 수정할 수 있습니다. 셀렉터 옆 편집 버튼을 클릭하세요.

실시간 수집 현황

📄 최근 수집 항목

Tindie 오픈소스 하드웨어

Bench Market DB Explorer

GitHub Topic 기반 회로 레퍼런스 수집

수집된 Topics

회로 레퍼런스

새 템플릿 생성

분석 완료

액션 시퀀스 0

요소 미리보기

테스트 파라미터

추출된 데이터

액션 실행 로그

오류 정보

유효성 검사

도움말

-

액션 분포

-

액션 목록

AI 분석 중...

도구

실시간 수집 현황

📄 최근 수집 항목

Tindie 오픈소스 하드웨어

Bench Market DB Explorer

GitHub Topic 기반 회로 레퍼런스 수집

수집된 Topics

회로 레퍼런스

파이프라인 흐름

구현 현황

참고사항

GitHub KiCad 파서 사용법

스크립트 사용법

데이터베이스 테이블

스키마 파일

프로젝트 정보

컴포넌트 통계

기능 블록

컴포넌트 목록 0

새 용어 추가

관련 Repositories

컴포넌트

넷

새 템플릿 생성

분석 완료

액션 시퀀스 0

요소 미리보기

테스트 파라미터

추출된 데이터

액션 실행 로그

오류 정보

유효성 검사

도움말

새 액션 추가

저장된 작업 발견

-

액션 분포

-

액션 목록

AI 분석 중...

도구