웹크롤러 주요 기능
◆ java 기반의 고속 수집기
◆ 윈도우즈 브라우즈 기반의 Human Like 수집기를 통한 웹상의 모든 데이터 수집 가능
◆ 로그인 및 세션관리 사이트 수집
◆ 다양한 콘텐츠 수집/분석 기능 ◆ URL Checker에 의한 Dead link 체크
◆ 키워드에 의한 수집 정보 추출 처리
◆ 수집결과 지정 DBMS 저장 처리
◆ 스케줄링에 의한 수집시간 관리 처리
◆ HTML 문서에서 원하는 TAG의 정보만 추출하는 파싱 처리 ◆ 특정 사이트 및 특정정보 수집 처리
◆ 다양한 DBMS 연계 처리
◆ 편리한 관리 인터페이스 제공
◆ 각 Robot Agent별 Rule 처리
◆ 블로그, 카페, 대용량 게시판 수집
|