[Perl] 펄로 만든 웹 크롤러(Web Crawler)

소개글

파일에는 보고서와 소스파일(윈도우 & 리눅스용), wget 파일이 들어있습니다..
윈도우에서 실행시킬 때는 먼저 윈도우용 펄을 인스톨해야 합니다..
프로그램 설명과 주석을 자세히 적어서 이해하는데는 큰 문제 없을 겁니다..


1. 프로그램 설명

이 프로그램은 엠파스에서 뉴스 기사를 가져와 text 파일로 저장하고, 기사에 나오는 중요단어들을 검색하여 웹 브라우저에 링크를 출력하도록 코딩되었다. 윈도우용과 리눅스용 2가지로 제작되었는데 차이점은 시스템 명령어 cls 대신에 clean이 사용되는 것과 웹 브라우저를 익스플로러 대신 모질라를 사용한다는 것뿐이다. 한 가지 주의점은 리눅스에서는 wget이 내장되어 있기 때문에 그냥 사용하면 되지만, 윈도우에서는 wget이 해당 폴더에 있어야만 한다는 것이다.

[그림 1]

[그림 1]에서 볼 수 있는 것처럼 프로그램을 시작하면 가져올 기사의 수와 만들어질 text 파일의 이름을 입력할 수 있다. 만약 아무것도 입력하지 않을 경우에는 디폴트로 지정된 수와 이름이 사용된다. 크롤링이 진행되는 동안 지금 무슨 일을 하고 있는지 사용자가 보다 명확하게 알 수 있도록 하기 위해 wget으로 가져온 파일에서 text 파일로 기사내용을 옮기는 과정을 sampling, filtering, indexing으로 구분해 화면에 출력하도록 했다. 과제에서 주어진 내용대로 조사나 어미 등을 제외한 단어의 빈도수를 체크하기 위해 문자열 치환 방식을 사용해서 각종 문장부호들과 조사, 접속사, 부사 등은 공백으로 치환한 후 어절 단위로 나누어 배열에 담았다.
빈도수 순서대로 주제어를 출력하는 알고리즘은..........

컴파일 실행환경

Linux

압축파일 내 파일목록

인터넷 소프트웨어 - Web Crawler.hwp
인터넷 소프트웨어 - Web Crawler.zip

참고 자료

없음