• LF몰 이벤트
  • 파일시티 이벤트
  • 서울좀비 이벤트
  • 탑툰 이벤트
  • 닥터피엘 이벤트
  • 아이템베이 이벤트
  • 아이템매니아 이벤트

[공학]perl을 이용한 웹페이지 crawler

*동*
개인판매자스토어
최초 등록일
2007.04.25
최종 저작일
2006.12
8페이지/ 한컴오피스
가격 1,000원 할인쿠폰받기
다운로드
장바구니

소개글

perl을 이용하여 웹페이지 crawler.
레포트로 만들었음

목차

◆ Clawling 할 웹페이지
◆ Crawler(crawler.pl) 소스
◆ 실행 화면
◆ Crawling된 파일과 Text파일 ( ls -v 실행 )
◆ 문제점과 보안할 점

본문내용

◆ Crawler(crawler.pl) 소스

#! usr/bin/perl

$count=0;
$index=1;
$num = 3001;

while($count < 1000){
#시작페이지 URL
$address="http://news.empas.com/show.tsp/cp_gn/20061220n1$num";

#wget을 이용하여 페이지 받아옴
if($address=~ /http/i){
`wget -O $index.html $address`;
}

#받아온 페이지 파일 open
open(html,"$index.html") || die "Can`t open text$index.txt!!";
@arr = <html>; #배열에 넣고
foreach $line (@arr) { #foreach문 사용하여 원소들을 순회
#제목 추출 부분
if ($line =~ /<font class=s_head><b>(.*)<\/b>/) {
$fetched_title = $1;
}
}

foreach $line (@arr) {
#내용 추출 부분
if ($line =~ /<span id=newsContent>(.*)<\/span>/) {
$fetched_content = $1;
}
}
if($fetched_content =~ /<*>/gi){ #추출된 내용중 태그부분 치환
$fetched_content =~ s/<*b>//gi;
$fetched_content =~ s/<p>/\n/gi;
$fetched_content =~ s/ / /gi;
$fetched_content =~ s/<br>//gi;
$fetched_content =~ s/&/&/gi;
$fetched_content =~ s/"/"/gi;
$fetched_content =~ s/</</gi;

참고 자료

없음

태그

#Perl#소켓#인터넷소프트웨어#crawler#crawling

이 자료와 함께 구매한 자료

*동*
팔로우 판매자 스토어
판매자 유형Bronze개인

주의사항

저작권 자료의 정보 및 내용의 진실성에 대하여 해피캠퍼스는 보증하지 않으며, 해당 정보 및 게시물 저작권과 기타 법적 책임은 자료 등록자에게 있습니다.
자료 및 게시물 내용의 불법적 이용, 무단 전재∙배포는 금지되어 있습니다.
저작권침해, 명예훼손 등 분쟁 요소 발견 시 고객센터의 저작권침해 신고센터를 이용해 주시기 바랍니다.
환불정책

해피캠퍼스는 구매자와 판매자 모두가 만족하는 서비스가 되도록 노력하고 있으며, 아래의 4가지 자료환불 조건을 꼭 확인해주시기 바랍니다.

파일오류 중복자료 저작권 없음 설명과 실제 내용 불일치
파일의 다운로드가 제대로 되지 않거나 파일형식에 맞는 프로그램으로 정상 작동하지 않는 경우 다른 자료와 70% 이상 내용이 일치하는 경우 (중복임을 확인할 수 있는 근거 필요함) 인터넷의 다른 사이트, 연구기관, 학교, 서적 등의 자료를 도용한 경우 자료의 설명과 실제 자료의 내용이 일치하지 않는 경우

이런 노하우도 있어요!더보기

최근 본 자료더보기
탑툰 이벤트
[공학]perl을 이용한 웹페이지 crawler
AI 챗봇
2024년 08월 30일 금요일
AI 챗봇
안녕하세요. 해피캠퍼스 AI 챗봇입니다. 무엇이 궁금하신가요?
10:34 오전
문서 초안을 생성해주는 EasyAI
안녕하세요. 해피캠퍼스의 방대한 자료 중에서 선별하여 당신만의 초안을 만들어주는 EasyAI 입니다.
저는 아래와 같이 작업을 도와드립니다.
- 주제만 입력하면 목차부터 본문내용까지 자동 생성해 드립니다.
- 장문의 콘텐츠를 쉽고 빠르게 작성해 드립니다.
베타기간 중 사용 가능한 무료 코인 10개를 지급해 드립니다. 지금 바로 체험해 보세요.
이런 주제들을 입력해 보세요.
- 유아에게 적합한 문학작품의 기준과 특성
- 한국인의 가치관 중에서 정신적 가치관을 이루는 것들을 문화적 문법으로 정리하고, 현대한국사회에서 일어나는 사건과 사고를 비교하여 자신의 의견으로 기술하세요
- 작별인사 독후감
방송통신대학 관련 적절한 예)
- 국내의 사물인터넷 상용화 사례를 찾아보고, 앞으로 기업에 사물인터넷이 어떤 영향을 미칠지 기술하시오
5글자 이하 주제 부적절한 예)
- 정형외과, 아동학대
“EasyAI 가 작성한 문서 초안은 완벽하지 않을 수 있습니다"