태그 '크롤러'에 해당하는 글 1건

◆사이트맵(Sitemap, http://www.sitemaps.org) = 단순화 된 XML 파일의 한 종류다. 이 파일에는 해당 웹사이트 디렉토리 구조 및 메타데이터가 담겨 있다. 일종의 웹사이트 지도인 셈이다.

검색엔진 크롤러는 모든 웹사이트의 구조를 한 번에 파악할 순 없다. 콘텐츠 및 메타데이터를 크롤링 해 효율적으로 색인화 작업을 하기 위해서는 사이트맵의 도움이 필요하다. 또한 사이트맵을 통해 원하지 않는 색인화도 막을 수 있다.

그러나 사이트맵이 있다고 해서 반드시 해당 검색엔진에 등록되는 것은 아니다. 크롤러에게 더 효율적인 작업을 할 수 있도록 ‘힌트’를 주는 것에 불과하다. 사이트맵 프로토콜에 대한 보다 자세한 내용은 http://www.sitemaps.org/protocol.html 를 참고하면 된다.

http://www.sitemaps.org/protocol.html
http://www.sitemaps.org/faq.html#faq_after_submission

 

출처- http://kurapa.com