정보 & 상식/IT
네이버 웹마스터 도구를 이용한 robots.txt 생성 및 설정
robots.txt란 무엇일까요? robots.txt 파일은 '인터넷 검색엔진 로봇 배제 표준' 이며 일반 텍스트 파일로써 기본적으로 사이트의 루트에 위치합니다. 그리고 그 파일 안에 하나 이상의 규칙을 만들 수 있는데요. 각 규칙은 특정 크롤러가 웹사이트에서 지정된 파일 경로에 액세스 할 수 없게 권한을 차단하거나 허용할 수 있습니다. 한마디로 크롤러의 트래픽을 관리할 수 있게 만들어 주는 규칙 파일입니다. *크롤러(crawler) : 무수히 많은 웹상에 나뉘어 저장돼 있는 다양한 정보를 수집해 검색대상의 색인으로 포함시키는 기술을 갖는 프로그램을 말합니다. 보통 웹페이지의 내용을 그대로 복제한 뒤 필요한 데이터를 추출하기도 하기 때문에 그 추출한 정보를 이용해 부당이득을 얻기도 하여 법정 분쟁을 야기..
2020. 4. 20. 00:41
최근댓글