반응형 서치 어드바이저 robots.txt 설정방법1 네이버 robots. txt가 존재하지 않습니다.(네이버 웹마스터 도구, 서치 어드바이저 robots.txt 설정방법) 네이버 서치 어드바이저에서 사이트를 등록했는데 네이버 robots. txt가 존재하지 않습니다 라고 뜰때 robots.txt란? robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다. 라고 네이버 도움말에 쓰여 있는데, 이 말은 웹사이트에서 크롤링하며 정보를 수집하는 검색 크롤러가 내 사이트에서 접근/수집해도 되는 페이지가 무엇인지 해서는 안될 페이지가 무엇인지 알려주는 역할을 하는 파일이라는 것을 뜻한다. robots.txt파일은 크롤러가 내 사이트에 접속하여 정보수집을하며 보내는 요청으로 인해사이트가 과부하되는 것을 방지하기 위해 사용한다. 쉽게 말해, robots.txt에서 허용한 페이지만 크롤링을 수행하고, 허용하지 않은 페이지는 크롤링을 .. 2023. 11. 23. 이전 1 다음 반응형
