반응형 네이버 서치어드바이저1 네이버 robots. txt가 존재하지 않습니다.(네이버 웹마스터 도구, 서치 어드바이저 robots.txt 설정방법) 네이버 서치 어드바이저에서 사이트를 등록했는데 네이버 robots. txt가 존재하지 않습니다 라고 뜰때 robots.txt란? robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다. 라고 네이버 도움말에 쓰여 있는데, 이 말은 웹사이트에서 크롤링하며 정보를 수집하는 검색 크롤러가 내 사이트에서 접근/수집해도 되는 페이지가 무엇인지 해서는 안될 페이지가 무엇인지 알려주는 역할을 하는 파일이라는 것을 뜻한다. robots.txt파일은 크롤러가 내 사이트에 접속하여 정보수집을하며 보내는 요청으로 인해사이트가 과부하되는 것을 방지하기 위해 사용한다. 쉽게 말해, robots.txt에서 허용한 페이지만 크롤링을 수행하고, 허용하지 않은 페이지는 크롤링을 .. 2023. 11. 23. 이전 1 다음 반응형
