네이버 서치 어드바이저에서 사이트를 등록했는데 네이버 robots. txt가 존재하지 않습니다 라고 뜰때
robots.txt란?
robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다.
라고 네이버 도움말에 쓰여 있는데, 이 말은 웹사이트에서 크롤링하며 정보를 수집하는 검색 크롤러가 내 사이트에서 접근/수집해도 되는 페이지가 무엇인지 해서는 안될 페이지가 무엇인지 알려주는 역할을 하는 파일이라는 것을 뜻한다.
robots.txt파일은 크롤러가 내 사이트에 접속하여 정보수집을하며
보내는 요청으로 인해사이트가 과부하되는 것을 방지하기 위해 사용한다.
쉽게 말해, robots.txt에서 허용한 페이지만 크롤링을 수행하고,
허용하지 않은 페이지는 크롤링을 하지 않는다.
robots.txt 설정방법
1. 네이버 서치어드바이저에 접속한 후 웹마스터 도구를 클릭한다.(네이버 서치어드바이저 링크 참조)
https://searchadvisor.naver.com/
네이버 서치어드바이저
네이버 서치어드바이저와 함께 당신의 웹사이트를 성장시켜보세요
searchadvisor.naver.com
2. 웹 마스터 도구 화면에서 사이트 목록에서 내 블로그 주소를 클릭한다.
3. 웹마스터 도구 / 요약 페이지의 왼쪽 메뉴에서 검증 → URL검사를 클릭한다.
4. URL입력창에 내 블로그 주소를 입력하고 확인을 누른다.
5. robots.txt가 존재하지 않는다고 뜬다. robots.txt를 생성해서 설정해주어야 한다.
6. 웹마스터 도구 / 요약 페이지의 왼쪽 메뉴에서 검증 → robots.txt를 클릭한다.
7. robots.txt 간단 생성에서 네이버 검색로봇, 수집을 허용합니다를 클릭한후 다운로드를 누른다.
8. 아래와 같이 다운로드 파일에 robots.txt가 다운로드 된 것을 알 수 있다.
9. 자신의 티스토리 블로그의 관리 페이지에 들어와서
꾸미기 → 스킨 편집을 클릭한다.
10. 오른쪽 상단의 html 편집을 클릭한다.
11. 그 다음 창에서 파일 업로드를 클릭한다.
12. + 추가를 눌러 작성한 robots.txt를 첨부 해준다.
13. robots.txt가 업로드 됐는지 확인하고 적용을 누른다.
14. 다시 네이버 서치어드바이저 창으로 돌아가 robots.txt정보에서 수집요청을 누르고
robots.txt 검증에서 자신의 블로그 주소를 입력하고 확인을 누른다.
15. 수집이 가능하다는 창이뜨고 확인을 누른다.
16. 다시 검증 → URL검사를 클릭한 후 자신의 블로그 주소를 입력한 후 확인을 누르면
"문서가 성공적으로 색인됐습니다." 라는 메시지가 뜨면서 설정이 완료된 것을 알 수가 있다.
17. 수집요청을 누르면 자신의 웹 페이지 수집요청을 하게 되고
수집 요쳥 결과에 "/"라고 뜨며 요청완료라고 뜬다.
18. 몇 분뒤 수집성공이라고 뜨면서 자신의 블로그가 사이트 수집이 잘됐는지 확인 할 수가 있다.
네이버 서치어드바이저를 등록하지 않았다면 아래 링크를 참고하면 된다.
네이버에 검색했을때 내 블로그 나오게 하는 방법(네이버 서치 어드바이저 등록, 네이버 최적화)
네이버에 검색했을때 내 블로그 나오게 하는 방법 다들 내 블로그가 검색을 했을때 상대적으로 상위에 노출되거나 노출 빈도가 많아 지길 바랄 것이다. 네이버나 다음, 구글등 우리가 평소에 사
develop-jw.co.kr
'티스토리, 구글 애드센스' 카테고리의 다른 글
| 애드센스 승인 후 광고 세팅 (0) | 2023.12.02 |
|---|---|
| 구글 애드센스 GDPR 동의 메시지를 작성하세요 해결 (0) | 2023.11.26 |
| 네이버에 검색했을때 내 블로그 나오게 하는 방법(네이버 서치 어드바이저 등록, 네이버 최적화) (0) | 2023.11.21 |
| 티스토리 다음 검색 등록, 다음 최적화 방법 (0) | 2023.11.20 |
| 구글 애드 센스 ads.txt 상태 : 찾을 수 없음 문제 해결 (0) | 2023.11.20 |
