robots.txt 점검

robots.txt 한 줄 때문에 네이버나 구글 검색에서 통째로 빠지는 사이트가 생각보다 많습니다. 주소를 넣으면 검색 로봇과 AI 로봇이 그 페이지를 읽을 수 있는지 알려 드립니다.

네이버 로봇을 허용하는 기본 형태

User-agent: *
Allow: /

User-agent: Yeti
Allow: /

Sitemap: https://내도메인/sitemap.xml