웹페이지, 모바일 친화성 테스트 하는법 sitemap.xml robots.txt

회사에서 업무를 하다가 홈페이지에 검색엔진 최적화를 하고 싶다고 오셨었다. 웹 개발을 그래도 5년 정도 했는데 검색엔진 최적화에 대해서는 제대로 해본 적이 없어서 걱정했는데 직접 모바일 친화성 테스트랑 페이지 로딩 시간 등의 테스트를 해보셨는데, 검색이 안된다고 문의를 주셨음

 

잘 모르는 것이긴 하지만, 알필요는 있다고 생각이 들었고 찾아보면 답이 나오겠지 싶어서 이것저것 하다가 알게 된 내용이 있어서 작성해본다.

 

일단 검색엔진최적화를 위해서 하는 일들이 있는데 그중 한 가지가 모바일 친화성 테스트라는 것이다. 요즘은 PC 유저도 많기는 하지만 모바일 유저가 훨씬 많아서 웹페이지 접근 시에 대부분 모바일로 접근한다는 것이다. 그렇기 때문에 운영하고 있는 사이트가 모바일 친화적으로 구성이 되어 있는지 볼 필요가 있다는 것이지

 

 

 

728x90

 

모바일 친화성 테스트

 

https://search.google.com/test/mobile-friendly?hl=ko 

모바일 친화성 테스트 - Google Search Console

 

 

모바일 친화성 테스트는 위 페이지에 접속한 다음에 URL만 입력하면 할 수 있다. 세팅이 잘되어 있으면 바로 친화적이다 아니다 등등의 결과가 나오는데, 내가 해야하는 홈페이지 같은 경우는 아예 검색이 되지 않았음

 

 

반응형

 

모바일 친화성 테스트 결과

 

위처럼 URL을 Google에 등록할 수 없음이 나오고 크롤링 실패가 나왔다. 처음에는 상세내용 확인하지 않고 왜 안되지 하느라 바빴는데 상세 내용을 한번 눌러보니까 "Robots.txt"를 찾을 수 없다는 내용이 나왔다

 

robots.txt 같은 경우에는 봇이 크롤링 할 수 있도록 허용하냐 안 허용하냐 등의 설정을 해줄 수 있는 것이라 보면 되는데, 대부분 아래처럼 세팅되어 있을 것

 

User-agent: *
Disallow: /

 

이는 모든 봇에대하여 비허용 한다는 뜻인데, 구글 봇 자체는 허용해줘야 할 것 같아서 User-agent에 Googlebot을 추가하고 Disallow에 아무것도 입력을 안 했다. 그렇게 하고서 운영서버에 반영했는데도 제대로 되지는 않아서 난감

 

 

 

 

그렇게 계속하고 있다가 보니 sitemap.xml에 관한 내용이 계속 보였다. sitemap같은 경우는 현재 사이트에 있는 URL을 문서화하여 더 검색이 잘될 수 있게 도움을 준다고 보면 된다. 사이트맵이 무조건 필수는 아니지만, 혹시나 하고 적용을 해보니까 갑자기 크롤링이랑 잘되는 것(?)! 아 이 이유였구나 싶어서 다른 사이트에도 똑같이 했지만, 안돼서 아직 연구 중이다

 

해보고 결과를 알게 되면 또 블로그에 써보겠습니다