웹사이트가 검색되게 하는 방법

네이버나 구글 같은 웹엔진은 각각의 크롤러를 가지고 있다.

웹의 검색 방법

이러한 크롤러는 robot.txt즉 크롤링이 가능한지에 대해 먼저 확인하고, 크롤링이 가능하다면, sitemap.xml 파일을 통해서 사이트에 대한 정보를 크롤링 한다.

이렇게 크롤링 한 파일을 네이버에 송출하는것이 검색과 우리가 사이트를 보는 원리이다.

그렇다면 이를 어떻게 우리가 연결해줄까?

이를 연결하기 위해서는 두개의 작업이 필요하다.

1. robots.txt
2. sitemap.xml

1. robots.txt 만들기

서치 어드바이저에서 웹 마스터 도구에서 사이트 등록을 하게 된다.

이렇게 사이트 등록을 하게 된다.

이후 사이트 확인을 하게 된다.

이처럼 태그 혹은 파일 업로드를 통해서 사이트 등록을 하게 된다.

이때 업로드를 하면 html 파일을 다운받게 되는데 이를 해당 폴더에 넣고 사이트를 업데이트 하게 되면 완료.

 

이후 위와 같은 결과창이 나오면 완료이다.

이후 밑에 업로드된 사이트 url중에 내가 올린것을 눌러보면 아래와 같이 나오는데

 

이중 검증에서 robots.txt 간단생성이라는 메뉴가 있다.

여기에서

 

수집을 허용해야한다.

그렇게 다운받은 txt파일을, 동일하게 해당 작업폴더에 넣어주고, 끝.

2. sitemap.xml

 

구글에 sitemap generator이라고 검색하면 나온다.

여기서 입력하고 나서 xml파일이 만들어지고 이를 다운 받아서 사이트 업데이트를 해주면 완료.

이후 요청에서 사이트맵을 제출하면 된다.