Semalt Expert : Google이 기존 사이트 맵을 크롤링하지 못하게하는 가이드

웹 사이트가 성장함에 따라 인터넷에서 가시성과 신뢰성을 향상시킬 수있는 방법을 찾기 위해 최선을 다할 것입니다. 때때로, 우리 사이트의 작동 방식에 대한 영향이 뒤쳐져 있으며, 이것이 우리가 주목해야 할 곳입니다.

Google이 기존 사이트를 크롤링하지 못하도록하기 위해 Semalt 의 고객 성공 관리자 인 Max Bell의 다음 팁을 확인하십시오.

몇 주 전에 내 고객 중 한 명이 전자 상거래 웹 사이트를 가지고 있다고 말했습니다. URL 구조에서 사이트 맵에 이르기까지 다양한 변경이 이루어졌으며 사이트가 더 잘 보이도록 모든 것이 수정되었습니다.

고객이 Google 검색 콘솔에서 일부 변경 사항을 발견 한 후 크롤링 오류가 발견되었습니다. 그는 가짜 트래픽을 생성하는 많은 수의 이전 URL과 새 URL이 있음을 관찰했습니다. 그러나 그중 일부는 Access Denied 403 및 Not Found 404 오류를 표시했습니다.

고객이 가장 큰 문제는 루트 폴더에 있던 오래된 사이트 맵이라고했습니다. 그의 웹 사이트는 이전에 다양한 Google XML Sitemaps 플러그인을 사용했지만 이제는 사이트 맵을 위해 Yoast의 WordPress SEO에 의존했습니다. 그러나 다양한 오래된 사이트 맵 플러그인이 그를 혼란스럽게 만들었습니다. sitemap.xml.gz라는 루트 폴더에 존재했습니다. 모든 게시물, 페이지 카테고리 및 태그에 대한 사이트 맵을 작성하기 위해 Yoast 플러그인을 사용하기 시작한 이후 더 이상 해당 플러그인이 필요하지 않았습니다. 불행하게도, 그 사람은 sitemap.xml.gz를 Google 검색 콘솔에 제출하지 않았습니다. 그는 Yoast 사이트 맵 만 제출했으며 Google은 이전 사이트 맵도 크롤링했습니다.

무엇을 크롤링합니까?

사용자가 루트 폴더에서 이전 사이트 맵을 삭제하지 않아 색인이 생성되었습니다. 나는 그에게 돌아와서 사이트 맵이 검색 엔진 결과에서 크롤링되어야하는 것에 대한 제안 일 뿐이라고 설명했다. 이전 사이트 맵을 삭제하면 Google이 사용하지 않는 URL을 크롤링하지 못할 것이라고 생각할 수도 있지만 사실이 아닙니다. 내 경험에 따르면 Google은 모든 이전 URL을 하루에 여러 번 인덱싱하려고 시도하여 404 오류가 실수가 아닌 실제 오류인지 확인합니다.

Googlebot은 사이트의 사이트 맵에서 찾을 수있는 이전 및 새 링크의 메모리를 저장할 수 있습니다. 정기적으로 웹 사이트를 방문하여 모든 페이지가 올바르게 색인되도록합니다. Googlebot은 방문자에게 문제가 발생하지 않도록 링크가 유효한지 평가합니다.

크롤링 오류 수가 증가하면 웹 마스터가 혼란 스러울 것입니다. 그들 모두는 그것을 크게 줄이려고합니다. 기존 사이트 맵을 모두 무시하도록 Google에 알리는 방법은 무엇입니까? 원치 않는 이상한 사이트 맵 크롤링을 모두 종료하면됩니다. 이전에는이를 가능하게하는 유일한 방법은 .htaccess 파일이었습니다. 플러그인을 제공해 주신 WordPress에 감사드립니다.

WordPress 웹 사이트는이 파일을 루트 폴더에 있습니다. 따라서 FTP에 액세스하고 cPanel에서 숨겨진 파일을 활성화하면됩니다. 파일 관리자 옵션으로 이동하여 요구 사항에 따라이 파일을 편집하십시오. 잘못 편집하면 사이트가 손상 될 수 있으므로 항상 모든 데이터를 백업해야합니다.

스 니펫을 파일에 추가하면 만료 된 모든 URL이 즉시 크롤링 오류에서 사라집니다. 404 오류의 가능성을 줄이면서 Google이 사이트를 계속 운영하기를 원한다는 것을 잊지 마십시오.