핵심 요약: 색인과 랭킹보다 크롤링 환경이 먼저다. 자바스크립트 렌더링은 크롤링 예산을 낭비시키고, LLM 크롤러는 자바스크립트를 렌더링하지 않기 때문에 AI가 우리 웹사이트 내용을 전혀 모를 수 있다.
(Feat. JavaScript)
우리 웹사이트에 크롤러가 접근했을때 어떻게 크롤링예산을 사용하고 있는지, 콘텐츠를 얼마나 이해했는지, 연관 문서 링크를 통해 크롤러가 이동 할 수 있는지 등등 크롤 환경을 간과하고 뒷단의 색인, 랭킹에만 집중 개선에 목매고있지만 전혀 빛을 못보는 경우가 있습니다.
이런 경우는 대부분 웹사이트 크롤링 환경을 전혀 고려하지 않은게 원인인데요. 그 중 자바스크립트를 SEO를 전혀 고려하지 않고 웹사이트를 구축한 경우가 대부분입니다.
크롤링 환경이 점점 중요해지는 이유
- 자바스크립트 콘텐츠 이해를 위해 거치는 렌더링 과정에서 발생하는 오류로 인한 크롤러 예산 낭비.
- 구글봇은 크롤러 중에서 자바스크립트 렌더링에 가장 많이 리소스를 투자합니다. 다른 검색엔진은 구글만큼 이해하지 못할수있습니다.
- LLM 모델의 크롤러들은 Textual 콘텐츠만 다운로드한다. 검색엔진처럼 자바스크립트를 렌더링하지 않습니다. 어쩌면 특히 AI 는 우리 웹사이트 내용을 하나도 모를 수 있습니다.
- 웹사이트의 규모가 커질수록 크롤링 환경으로 인해 주요 콘텐츠가 발견되지 못하거나, 크롤링 빈도가 낮아지고, 크롤링 예산 낭비가 있을 수 있습니다
결론적으로 우리 웹사이트는 HTML 구현이 우선되어야하지만, 자바스크립트를 사용해야만 할 때 어떤점을 고려해야하는지를 알아야하는것이 중요합니다.
구글이 정리한 자바스크립트로 발생하는 흔한 SEO 이슈와 크롤러가 이해할수 있는 SEO 친화적인 자바스크립트에 대해 언급한 내용을 아래 아티클로 정리했습니다 [링크]