핵심 요약: 크롤링 로그 데이터에서 두 가지가 보였다. 네이버는 크롤링에 투자하지 않아 절대적인 정보량에서 뒤처지고, LLM 크롤러는 HTML 파일만 요청한다. 구조화 데이터의 AI 인용 효과에도 의문이 남는다.
네이버 검색결과가 광고일 수 밖에없는 이유
첫번째, 크롤링 로그 데이터를 들여다보면 네이버는 웹문서 수집 행동인 크롤링에 투자하지 않는다는 것을 보여줍니다.
크롤링에 투자하지 않으니 자연스럽게 검색 자체의 능력에서 뒤처질수밖에 없습니다. 검색자의 의도에 맞는 검색어에 맞는 문서를 serving 하기전에 절대적인 정보의 양도 부족하기때문이죠. 종종 광고가 빠지면 아무런 검색결과를 제공하지 못하는 이유일수도 있습니다.
무려 구글에 비해서는 수치상 10배의 차이를 보이며, 빙 발끝에도 미치지 못합니다. 상세 수치에는 심지어 페이스북, 틱톡만큼 크롤링 하고있지 않았습니다.
가진 절대적인 정보의 양에서의 차이가 주는 답변 퀄리티의 격차는 검색뿐만 아니라 앞으로 AI 시대에서도 더 커질 수 있을거라 개인적으로 예측합니다.
LLM 모델 크롤러들은 HTML 파일만 요청한다.
크롤링 로그 데이터를 보면 LLM 모델은 HTML 파일들만 요청하고 크롤링해갔다는 사실을 알 수 있습니다. 최근 LLM 모델들이 text 만 크롤링해간다는 주장들을 크롤링 로그 데이터 분석을 통해 좀 더 힘을 실어줄 수 있을 것 같습니다.
AI 검색 최적화를 위해서 구조화된 데이터 (Structured Data) 의 사용이 인용률을 올려주었다, 혹은 굉장히 효과가 있었다 라는 주장에 의문이 항상 있었는데, 실제로는 LLM 모델들이 전혀 가져가지 않는 정보일수도 있습니다. 단지 AI 생성형 응답의 모습이 검색 스니펫의 모습과 비슷해서 상관관계로 보일 수도 있을것 같습니다.
⚠️ 위 제 의견들은 하나의 웹사이트 크롤링 로그 데이터만 확인하여 지나친 일반화일 수도 있습니다. 때문에 다른 웹사이트의 크롤링 경향과 수치가 다를 수 있습니다. 다른 경향을 보이는 웹사이트를 사례를 공유해주시면 함께 공부가 될 수 있을거같습니다! 🙏