'robot.txt'에 해당하는 글 1건

어떤 블로거의 글을 통해 자신의 글이 언젠가부터 네이버에서 검색이 되고 있어서 불쾌하다는 의미의 글을 읽게 되었다.
뭐... 왜 불쾌한지, 그리고 어떤 연유로 네이버에 대한 반감을 가지게 되었는지 자초지정을 알 수 없기에, 다 이해할 수는 없지만...
이런거 저런거 다 떠나서 그 글의 논리를 나로서는 이해할 수 없다.

그 글을 요점 정리 하자면...
올블로그에만 글을 제공했고, 네이버에는 글을 제공한적 없는데, 올블로그와 네이버가 짝짝궁 해서 갑자기 네이버에서 올블로그 글들이 검색되게 되었고, 그래서 네이버 리퍼러가 늘어났다 이다.
그리고, 왜 네이버에 글을 주지 않았는데, 네이버에서 내 글이 검색되느냐? 이다.

하지만, 내가 알기로는 검색 로봇이 어떠한 컨텐츠를 읽어가고 데이터베이스 화 시키는 데 있어서 지켜야 할 것은 robot.txt 파일 하나로 알고 있다.(물론 더 많은 조건이 있을 수도 있겠지만, 내가 알기론 이거 하나다.)
자신의 사이트가 검색당하지 않기를 원한다면, robot.txt에 분명히 명시하면 검색 로봇은 해당 자료를 pass 할 것이고 당연히 검색은 안될 것이다.

따라서 robot.txt에 명시하지 않은 상태에서 네이버에서 해당 컨텐츠가 검색되는 것 자체에는 별다른 문제가 없어 보인다.
그런식으로 따지면, 구글에 내글 검색되는 것도... 주지도 않았는데 왜 검색하냐는 식의 논리로 따지고 들면... 할말 없어지는 것 아닐까?
오히려 이러한 규약을 잘 지키지 않는 로봇을 탓하는게 논리상 맞는 말 아닐까?

구글, FF가 하면 로맨스이고, 네이버가, MS가 하면 불륜 식의 사고방식이 사라지는 때는 과연 언제일까?
업체가 아니라 해당 팩트에 관련된 내용만을 가지고 이야기 하는 것이 옳은 것 아닐까?

오히려 나는 네이버가 더 많은 컨텐츠를 검색해 주지 못하는게 불만이다.
구글에 뒤지지 않는 네이버의 검색이 되기를, 아니... 국내 검색업계가 구글보다 더 뛰어난 검색엔진을 만들기를 바랄 뿐이다.
신고

WRITTEN BY
체리필터
프로그램 그리고 인생...

받은 트랙백이 없고 , 댓글  2개가 달렸습니다.
  1. 아주작은새 2007.03.21 11:10 신고
    네이버가 패쇠정책을 변경치 않는 이상....
    혹은
    네이버가 구글 이상의 db 를 확보하거나 혹은 광고들 좀 치워주면 (최소한 서핑하는데 방해는 안되게...)
    바램이 이루어질까요?
    • 예전에 자체적인 세미나에서도 그런 자성의 목소리가 있긴 해었습니다.
      하지만 그건 개발자들 개인의 생각일 뿐이죠 ^^

      뭐 광고를 가지고서 이익을 추구하는 것 까지야 뭐라고 할 순 없지만, 검색의 결과에 있어서 좀더 많은 웹페이지와 양질의 검색결과가 나오는 것을 바랄 뿐입니다.

      구글의 검색결과 소팅에 버금가게... 첫눈의 스노우 랭크 시스템을 검색결과에 적용해 좋은 결과가 상위에 오도록 하는 시스템이 반영되면 좋겠어요 ^^
secret