새로운 봇 Yeti 오늘 블로그의 참조 URL을 확인하다가 조금 재미있는 글을 읽었다. 네이버에서 운영하고 있는 봇은 두 개인데 하나는 NaverRobot이고 또 다른 하나는 Yeti라는 것이다. 그런데 더 재미있는 것은 Yeti 봇이 방문하면 블로그의 방문자 수가 증가한다는 것이었다. 과..
passerby안녕하세요 저번에 비디오 사이트맵 질문을 했던 사람입니다. 사이트에 성인 카타고리가 있습니다, 물론 인증을 받아야합니다. 그래서 질문 robots.txt 파일을 올리려는데 개인적으로 인증장치가 있으니 상관 없이 User-Agent: * Allow: / 이렇게 올려도 될.....
▶ robots.txt 란? robots.txt 파일은 사이트를 방문하는 검색엔진의 로봇들에게 해당 사이트의 내용공개에 대한 정책을 담고 있는 파일입니다. 사이트에 검색엔진의 로봇이 방문을 하게되면, 로봇이 하는 첫번째 행동이 바로 최상위 디렉토리에 robots.txt 파일이 .....
GNU 자유 문서 사용 허가 (GFDL / 한국어) : 원저작자표시-사용제한금지-동일조건변경허락 벌레의 유형 네이버 블로그에 그림 파일이나 그밖에 파일을 올리면 그 저작권 설정(또는 공개 설정)에 상관 없이 네이버 안에서만 이용할 수 있다. 이 벌레는 유난히 거.....
robots.txt 파일 만드는 방법 robots.txt 파일은 검색 엔진에서 보이는 파일 내용을 가져가는것을 제어 할수 있습니다. robots.txt 파일속에 User-agent: *Disallow: / 이렇게 적어두게 되면 모든 검색에서 제외가 됩니다. robots.txt 파일속에 User-agent: *Disallo.....
네이버도 SEO가 가능 한가요? 결론부터 말하자면 아니오 입니다. 네이버는 봇들의 크롤링을 막아놨습니다. 쉽게 말해 네이버는 타사(구글, 야후 등등) 에서 자료들을 못 가져가게 막아놨습니다. 남의꺼는 훔쳐와도, 내껀 못주겠다. 완전 도둑놈 심보죠... 그래서 네.....
?오늘 새벽(한국 기준) 오바마가 미국의 44대 대통령으로 취임했습니다.회사에 같이 계신분의 제보(!)로 재밌는 사실을 알게 되었습니다. 바로 부시 전대통령 시절과, 새로운 오바마 대통령의 백악관(the White House) 홈페이지에 robots.txt 파일 차이에 대한 정보.....
우리 시간으로 오늘 새벽, 오바마 대통령의 취임과 동시에 백악관 웹사이트가 리뉴얼되었습니다. 많은 볼거리가 있지만, 여기서는 한번 기술적인 면으로 접근해보겠습니다. 공식 블로그 개설 리뉴얼과 함께 공식 블로그도 개설되었습니다. 관련글 : 2009/01/21 - .....
robots.txt 란..‘인터넷 검색엔진 배제표준(Robots Exclusion Protocol)’이란 보안이 필요한 내용이 검색엔진에 유출되지 못하도록 웹 페이지를 작성하는 방법을 기술한 국제기술표준이다. 모든 검색로봇이 이 표준을 따르지는 않지만 일반 웹 사이트 개발자들이.....
robots.txt 저장 방법 안내 1. 홈페이지 전체가 모든 검색엔진에 노출되는 것을 원하지 않을 때 코드: User-agent: * Disallow: / 2. 홈페이지 전체가 모든 검색엔진에 노출되기를 원할 때 코드: User-agent: * Disallow: (Ex1과 비교했을 때 “/”가 빠져 있습니다. ro.....