검색엔진봇차단 바이두의 스팸과도 같은 트래픽공격-Baiduspider 봇 차단하기

작성자: -
검색엔진봇차단 바이두의 스팸과도 같은 트래픽공격-Baiduspider 봇 차단하기

사이트나 블로그를 운영하다 보면 검색엔진에 등록을 하거나 저절로 타 해외검색엔진인 바이두나, 구글,빙,야후등 다양한 검색엔진 봇들이 글들을 수집하기 위해 사이트에 방문을 합니다.

자신의 글들을 무료로 긁어가 홍보해주겠다는데 좋죠.
하지만, 심한 봇의 방문은 과다한 트래픽을 유발하게되고, 사이트가 망하게 되버리죠.
호스팅업체에서 월 얼마씩 끊어서 사용하는데 버텨 줄리가 없으니깐요.
그렇다고 집에서 서버를 돌리는 거면 다행지만..그래도 과부하로 인한 사이트가 멈추는일이 잦아 질테니 임시방편보다 원천적으로 긁어가지 않게 셋팅을 해놓으시기 바랍니다.

1. robot.txt 로 검색엔진 봇 차단하기

http://www.mcanerin.com/EN/search-engine/robots-txt.asp
에 들어가셔서 해당 차단하고 싶은 봇을 설정하고 robot.txt 텍스트 파일하나 만들어 코드를 집어 넣어 ftp계정에 업로드(도메인 최상위위치) 해줍니다.

그뒤에
http://tool.motoricerca.info/robots-checker.phtml 위사이트에서 robot.txt파일이 잘 돌아가는지 확인하세요.


각 명령어를 해석을 하고 넘어간다면...

1. 모든 컨텐츠 검색엔진에 노출 허용

User-Agent:*

Allow: /

2. 모든 컨텐츠 검색엔진에 노출 방지

User-Agent:*

Disallow:/

3. 특정 디렉토리만 노출 방지

User-Agent:*

Disallow:/특정디렉토리명/

4. 특정 검색엔진 크롤러(구글 크롤러:googlebot)만 접근 거부

User-Agent:googlebot

Disallow:/

User-Agent:*

Allow:

robot.txt 파일만으로도 대부분 막아지지만 악독같은 바이두는 뚫어버릴수도 있다. 그럴땐
아래방법을 사용하자

2. 메타태그를 활용하라

아래 태그를 페이지 소스코드 <head></head> 사이에 입력을 하면 국제 표준 메타 태그 정의에 의해 검색봇이 아래 태그가 있는 페이지는 검색하지 않게 됩니다.

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">



3. htaccess 를 활용하라

 그래도 뚫는다면.   ftp 에 htaccess 를 활용해서 원천적으로 막아버리자.

 해당 ip대역은 *.*으로 구성하여


.htaccess

SetEnvIfNoCase remote_addr 123.123.*.* go_out
SetEnvIfNoCase remote_addr 123.123.123.* go_out
SetEnvIfNoCase User-Agent "http\:\/\/www\.checkprivacy\.or\.kr\:6600\/RS\/PRIVACY\_FAQ\.jsp" go_out

Order Allow,Deny
Allow from all
Deny from env=go_out
더 자세항 htaccess 작성법은 아래 파일 다운
파일다운

댓글

댓글 쓰기

이 블로그의 인기 게시물

사이트 상위노출 웹문서 글쓰기방법 1

작성자: -
사이트 상위노출 웹문서 글쓰기방법 1 사이트상위노출에 대해 신디케이션을 연동시키고 SEO에 최적화된 사이트만 만든다고 다가 아닙니다. 운영 및 관리를 소홀히 하다보면 신디케이션이 블럭처리되서 연동기능이 정지되거나, 하면 네이버노출은 끝입니다. 특히나 아주 큰돈을 들여 SEO에 최적화된 사이트를 구축했다하더라도 최소한의 노출잘되는 글 구조를 모른다면 상위노출에 마이너스 요인이 될 뿐이며, 아무리 많은 글을 올리더라도 최상단에 위치하기에는 어려울 것입니다. 악화될경우 그저 지수낮은 보통사이트가 될뿐이죠. 오늘은 간단한 팁을 하나 가르켜 드리고, 글쓰기방법2부에서는 더욱 소중한 팁을 드리도록 하겠습니다. 사이트 상위노출 웹문서 글쓰기방법 1 1. 핵심키워드는 제목의 젤앞에 위치해라. 안양부동산을 검색했을때 최상단에 위치하고 싶다면? -? "안양부동산 우리지역 매물 찾기" 와 같이 제목의 젤앞에 위치시켜라 2. 키워드의 반복은 3개이상은 금지 제목에 키워드 반복은 2개이상 금지 본문에 키워드 반복은 3개이상은 금지합니다. 반복적인 키워드는 스팸성,이슈성키워드유입등의 이유로 블럭당하기 좋습니다. 3. 게시판에 동일한 제목을 3개이상 쓰지마라 게시판을 여러개 운영하고 있다면 한 개시판에 동일한 제목 및 유사한 제목을 3개이상 쓰지 마세요. 3개이상은 노출 되지 않을 뿐더로  그 이상은 금지 시켜놓고 있습니다. N사에서요. 4. 게시판의 타이틀과 글의 제목의 위치를 바꿔라 홈페이지 소스수정가능하신분이나 맡겨서 만드신분은 제작자에게 말해서 바꾸세요. 검색시 글의 제목이 가장 먼저 나오게 부동산 우리지역매물(글제목) - 부동산핫이슈(게시판타이틀) 중요합니다. N사 및 구글 크롤링에서 큰 비중을 차지합니다. 글씨기 방법2부에서는 태그구조를 활용한 상위노출 글쓰기 방법에 대해 말씀드릴 것입니다. ( 이 내용이 상위노출의 비중이 정말 중요한 부분이죠. 블로그도 동일하게 작용합니다 .) -태그...
자세한 내용 보기

사이트 커뮤니티 활성화 방안

작성자: -
오늘은 사이트 커뮤니티를 운영하는 방안에 대해서 알려드립니다. 아래방법을 유의하고 운영하시면 사이트 활성화로 인해 백프로 효과를 이끌어 낼 수 있습니다. 카페/블로그/사이트/SNS등 활성화를 위한 한달과정 교육 및 컨설팅 300~400만원짜리 과정의 내용입니다. 어딜가서 온라인 컨설팅 교육을 받던간에 내용은 동일 할것입니다. 오히려 없는 부분들이 더 많게지요. 모든노하우를 컨설팅 업체가 공개안하는 이유는 그것이 바로 그들의 밥벌이이기 때문이죠. 이론적인 책이나 전략, 컨설팅,교육등 다양하게 있읍니다. 이론적인 부분을 아래와 같이 두리뭉실한 내용과도 같죠. 살펴볼까요? 카페/SNS/사이트운영하시는 분들이 기억해야 될부분은 초창기 인터넷 진입시절, 자연 발생적으로 생성되어 자가운영이 가능한 사이트들, 즉 뽐뿌, 디시인사이드, 쭉빵카페, 보배드림등, 대형 커뮤니티를 제외하고, 현재 인터넷 환경에서 온라인으로 커뮤니티를 출범하고자 한다면, 생성만 해놓고 안착시키는 부분은 상당히 어려운 부분입니다. 이전 초장기때와 비교도 할 수 없을 만큼 힘이 들죠. 수도 없는 책에서는 대단한 이론인듯 두리뭉실하게 전략을 내세우기도 합니다. 참여의 정도(Lelvel of Engagement)에 따른 3분류 참여자, 기여자, 눈팅족으로 충성고객(충성회원)을 유치하고 스스로 커뮤니티가 활성화 되기위한 방안을 이야기 하지만, 딱히! 사이트 운영자들의 공감을 사지 못하는 점들이 많습니다. 왜일까요? 세밀한 방법에 대해 가이드라인없이 결과를 이끌어내지 못하는 ! 즉 두리뭉실한 이야기,이론, 현장에 반영하지 못하는 설명일 뿐이기 때문입니다. 광고 수익을 목적으로 눈팅족의 80% 기여자의 20%에 기반한 파레토의 법칙을 전제로 운영하는 사이트(대표적으로 유머사이트들)들의 경우 과연 해당되는 사항일까요? 온라인 쇼핑몰 및 자영업자들이 고객 유입을 위해 순위노출의 전략을 소개하고, 구체적인 행동방향을 정리한 적절한 방법들일까요? 그렇지 않습니다.  온라인 컨설팅과 교...
자세한 내용 보기

국내ip와 프록시 서버를 활용한 웹문서 상위노출 전략

작성자: -
이미지
국내ip와 프록시 서버를 활용한 웹문서 상위노출 전략 1. http://www.xroxy.com/ 국내 ip search 2.  JRE( Java Runtime Environment )  설치   파로스는 우선 필수적으로 JRE가 설치되어 있어야한다.  (뒤에 설치하면 제대로 안될 수 있어서 복잡해진다. 꼭 선행으로 JRE를 설치한다. Java JRE / JDK 1.4.2 이상을 필요로 한다.) 3.  Cooxie toorbar 설치    위를 클릭하면  Cooxie toorbar를 다운받을 수 있는 목록이 나온다.  중간쯤    다운르드 페이지에서 빨간네모 친 이거다. 다운로드 누르면 된다. 4. 1번에서 찾은 ip와 포트를 익스플로러 cooxie 툴바의 프록시 서버 셋팅(리스트) 5. 웹문서쪽 노출된 부분(신디케이션 최적화 홈페이지이 노출3~4페이지노출문서 찾기)찾기 - 프록시 리스트 접속 ip개당 네이버에서 핵심키워드 검색을 하고, 해당 페이지를 찾아 클릭 : 유입경로와 체류시간 5분 최적화조건 만족시켜주기. -> 익스플로러 쿠키삭제 단축키 Alt+T+D+D ->다른 프록시 서버 접속 ->반복 하루 리스트 10개씩만 로테이션 한번 5분  = 50분 할애 *보통 최적화된 홈페이지의 경우 1페이지에 노출이 된다.  하지만 cpc높은 단가(6~1만원단가)인 보험,부동산,병원 키워드의 경우 3~4페이지로 밀려나며, 높은 경쟁율로 인해 일주일 이상 유지하기가 힘들다.   위와 같은 작업으로 1페이지 상위노출을 유지한다. 빠른 국내 ip리스트의 경우 구입이 가능하다. 또한 위의 작업의 경우 카페나 관련 종사자들의 협엽을 통해 작업이 가능하다. 6. 최대한 깨끗한 ip를 사...
자세한 내용 보기