HTML
Javascript
Flash Actionscript
PHP
mySQL
ASP
MS-SQL
Linux
Others
Ziwoo Board
Portfolio
About
Other
작성  2008-05-28 10:29:50   추천: 69   조회: 2515
제목  로봇 배제(robot exclusion)라는 표준을 따르는 방법
이름(ID)  지우 (ziwoo)
모든 검색로봇이 이 표준을 따르는 것은 아니지만 사이트의 가장 상위 주소에검색로봇을 배제한다는 `/robot.txt' 파일(User-agent: *, Disallow: /)을 만들어놓으면 어느 정도 검색로봇을 피할 수 있다.
이 방법은 서버 관리자가 해야하는 것이다.

##### robot.txt #####
User-agent: *
Disallow: /

웹문서를 만드는 개인이 할 수 있는 배제 수단은 아래와 같은
메타태그를 넣으면 된다.

<meta NAME="ROBOTS" CONTENT="NOINDEX">

[출처] robot.txt|작성자 빛과소금
번호 제목 이름 날짜 추천 조회
59 배드색터 체크 툴파일 지우 2017-09-11 17 3906
58 로우레벨 포멧 툴파일 지우 2017-09-11 24 2657
57 이 페이지는 보안된 항목과 보안되지 않은.. 지우 2008-07-13 81 4482
56 로봇 배제(robot exclusion)라는 표준을 따.. 지우 2008-05-28 69 2515
55 [설정] 지우넷 에디트플러스 환경저장파일 지우 2007-01-21 86 4245
54 이름 영문표기법 지우 2006-08-03 90 3191
53 웹사이트 개발에 따른 계약서 기본양식파일 지우 2006-05-24 91 3226
52 안녕하세요 ~ 심순철 2006-04-28 89 2531
51 MS 악성 소프트웨어 제거 도구[1] 지우 2006-04-04 107 2882
50 NIC와 Whois 지우 2006-04-01 101 2765
49 에디트 플러스 정규식으로 일괄바꾸기 지우 2006-03-26 91 4474
48 인터넷 브라우저 FireFox(불여우) v1.5.0...파일 지우 2006-03-21 89 2413
47 [네트워크] RJ45 랜케이블 찍는 법파일 지우 2005-11-29 96 4885
46 [여행] 하나투어 싸이트 제휴 링크 규칙. 지우 2005-10-31 101 4216
45 [유틸] 불법스팸 및 악성코드 실시간 감시..파일 지우 2005-10-31 82 2901
44 [생활] 구글어스 플러스 버전파일 지우 2005-10-12 91 3515
43 [유틸] 특수문자 입력기파일 지우 2005-05-30 92 3100
42 [유틸] Flash Action Script Viewer[1]파일 지우 2005-05-30 88 4420
41 [유틸] 스크립트 모음기 GSnote 입니다.파일 지우 2005-05-30 107 3510
40 [서체] 스티커 폰트파일 지우 2005-05-30 424 4536
[1][2][3]
제목 내용 이름  
ziwooboard v1.0
Contact Phone Number
Bank Account number
ns1.ziwoo.net (115.160.123.41)
ns2.ziwoo.net (115.160.123.41)
 Naver BLOG : http://blog.ziwoo.net
Family Homepage : http://home.ziwoo.net
Copyright ⓒ 2006 By Ziwoo.net All right reserved. Administrator.ziwoonet@naver.com