robots.txtで検索エンジンの登録を拒否する

通常検索エンジンのクローラーはインデックスさているサイトのリンクを辿り、ページを見つけてインデックスしていきます。

トップページだけでなく、サブページをインデックスさせる為には、サイトマップの登録とは別に、トップページからリンクさせることが有効です。リンクが深くなればなるほど、検索エンジンにインデックスされるまでの時間が長くなります。

一般的には、トップページから3クリック以内で、全てのページを見られるホームページの構造が理想的と言われています。

しかし、稀に新規ドメインで新たに制作している製作中のサイトが検索エンジンにインデックスされることがあります。この件はyahooのヘルプにも記載があります。

Yahoo! ヘルプ ：一般に公開していない情報が検索されるのですが？

製作中のサイトをアップロードする場合、検索エンジンにクロールされないように指定する必要があります。

■ robots.txtで登録を拒否する

robots.txtで登録を拒否する場合は、「robots.txt」というテキストファイルを下記の様にサイトのトップディレクトリに配置しアップロードします。

http://www.xxx.zzz/robots.txt

［ファイルの中身の記述］

・すべての検索エンジンから除外する場合
User-agent: *
Disallow: /

・特定の検索エンジンからのみ除外する場合は User-agent: を変更します。

• yahoo：　User-agent: Slurp
• google：　User-agent: Googlebot
• MSN：　User-agent: Googlebotmsnbot

・特定のディレクトリのみ除外する場合は Disallow: / を変更します。

• Disallow: /aaa/
• Disallow: /bbb/

［例］ profileページとcontactページ以下をヤフーとグーグルから除外する
User-agent: Slurp
Disallow: /profile/
Disallow: /contact/

User-agent: Googlebot
Disallow: /profile/
Disallow: /contact/

このほかにMETAタグで除外する方法もあります。

■ METAタグで登録を拒否する

<meta name="robots" content="noindex,nofollow">

content=で指定する項目は下記になります。

• index - 検索データベースへの登録を許可します。
• noindex - 検索データベースへの登録を禁止します。
• follow - このページに含まれるリンクを辿ることを許可します。
• nofollow - このページに含まれるリンクを辿ることを禁止します。

上記の様にテストサイトを公開する場合は、念のため検索エンジンへの登録を拒否しておく方が良いかもしれません。

■ 今日の一言

『 拒否の解除は忘れずにね＾＾ 　byでんこ 』