2021年10月28日
What’s New
robots.txtを効果的に設定しよう
“robots.txt”とは、検索エンジンにアクセスしクロールして
ほしい部分と、そうでない部分を伝えるためのファイルです。
このファイルは必ず“robots.txt”というファイル名でサイトの
ルートディレクトリに置く必要があります。
Googleウェブマスターツールをご利用いただくと、robots.txt
ファイルを簡単に作ることができます。
詳細は、ヘルプセンターのrobots.txtファイルを使用してページ
をブロックまたは削除するをご確認ください。
サブドメインを持つサイトで、ある特定のサブドメイン内の
ページをクロールさせないようにするには、そのサブドメイン
用に別のrobots.txtファイルを用意する必要があります。
検索結果にコンテンツを表示させない方法は他にも、“NOINDEX”
をrobotsメタタグに追加、.htaccessを使ってディレクトリにパス
ワードを設定、Googleウェブマスターツールを使ってすでにクロー
ルされたコンテンツを削除するなどがあります。
【ポイント】
慎重に扱うべきコンテンツにはより安全な方法を使用しよう
機密事項や慎重に扱うべきコンテンツがクロールされないように
するには、robots.txtの設置だけでは十分ではありません。
その理由の1つは、クロールできないように設定したURLであっても、
そのURLへのリンクがインターネット上のどこか（例えばリファラー
ログなど）に存在する場合、検索エンジンはそのURLを参照できる
からです。
また、Robots Exclusion Standardに準拠しない検索エ
ンジンや不正な検索エンジンなどは、robots.txtの指示に従わない
かもしれません。
そしてもう1つ、好奇心の強いユーザーの中には、robots.txtにある
ディレクトリやサブディレクトリを見て、見られたくないコンテンツ
のURLを推測する人がいるかもしれません。
コンテンツの暗号化や.htaccessを使ってパスワードをかけて保護
する方が、より確実で安全な手段だといえます。
●検索結果のようなページはクロールさせない
※検索結果のページから、さほど価値が変わらない別の検索結果の
ページへ飛んでも、ユーザーの利便性を損なうだけです
●同一か、ほとんど違いがない自動生成されたページを大量に
クロールさせないようにする
※「重複コンテンツに近いこれら100,000ものページはインデックス
されるべきだろうか？」と問い直してみましょう
●プロキシサービスによって生成されたURLはクロールさせないよう
にする
SEO対策は実績が信用！ YahooとGoogle検索にで
東京ＳＥＯサポートで ５０％で上位独占表示
北九州ＳＥＯ で検索で３ページまでに管理サイトで上位
70％で独占表示してます。
地域＋キーワードで独占表示のサポートを致します。
