今回は、auとソフトバンクの公式サイトでのSEOについて書きたいと思います。
キャリア公式の検索エンジンは、キャリアへ登録されているURL以下のディレクトリのみを閲覧します。
そのキャリアへ登録されているURLのことを起点URLと言います。
起点URLとして登録されているURLの同一階層や上位の階層には、ロボットはアクセスしてくれません。
なぜauとソフトバンクなのかというと、この2キャリアは起点URLを1個ずつしか登録できないためです。
ただし、それだけではダメな場合があります。
外部の一般サイトへのリンクがある場合、あるいは同一ドメインでも、サブドメイン付きのページへのリンクなどがある場合、ロボットがアクセスしてくれないことがあります。
こうした事態を避けるためには、上記の問題を解決する、つまりリンクを外すか、或いはリンクが設置されているページへロボットがアクセスしないようにするかです。
後者については、robot.txtに以下を設定します。
User-Agent: * Disallow: /(該当のファイル名).html
