Help:Robots.txt/ja

robots.txtって何?
検索エンジンのウェブクローラーがウェブサイトのページを訪問し、検索エンジンのインデックスに含めることができるかどうかを決定します.

修正方法は？
あなたのWikiの というページで、あなたのWikiのrobots.txtを修正することができます. これは私たちのグローバルなrobots.txtに追加されます. MediaWiki は、特別なページや api.php のインデックスを決して許可しません.

何を入れたらいいの？
Robots.txtは、インデックスに関連する多くのキーワードをサポートしています. これには：
 * [必須、グループごとに1つ以上] この指令は、ルールが適用される検索エンジンクローラーとして知られる自動クライアントの名前を指定します. これは、すべてのルールグループの最初の行です. Googleのユーザーエージェント名は、Google list of user agentsに記載されています. アスタリスク を使用すると、さまざまな AdsBot クローラを除くすべてのクローラにマッチします.
 * [ルールごとに、少なくとも1つ以上の または エントリ] ユーザー・エージェントにクロールさせたくないディレクトリやページを、ルート・ドメインに関連して指定します. ルールがページを参照する場合は、ブラウザに表示される完全なページ名でなければならず、ディレクトリを参照する場合は、 マークで終わらなければなりません.
 * [ルールごとに、少なくとも1つ以上の または エントリ] ルート・ドメインからの相対的なディレクトリまたはページで、先ほどのユーザ・エージェントがクロールしてもよいもの. これは、 指令をオーバーライドして、禁止されたディレクトリ内のサブディレクトリやページのクロールを許可するために使用されます. 単一のページの場合は、ブラウザに表示されている完全なページ名を指定する必要があります. ディレクトリの場合には、ルールは マークで終わらなければなりません.

どのようなフォーマットにすればいいのでしょうか？
一般的には、新しいルールはそれぞれ新しい行で使用します. 検索エンジンの中には、robots.txtで使用できるいくつかのパターンを認識しているものがあります. 例えば、 はパターンにマッチします. は、ワイルドカードを意味し、ルールの一部がURLのどの部分にもマッチすることを示します. は、URLがそのように終わらなければならないことを示すために使用されます.

どんな例があるの？
この例では、 のuser-agentと のURL文字列に対してクロールを禁止します. User-agent: [user-agent name] Disallow: [URL string not to be crawled] この例では、サポートされているすべてのユーザーエージェント、およびURL文字列である に対してクロールを禁止します. User-agent: * Disallow: /example/ この例では、サポートされているすべてのユーザーエージェント、およびすべてのコンテンツのクロールを禁止します. User-agent: * Disallow: /

どこで見られるの？
最近Wikiをカスタムドメインに切り替えた場合、新しいカスタムドメインからrobots.txtファイルが利用できるようになるまで数日かかる場合があります.