Help:Robots.txt/fr

What is robots.txt?
It determines if and when search engine web crawlers can visit a website's pages and include them in the the search engine's index.

How can I modify it?
You can modify your own robots.txt from your wiki, on the page. This will append to our global robots.txt. MediaWiki will never allow indexing of any special pages, or api.php.

What can I put in it?
Robots.txt supports many indexing related keywords. This includes:
 * [Required, one or more per group] The directive specifies the name of the automatic client known as search engine crawler that the rule applies to. This is the first line for any rule group. Google user agent names are listed in the Google list of user agents. Using an asterisk will match all crawlers except the various AdsBot crawlers, which must be named explicitly.
 * [Au moins une ou plusieurs entrées  ou   par règle] Un annuaire ou une page, par rapport au domaine racine, that you don't want the user agent to crawl. Si la règle fait référence à une page, il doit s'agir du nom complet de la page, comme indiqué dans le navigateur; s'il fait référence à un répertoire, il doit se terminer par une marque.
 * [Au moins une ou plusieurs entrées  ou   par règle] Un répertoire ou une page, relative au domaine racine, qui peut être explorée par l'agent utilisateur juste mentionné. Ceci est utilisé pour remplacer une directive   pour permettre l'exploration d'un sous-répertoire ou d'une page dans un répertoire non autorisé. Pour une seule page, le nom complet de la page tel qu'indiqué dans le navigateur doit être spécifié. Dans le cas d'un répertoire, la règle doit se terminer par une marque.

What is the format I should use?
Common practice would be to use each new rule on a new line. Some search engines recognize some patterns you can use in robots.txt. For example,  will match pattern. means wildcard, indicating that part of the rule can match any part of the URL. is used to indicate the URL must end that way.

What are some examples?
This example will disallow crawling for the user-agent in, and the URL string from  : User-agent: [user-agent name] Disallow: [URL string not to be crawled] This example will disallow crawling for all supported user agents, and the URL string, : User-agent: * Disallow: /example/ This example will disallow crawling for all supported user agents, and all content: User-agent: * Disallow: /

Where can I find it?
Robots.txt peut toujours être trouvé à  ou. Si vous avez récemment basculé votre wiki vers un domaine personnalisé, cela peut prendre quelques jours avant que votre fichier robots.txt ne soit disponible à partir du nouveau domaine personnalisé.