Help:Robots.txt/hi

robots.txt क्या है?
यह तय करता है कि सर्च इंजन के वेब क्रॉलर्स किसी वेबसाइट पर जाकर उसे सर्च इंजन के खोज इंडेक्स में शामिल कर सकते हैं कि नहीं।

मैं इसे कैसे बदल सकता/सकती हूँ?
आप अपने विकि को robots.txt को  पृष्ठ की मदद से बदल सकते हैं। यह हमारे ग्लोबल robots.txt पर अपेंड हो जाएगा। मीडियाविकि किसी भी विशेष पृष्ठ या api.php को इंडेक्स किए जाने की अनुमति नहीं देता।

मैं इसमें क्या डाल सकता/सकती हूँ?
Robots.txt कई इंडेक्स संबंधित कीवर्ड्स को समर्थित करता है। जैसे:
 * [चाहिए, हर समूह के लिए कम से कम एक] यह निर्देश उस स्वचालित क्रॉलर के नाम को निर्दिष्ट करता है जिसपर नियम लागू होगा। यह किसी भी नियम समूह का पहला पंक्ति होता है। Google के यूज़र एजेंट यूज़र एजेंट्स की Google सूची में सूची बद्ध हैं। ऐस्टरिस्क का उपयोग करने पर यह कुछ AdsBot क्रॉलर्स के अलावा सभी क्रॉलर्स पर लागू होगा, जिनके नाम लिखे जाने चाहिए।
 * [At least one or more  or   entries per rule] A directory or page, relative to the root domain, that you don't want the user agent to crawl. If the rule refers to a page, it should be the full page name as shown in the browser; if it refers to a directory, it should end in a   mark.
 * [At least one or more  or   entries per rule] A directory or page, relative to the root domain, that may be crawled by the user agent just mentioned. This is used to override a   directive to allow crawling of a subdirectory or page in a disallowed directory. For a single page, the full page name as shown in the browser should be specified. In case of a directory, the rule should end in a   mark.

What is the format I should use?
Common practice would be to use each new rule on a new line. Some search engines recognize some patterns you can use in robots.txt. For example,  will match pattern. means wildcard, indicating that part of the rule can match any part of the URL. is used to indicate the URL must end that way.

What are some examples?
This example will disallow crawling for the user-agent in, and the URL string from  : User-agent: [user-agent name] Disallow: [URL string not to be crawled] This example will disallow crawling for all supported user agents, and the URL string, : User-agent: * Disallow: /example/ This example will disallow crawling for all supported user agents, and all content: User-agent: * Disallow: /

Where can I find it?
Robots.txt can always be found at  or. If you recently had your wiki switched to a custom domain, it may take a few days before your robots.txt file is available from the new custom domain.