Help:Robots.txt/hi

robots.txt क्या है?
यह तय करता है कि सर्च इंजन के वेब क्रॉलर्स किसी वेबसाइट पर जाकर उसे सर्च इंजन के खोज इंडेक्स में शामिल कर सकते हैं कि नहीं।

मैं इसे कैसे बदल सकता/सकती हूँ?
आप अपने विकि के robots.txt को  पृष्ठ की मदद से बदल सकते हैं। यह हमारे ग्लोबल robots.txt पर अपेंड हो जाएगा। मीडियाविकि किसी भी विशेष पृष्ठ या api.php को इंडेक्स किए जाने की अनुमति नहीं देता।

मैं इसमें क्या डाल सकता/सकती हूँ?
Robots.txt कई इंडेक्स संबंधित कीवर्ड्स को समर्थित करता है। जैसे:
 * [चाहिए, हर समूह के लिए कम से कम एक] यह निर्देश उस स्वचालित क्रॉलर के नाम को निर्दिष्ट करता है जिसपर नियम लागू होगा। यह किसी भी नियम समूह का पहला पंक्ति होता है। Google के यूज़र एजेंट यूज़र एजेंट्स की Google सूची में सूची बद्ध हैं। ऐस्टरिस्क का उपयोग करने पर यह कुछ AdsBot क्रॉलर्स के अलावा सभी क्रॉलर्स पर लागू होगा, जिनके नाम लिखे जाने चाहिए।
 * [हर नियम में कम से कम एक  या   एंट्री] डोमेन के जड़ से संबंधित एक डिरेक्ट्री या पृष्ठ, जिसे आप चाहते हैं कि यूज़र एजेंट क्रॉल न करे। अगर यह नियम किसी पृष्ठ का उल्लेख करता है, यह ब्राउज़र में दिखाए जाने वाले पूरे पृष्ठ का नाम होना चाहिए; अगर यह किसी डिरेक्ट्री का उल्लेख करता है, इसके आखिर में एक   चिह्न होना चाहिए।
 * [हर नियम में कम से कम एक  या   एंट्री] डोमेन के जड़ से संबंधित एक डिरेक्ट्री या पृष्ठ जो कि निर्दिष्ट यूज़र एजेंट द्वारा क्रॉल किया जा सकता है। इससे   निर्देश को बिना अनुमति के किसी सबडिरेक्ट्री या पृष्ठ को क्रॉल करके ओवर्राइड किया जा सकता है। किसी विशिष्ट पृष्ठ के लिए इसे ब्राउज़र में दिखाए जाने वाले पूरे पृष्ठ का नाम होना चाहिए। डिरेक्ट्री के मामले में इसके आखिर में एक   चिह्न होना चाहिए।

मैं किस फॉर्मेट का इस्तेमाल करूँ?
प्रसिद्ध प्रथा है हर नए नियम को एक नई पंक्ति पर लिखना। कुछ सर्च इंजन कुछ पैटर्न्स को पहचानते हैं जिनका आप robots.txt में उपयोग कर सकते हैं। उदाहरणस्वरूप,  पैटर्न से मेल खाएगा।   का मतलब है वाइल्डकार्ड, यानी कि नियम का वह हिस्सा URL के किसी भी हिस्से से मेल खा सकता है।   की मदद से दर्शाया जाता है कि URL के आखिर में वही होना चाहिए।

कुछ उदाहरण मिलेंगे?
यह उदाहरण यूज़र-एजेंट को, और   पर से URL स्ट्रिंग पर क्रॉल करने से रोकेगा: User-agent: [user-agent name] Disallow: [URL string not to be crawled] यह उदाहरण सभी समर्थित यूज़र एजेंट्स, और URL स्ट्रिंग  के लिए क्रॉलिंग पर प्रतिबंध लगा देगा: User-agent: * Disallow: /example/ यह उदाहरण सभी समर्थित यूज़र-एजेंट्स के लिए सभी पृष्ठों पर क्रॉलिंग पर प्रतिबंध लगा देगा: User-agent: * Disallow: /

मुझे यह कहाँ मिलेगा?
Robots.txt हमेशा  या   पर पाया जा सकता है। अगर आपने हाल ही में अपने विकि को अनुकूलित डोमेन पर लाया है, नए अनुकूलित डोमेन पर robots.txt फाइल को उपलब्ध होने में कुछ दिन लग सकते हैं।