Robots.txt जनरेटर
अपनी साइटमैप URL डालें और तैयार robots.txt ब्लॉक कॉपी करें। फ़ाइल हर user-agent को सभी पथों पर अनुमति देती है और Sitemap पंक्ति जोड़ती है।
अपडेट 2026-08-03 · seo
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap-index.xml
इस टूल के बारे में
एक Sitemap URL फ़ील्ड आउटपुट चलाता है। टेक्स्ट हमेशा User-agent: * फिर Allow: / फिर खाली पंक्ति और Sitemap: आपकी URL। इनपुट बदलते ही पूर्वावलोकन अपडेट होता है।
कैसे उपयोग करें
- जनरेटर खोलें: पेज लोड करें ताकि Sitemap URL फ़ील्ड दिखे।
- साइटमैप URL डालें: अपनी sitemap या sitemap-index URL पेस्ट करें (नमूना https://example.com/sitemap-index.xml)।
- robots.txt कॉपी करें: User-agent, Allow और Sitemap वाली परिणाम ब्लॉक चुनें।
- फ़ाइल डिप्लॉय करें: साइट रूट पर robots.txt सहेजें और HTTPS पर लोड जाँचें।
आम उपयोग
- नए साइट के लिए पूरी तरह क्रॉल करने योग्य robots.txt शुरू करें।
- एक पेस्ट में sitemap-index.xml या sitemap.xml की ओर इशारा करें।
- बाद में बारीक Disallow जोड़ने से पहले होस्टिंग को स्टार्टर फ़ाइल दें।
सुझाव
- साइटमैप के लिए पूर्ण निरपेक्ष URL (https://…) उपयोग करें, सापेक्ष पथ नहीं।
- यह स्टार्टर सब अनुमति देता है—निजी क्षेत्र हों तो कॉपी के बाद Disallow जोड़ें।
अक्सर पूछे जाने वाले प्रश्न
आउटपुट में कौन से नियम?
User-agent: * और Allow: / तथा आपकी URL वाली Sitemap पंक्ति।
UI से पथ ब्लॉक कर सकते हैं?
नहीं—यह अनुमत स्टार्टर है; कॉपी के बाद Disallow संपादित करें।
क्या साइटमैप पहले से मौजूद होना चाहिए?
टूल केवल फ़ाइल फ़ॉर्मैट करता है; असली साइटमैप होस्ट करना आपका काम है।
क्या URL सर्वर पर जाता है?
robots.txt स्ट्रिंग टाइप करते समय ब्राउज़र में बनती है।