Robots.txt File Kya Hoti Hai और Robots.txt File कैसे बनायें?

Robots.txt File Kya Hoti Hai: क्या आप Robots.txt File के बारे में जानकारी हाँसिल करना चाहते हैं। अगर ऐसा है, तो आप बिल्कुल सही जगह पर आये हैं क्योंकि आज के इस लेख में हम आपको Robots.txt फाइल के बारे में विस्तार से बताने वाले हैं।

Robots.txt फ़ाइल जिसे रोबोट बहिष्करण प्रोटोकॉल या मानक भी कहा जाता है। यह छोटी सी Text File हर ब्लॉग/वेबसाइट का महत्वपूर्ण अहम हिस्सा होती है, लेकिन ज़्यादातर लोगों को इसके बारे में पता भी नहीं है। इसे सर्च इंजनों के साथ काम करने के लिए डिज़ाइन किया गया है।

Robots.txt की शक्ति का लाभ उठाने के लिए आपके पास कोई तकनीकी ज्ञान होना आवश्यक नहीं है। यदि आप अपनी वेबसाइट के लिए Source Code पा सकते हैं, तो आप इसका उपयोग कर सकते हैं।

इस लेख में आप सीखेंगे कि Robots.txt File Kya Hoti Hai? (What is Robots.txt File in Hindi), Robots.txt File कैसे बनायें? यह SEO के लिए इतना महत्वपूर्ण क्यों है? Robots.txt File बनाने के फायदे क्या हैं?

तो ज्यादा समय न खराब करते हुए सीधा चलते हैं अपने लेख Robots.txt File क्या होती है? पर जहाँ पर हम इसके बारे में विस्तार से जानने की कोशिश करेंगे।

Robots.txt File क्या होती है?

Robots.txt एक टेक्स्ट फ़ाइल है जिसे वेबमास्टर्स सर्च इंजन क्रॉलर (आमतौर पर सर्च इंजन रोबोट) को यह निर्देश देने के लिए बनाते हैं कि उनकी वेबसाइटों पर Pages को कैसे क्रॉल किया जाए।

Robots.txt फ़ाइल रोबोट बहिष्करण प्रोटोकॉल (REP) का हिस्सा है, जो वेब मानकों का एक समूह है जो यह नियंत्रित करता है कि रोबोट वेबपेज को कैसे क्रॉल करते हैं, ये रोबोट Content तक पहुंचते हैं और उसे Index करते हैं, इसके बाद उस Content को युजर्स तक पहुंचाते हैं।

REP में Meta Robots जैसे निर्देश, साथ ही पेज, उपनिर्देशिका या साइट-व्यापी निर्देश भी शामिल होते हैं। जो यह डिसाइड करते हैं कि सर्च इंजन को लिंक के साथ कैसा व्यवहार करना चाहिए (जैसे कि “Follow” या “NoFollow”) ।

चलिए इसे और आसान भाषा में समझते हैं। जब आप किसी ब्लॉग अथवा वेबसाइट को बनाते हैं। जिसके बाद आपके ब्लॉग पर जितने भी पेज मौजूद होते हैं। सर्च इंजन के रोबोट उन्हे Crawl करते हैं और पेज को Index करते हैं। समय के साथ आपके ब्लॉग पर बहुत से ऐसे प्राइवेट या डुप्लिकेट पेज होते हैं। जिन्हे आप सर्च इंजन में Index नहीं करना चाहते हैं।

वहाँ पर यह Robots.txt फ़ाइल आपकी मदद करती है। Robots.txt File की मदद से आप सर्च इंजन के Robots को यह संकेत दे सकते हैं कि आपके Blog के कौन से पेज क्रॉल किये जायें और कौन से पेज क्रॉल न किये जायें। बस इसी काम के लिए Robots.txt फ़ाइल का उपयोग किया जाता है।

• Blog क्या होता है?
• Blog कैसे बनायें?
• Blog को Setup कैसे करें?
• Blog कितने प्रकार के होते हैं?
• Auto Blogging क्या होती है?

Robots.txt File की परिभाषा (Definition of Robots.txt File in Hindi)

किसी भी ब्लॉग अथवा वेबसाइट की एक ऐसी टेक्स्ट फाइल जो सर्च इंजन को यह निदेश देती है कि इस ब्लॉग अथवा वेबसाइट के कौन से पेज क्रॉल किये जायें और कौन से पेज क्रॉल न किये जाये। इस टेक्स्ट फाइल को Robots.txt फ़ाइल कहा जाता है। यह फाइल cPanel के Root Directory में सेव होती है।

Robots.txt File इतनी महत्वपूर्ण क्यों है?

Robots.txt फ़ाइल आपकी वेबसाइट पर क्रॉलर पहुंच को उन Pages तक सीमित रखती है जिन्हे आप Index करना चाहते हैं। हालाँकि यह बहुत खतरनाक हो सकता है यदि आप गलती से Googlebot को अपनी पूरी साइट को क्रॉल करने से रोक देते हैं, ऐसी कुछ स्थितियाँ हैं जिनमें Robots.txt फ़ाइल आपके लिए बहुत उपयोगी होती है। जिन्हे आप नीचे जानेंगे।

• Duplicate Content को SERPs में Index होने से रोकना (ध्यान दें कि मेटा रोबोट अक्सर इसके लिए एक बेहतर विकल्प होता है)
• किसी प्राइवेज पेज को इंडेक्स न करना।
• Internal सर्च रिजल्ट पेजों को सार्वजनिक SERP पर Index होने से रोकना।
• साइटमैप का स्थान निर्दिष्ट करना।
• सर्च इंजनों को आपकी वेबसाइट पर कुछ फ़ाइलों (Image, PDF, आदि) को Index करने से रोकना।
• जब क्रॉलर एक साथ Content के कई Part लोड करते हैं तो आपके सर्वर को ओवरलोड होने से बचाने के लिए Crawl Delay करता है। इससे आपकी वेबसाइट डाउन नही होती है।
• यदि आपकी साइट पर कोई ऐसा क्षेत्र नहीं है जहां आप युजर्स की पहुंच को नियंत्रित करना चाहते हैं, तो आपको Robots.txt File का बिल्कुल भी आवश्यकता नहीं होगी।

Robots.txt File कैसे काम करती है?

Robots.txt File सर्च इंजन बॉट्स को बताती हैं कि वे कौन से URL को क्रॉल कर सकते हैं और, इससे भी महत्वपूर्ण बात यह है कि किसे अनदेखा कर सकते हैं।

सर्च इंजन के दो मुख्य कार्य होते हैं।

1. Content खोजने के लिए वेब को क्रॉल करना
2. उस Content को खोजकर Index करना ताकि इसे उन युजर्स तक पहुंचाया जा सके जिसे वे खोज रहे हैं।

वेबसाइटों को क्रॉल करने के लिए, सर्च इंजन एक साइट से दूसरी साइट पर जाने के लिए लिंक का उपयोग करते हैं, जिसके कारण सर्च इंजन क्रॉलर को कई अरब लिंक और वेबसाइटों को क्रॉल करना पड़ता है। इस रेंगने वाले व्यवहार के कारण इसे “Spidering” के नाम से भी जाना जाता है।

क्रॉलर को किसी वेबसाइट पर पहुंचने के बाद लेकिन उसे स्पाइडर करने से पहले, सर्च क्रॉलर एक Robots.txt File की तलाश करता है। यदि वह Robots.txt फ़ाइल उसे मिल जाती है, तो क्रॉलर पेज पर आगे बढ़ने से पहले वह उस फ़ाइल को पढ़ेता है। क्योंकि Robots.txt फ़ाइल में यह जानकारी होती है कि सर्च इंजन को कैसे क्रॉल करना चाहिए, वहां पर दी गई जानकारी इस विशेष साइट पर क्रॉलर को आगे की कार्रवाई का निर्देश देती है।

यदि Robots.txt फ़ाइल में कोई निर्देश नहीं है या वेबसाइट में Robots.txt फ़ाइल मौजूद नहीं होती है, तो यह साइट पर अन्य जानकारी क्रॉल करने के लिए आगे बढ़ जाता है। यहाँ तक आपको यह अच्छे से समझ में आ गया होगा कि Robots.txt File Kya Hoti Hai? और यह कैसे काम करती है। अब आगे आप Robots.txt के फायदे के बारे में जानेंगे।

Robots.txt File के फायदे

Robots.txt फाइल बनाने के बहुत सारे फायदे होते हैं। जिन्हे नीचे पढ़ सकते हैं।

• Robots.txt फाइल की मदद से आप अपनी वेबसाइट के महत्वपूर्ण पेज को जल्दी से Index करा सकते हैं। क्योंकि Robots.txt में वही पेज इंडेक्स होते हैं जिन्हे आप Allow करते हैं।
• Robots.txt फाइल की मदद से आप अपनी वेबसाइट के डुप्लिकेट डाटा और प्राइवेट पेज को Index होने से रोक सकते हैं। जिससे आपके बाकी के पेज तेजी से Index हो जाते हैं।
• Robots.txt फाइल से आप किसी Low क्वालिटी Content को ब्लॉक कर सकते हैं। जिससे आपके ब्लॉग का बाउंस रेट कम हो जायेगा।
• Robots.txt फाइल की मदद से आप Crawl Budget का उपयोग अच्छे से कर सकते हैं।

Robots.txt File Syntax in Hindi

Robots.txt Syntax को Robots.txt फ़ाइल की “भाषा” के रूप में माना जा सकता है। Robots.txt फ़ाइल में आपके सामने पाँच सामान्य शब्द आने की संभावना होती है। जिन्हे आप नीचे पढ़ सकते हैं।

1. User-agent
2. Disallow
3. Allow
4. Crawl-delay
5. Sitemap

1 – User-Agent: विशिष्ट वेब क्रॉलर जिसे आप क्रॉल करने के लिए निर्देश दे रहे हैं (आमतौर पर एक सर्च इंजन होता है)। यहाँ पर जिस भी सर्च इंजन को अपनी वेबसाइट क्रॉल करने की अनुमति दे रहे हैं उसका नाम लिखना होता है। जैसे Googlebot, Bingbot आदि। यदि आप सभी सर्च इंजन को निर्देश देना चाहते हैं, तो User-Agent: के सामने * चिन्ह का प्रयोग करें।

2 – Disallow: इस सेक्शन में आप उन पेज अथवा URL को रख सकते हैं। जिन्हे आप किसी भी सर्च इंजन में Index नही करना चाहते हैं। इसके बाद वो पेज या URL किसी भी पेज में Index नही होगा।

3 – Allow: इसमें आप अपनी वेबसाइट के उन वेबपेजों को रख सकते हैं। जिन्हे आप सर्च इंजन में Index करना चाहते हैं।

4 – Crawl-delay: इसकी मदद से आप Page अथवा Content को लोड करने और क्रॉल करने से पहले क्रॉलर को कितने सेकंड इंतजार करना चाहिए। उस समय को सेट कर सकते हैं।

ध्यान दें कि Googlebot इस आदेश को स्वीकार नहीं करता है, लेकिन crawl rate को Google Search Console में सेट किया जा सकता है।

5 – Sitemap:  इस URL से जुड़े किसी भी XML Sitemap का स्थान बताने के लिए इसका उपयोग किया जाता है। ध्यान दें कि यह आदेश केवल Google, Ask, Bing और Yahoo द्वारा समर्थित है।

Robots.txt File Kaise Banaye?

अब हम आपको Blogger.com तथा WordPress पर Robots.txt फ़ाइल कैसे बनायी जाती है। आसान भाषा में बतायेंगे, तो आईए जानते हैं इनके बारे में.

Blogger.com में Robots.txt File कैसे बनायें?

Blogger.com पर Robots.txt फ़ाइल बनाने के लिए मैं आपको निम्नलिखित कुछ टिप्स बता रहा हूँ, जिन्हे फॉलो करके आप आसानी से पर Robots.txt File बना सकते हैं।

• ब्लॉगर में Robots.txt फ़ाइल बनाने के लिए सबसे पहले आपको ब्लॉगर डैशबोर्ड के Setting विकल्प का चयन करना होगा।
• इसके बाद थोड़ा नीचे स्क्रॉल डाउन करने पर आपको Crawlers and Indexing वाले आप्शन का चयन करना होगा।
• अब यहाँ पर आपको कस्टम Robots.txt को Enable करना होगा।
• इतना करने के बाद आपको एक Custom Robots.txt फ़ाइल बनानी होगी। जिसे Blogger पर बने ब्लॉग में Add करना होगा।

बधाई हो! इतना करते हैं कि आपके ब्लॉगर ब्लॉग में एक Custom Robots.txt फाइल बन जाती है।

WordPress Blog पर Robots.txt File कैसे बनायें?

यहाँ पर हम आपको कुछ टिप्स बता बता रहे हैं जिनकी मदद से आप अपने WordPress Blog पर Robots.txt फ़ाइल आसानी से बना सकते हैं। यह टिप्स Rank Math प्लगइन के लिए हैं, तो चलिए जानते हैं इनके बारे में.

• WordPress Dashboard में लॉग करने के बाद आपको Rank Math SEO का चयन करना होगा।
• इसके बाद आपको General Settings में जाना होगा।
• इसके बाद आपको Edit Robots.txt वाले आप्शन का चयन करना होगा।
• इसके बाद आप अपने Robots.txt को बनाकर Save पर क्लिक कर दें। अब आपकी वेबसाइट में Robots.txt फ़ाइलजुड़ चुकी है।

WordPress पर Manually Robots.txt File कैसे बनायें?

WordPress पर Manually Robots.txt फ़ाइल बनाने के लिए सबसे पहले आपको अपनी Web Hosting के Cpanel में लॉग इन करना होगा।

• इसका बाद आपको Root folder में जाना होगा।
• यहाँ पर आपको एक Robots.txt File दिखाई देगी।
• यदि यहाँ पर आपको कोई Robots.txt File नही दिखती है, तो समझ जायें कि आपकी वेबसाइट पर अभी तक Robots.txt फ़ाइल नही बनी है। इस स्थिति में, आप बस आगे बढ़कर एक नई Robots.txt फ़ाइल बना सकते हैं।
• Robots.txt फ़ाइल एक सादा Page होता है, जिसका अर्थ यह है कि आप इसे अपने कंप्यूटर पर डाउनलोड कर सकते हैं और नोटपैड या टेक्स्टएडिट जैसे किसी भी सादे पेज संपादक का उपयोग करके इसे Edit कर सकते हैं।
• अपने परिवर्तनों को Save करने के बाद, आप robots.txt फ़ाइल को अपनी वेबसाइट के Root Folder में वापस अपलोड कर सकते हैं।

Robots.txt File को Test कैसे करें?

एक बार जब आप अपनी Robots.txt फ़ाइल बना लेते हैं, तो Robots.txt Test टूल का उपयोग करके इसका Test करना बहुत जरूरी है।

• इंटरनेट बहुत से ऐसे टूल हैं जिनकी मदद से आप अपने Robots.txt फ़ाइल को Test कर सकते हैं। लेकिन हम Google Search Console को उपयोग करने की सलाह देते हैं।
• सबसे पहले, आपको अपनी वेबसाइट को Google सर्च कंसोल से लिंक करना होगा। यदि आपने अभी तक ऐसा नहीं किया है, तो अपनी वर्डप्रेस साइट को Google सर्च कंसोल में कैसे जोड़ें? आप हमारे इस लेख को पढ़ सकते हैं।
• फिर, आप Google Search Console रोबोट्स टेस्टिंग टूल का उपयोग कर सकते हैं।
• इसके बाद आपको अपनी Property का चयन करना होगा।
• टूल Automatically रूप से आपकी वेबसाइट की Robots.txt फ़ाइल लाएगा और यदि कोई त्रुटियां और चेतावनियां पाई गईं तो उसे आपके सामने प्रदर्शित कर देगा। जिसमें आप सुधार कर सकते हैं।

वेबसाइट की Robots.txt File कैसे Check करें?

नीचे दिये गये URL की मदद से आप अपनी वेबसाइट का Robots.txt फ़ाइल चेक कर सकते हैं।

• https://example.com/robots.txt

यहाँ पर आपको example.com के स्थान पर अपना Domain Name डालना होगा। जैसे की अगर आप मेरी वेबसाइट की Robots.txt फ़ाइल देखना चाहते हैं, तो इसके लिए आपको https://www.a2zhindime.com/robots.txt डाल कर सर्च करना होगा। इतने करते ही आपके सामने मेरी वेबसाइट का Robots.txt आ जायेगा।

Robots.txt File से संबंधित कुछ अन्य बातें

File Name	Robot.txt File
Use	Blog/Website
Work	Search Engine Robots को कमांड देना
Add कैसे करें	WordPress Blog में SEO Plugin के द्वारा और Blogger में Google खुद कर लेता है।

FAQ – Robots.txt File in Hindi

Robots.txt फ़ाइल के बारे में अक्सर नये ब्लॉगर के दिमांग में आने कुछ निम्नलिखित Q&A, जिन्हे आप पढ़ सकते हैं।

Q1. Robots.txt File को Test कैसे करें?

Robots.txt फ़ाइल को Test करके के लिए आप Google Search Console रोबोट्स टेस्टिंग टूल का उपयोग कर सकते हैं।

Q2. Robots.txt File को कैसे देखें?

Robots.txt फ़ाइल को देखने के लिए आपको इस URL (https://example.com/robots.txt) का उपयोग कर सकते हैं। यहाँ पर example.com पर उस वेबसाइट के डोमेन नेम को लिखना होगा। जिसका आप Robots.txt देखना चाहते हैं।

Q3. Robots.txt File का उपयोग किस कारण किया जाता है?

Robots.txt फ़ाइल की मदद से आप अपने जिस भी पेज को चाहें क्रॉल करा सकते है या क्रॉल नहीं कर सकते हैं। Robots.txt File की मदद से आप सर्च इंजन को यह निर्देश देते हो।

Q4. Robots.txt File कहाँ पर Save होती है?

Robots.txt फ़ाइल वेबसाइट के Root Folder में Save होती है।

ये लेख भी पढ़ें:

• 2024 में Blogging कैसे शुरू करें?
• Blogging कैसे सीखें?
• Google Gemini AI क्या है?
• SSL क्या है?
• Redirection क्या है?
• Internal Linking क्या है?
• External Link क्या है?
• Domain Authority क्या है?
• Page Authority क्या है?
• Search Intent क्या है?
• Google EAT क्या है?
• Anchor Text क्या है?
• Google AMP क्या है?
• Link Juice क्या है?

अंतिम शब्द – Robots.txt File Kya Hoti Hai

इस लेख में आपने सीखा कि Robots.txt File Kya Hai? (What is Robots.txt File in Hindi) Robots.txt File कैसे बनायें? इसके फायदे क्या है? इस लेख में हमने आपको Robots.txt से संबंधित सम्पूर्ण जानकारी आपको प्रदान की है। ताकि आप इस बिषय से संबंधित कोई जानकारी हासिल करने के लिए इंटरनेट पर अपना समय न वर्बाद करें। यदि इस लेख को पढ़ने के बाद आपके मन में कोई सवाल है, तो आप मुझसे कमेंट करके पूंछ सकते हैं। हम हर संभव आपकी मदद करेंगे।

मुझे आशा है कि आज का लेख Robots.txt File क्या है? आपको बेहद पसंद आया होगा। अगर ऐसा है, तो आप इस लेख को अपने मित्रों के साथ सोशल मीडिया पर अवश्य शेयर करें। यदि आप SEO के बारे में विस्तार से सीखना चाहते हैं, तो आप इस ब्लॉग की SEO केटेगरी को पढ़ सकते हैं।