llms.txt समझाया गया: इसमें क्या डालें और क्या आपको इसकी ज़रूरत है

llms.txt का उद्देश्य क्या है

त्वरित परीक्षण: yoursite.com/llms.txt खोलें। यदि 404 दिखता है, तो भी आप 10 पंक्तियों से शुरू कर सकते हैं।

llms.txt एक सुझाया गया Markdown फ़ाइल है जो भाषा-मॉडल टूल को किसी वेबसाइट के महत्वपूर्ण पृष्ठों का एक क्यूरेटेड नक्शा प्रदान करता है। इसका उद्देश्य उपयोगी सामग्री को पहचानना आसान बनाना है; यह आपकी वेबसाइट, साइटमैप, या AI उत्तरों में Visibility का वादा नहीं है।

प्रस्ताव फ़ाइल को साइट रूट पर रखने का वर्णन करता है, जहाँ यह चयनित सामग्री की ओर इशारा कर सकता है। व्यवहार में, इसे एक तकनीकी पाठक के लिए लिखे गए छोटे इंडेक्स के रूप में सोचें: यह पाठक को बताता है कि आपका संगठन क्या करता है और आधिकारिक जानकारी कहाँ मिलेगी। फ़ाइल स्वयं उन अंतर्निहित पृष्ठों को सटीक, पूर्ण या उपयोग में आसान नहीं बनाती है।

एक बनाने का निर्णय लेने से पहले, जाँचें कि क्या आपकी साइट पर सार्वजनिक पृष्ठों का एक स्पष्ट सेट है जो इंगित करने लायक है। एक Web3 Project के लिए, इसमें उत्पाद अवलोकन, दस्तावेज़ीकरण, सुरक्षा जानकारी, टोकन विवरण और सहायता मार्गदर्शन शामिल हो सकता है—लेकिन केवल वही सामग्री शामिल करें जो प्रकाशित और सार्वजनिक संदर्भ के लिए अनुमोदित हो।

प्रस्ताव और इसका तर्क llmstxt.org पर वर्णित है। इसे मूल्यांकन करने के लिए एक परंपरा के रूप में पढ़ें, न कि इस बात के प्रमाण के रूप में कि कोई विशेष प्लेटफ़ॉर्म फ़ाइल का उपयोग करता है या आपके पृष्ठों को उद्धृत करेगा। तकनीकी संकेत AI सर्च में कैसे फिट होते हैं, इसकी व्यापक तस्वीर के लिए, तकनीकी AEO पर हमारी गाइड देखें।

क्या SEO या AI Visibility के लिए इसकी ज़रूरत है?

अधिकांश साइटों को इस धारणा पर निर्णय लेना चाहिए कि पृष्ठ मानचित्र कितना उपयोगी है, न कि इस धारणा पर कि इसे प्रकाशित करने से सर्च प्रदर्शन में सुधार होगा। यदि आप उपयोगी सार्वजनिक पृष्ठों के एक छोटे, स्थिर संग्रह की ओर इशारा कर सकते हैं, तो एक अच्छी तरह से बनाए रखी गई फ़ाइल आपके पसंदीदा पढ़ने के पथ को संप्रेषित करने में मदद कर सकती है। यदि आपके पृष्ठ पुराने, विरोधाभासी या अभी भी बदल रहे हैं, तो पहले उन मुद्दों को ठीक करें।

इस त्वरित निर्णय जाँच का उपयोग करें:

• क्या आपकी टीम उन पृष्ठों का नाम बता सकती है जो परियोजना का विश्वसनीय विवरण देते हैं?
• क्या वे पृष्ठ सार्वजनिक, वर्तमान और बिना विशेष पहुँच के पाठक के लिए सुलभ हैं?
• क्या कोई व्यक्ति पृष्ठ बदलने पर फ़ाइल को अपडेट करने की ज़िम्मेदारी ले सकता है?
• क्या फ़ाइल साइट के मुख्य पृष्ठों से लिंक करने की तुलना में एक स्पष्ट मार्ग जोड़ेगी?

यदि अधिकांश उत्तर हाँ हैं, तो फ़ाइल का मसौदा तैयार करना एक उचित, कम-जटिलता वाला तकनीकी कार्य है। यदि नहीं, तो स्रोत सामग्री को प्राथमिकता दें। एक पॉलिश इंडेक्स जो अस्पष्ट दावों की ओर इशारा करता है, आपके संगठन के बारे में उपयोगी साक्ष्य नहीं है।

एक व्यावहारिक Web3 साइट समीक्षा के लिए, परियोजना अवलोकन, उत्पाद दस्तावेज़ीकरण, सुरक्षा प्रकटीकरण, आधिकारिक सोशल चैनल और सहायता जानकारी के लिंक एकत्र करें। प्रकाशित करने से पहले डुप्लिकेट हटाएँ और विरोधाभासी विवरणों को हल करें। यदि उद्देश्य AI उत्तरों में व्यापक खोज क्षमता है, तो इस निर्णय को AI Visibility समीक्षा के साथ जोड़ें, न कि एक फ़ाइल को पूर्ण Visibility योजना के रूप में मानें।

llms.txt और schema.org की तुलना

llms.txt और schema.org अलग-अलग कार्यों को संबोधित करते हैं। llms.txt चयनित पृष्ठों का एक प्रस्तावित मानव-पठनीय इंडेक्स है; schema.org संरचित शब्दावली प्रदान करता है जो Entities और पृष्ठ सामग्री को अधिक सुसंगत प्रारूप में वर्णित कर सकता है।

schema.org का उपयोग तब करें जब आपको उपयुक्त गुणों का उपयोग करके किसी वास्तविक Entity, उत्पाद, लेख या संगठन का वर्णन करने की आवश्यकता हो। मार्कअप को पाठक पृष्ठ पर देख सकने वाली जानकारी के साथ संरेखित रखें। llms.txt का उपयोग करें, यदि आप इसे प्रकाशित करना चुनते हैं, तो पाठक को क्यूरेटेड संसाधनों के सेट की ओर उन्मुख करने के लिए। कोई भी प्रारूप कमज़ोर स्रोत सामग्री की मरम्मत नहीं करता है, और वे एक-दूसरे के विकल्प नहीं हैं।

एक उपयोगी कार्यान्वयन क्रम यह है कि पहले महत्वपूर्ण पृष्ठों को स्पष्ट करें, जहाँ उपयुक्त हो वहाँ उपयुक्त स्ट्रक्चर्ड डेटा लागू करें, फिर विचार करें कि क्या एक अलग पाठ इंडेक्स नेविगेशन में मदद करता है। आधिकारिक शब्दावली schema.org पर उपलब्ध है। मार्कअप चुनने और मान्य करने के बारे में अधिक जानकारी के लिए, AI सर्च के लिए स्कीमा मार्कअप पर हमारी गाइड पढ़ें।

आपकी 6-बिंदु llms.txt चेकलिस्ट

इन चरणों का क्रम से पालन करें, और प्रत्येक संस्करण की दिनांकित प्रति रखें। एक छोटी, ईमानदार फ़ाइल लंबी फ़ाइल से बेहतर है, इसलिए उन पृष्ठों पर रुकें जो मायने रखते हैं।

• उन 10 से 20 पृष्ठों की सूची बनाएं जिन्हें आप मशीनों द्वारा पढ़ना चाहते हैं।
• प्रति पृष्ठ एक सादा पंक्ति लिखें: यह क्या कवर करता है।
• फ़ाइल को डोमेन के रूट पर रखें।
• जाँचें कि robots.txt उन पृष्ठों को ब्लॉक नहीं करता है।
• जब पृष्ठ बदलते हैं तो इसे अद्यतित रखें।
• पहले और बाद में 5 सहायक प्रश्नों के साथ परीक्षण करें।

एक पंक्ति में शर्तें

llms.txt (सादे शब्दों में: एक सादा फ़ाइल जो AI टूल को आपके सबसे उपयोगी पृष्ठों की ओर इशारा करती है)।

डोमेन का रूट का अर्थ है शीर्ष-स्तरीय वेब पता, जैसे example.com/।

एक उपयोगी फ़ाइल लिखना, पंक्ति दर पंक्ति

अंगूठे का नियम: 10 से 20 स्थिर सार्वजनिक पृष्ठों की सूची बनाएं। किसी भी ऐसे पृष्ठ को हटा दें जिसे आप उद्धृत नहीं करना चाहेंगे।

एक उपयोगी llms.txt फ़ाइल संक्षिप्त, सटीक और उन पृष्ठों से बनी होती है जिन पर पाठक प्राथमिक स्रोतों के रूप में भरोसा कर सकते हैं। संगठन के सादे-भाषा विवरण से शुरू करें, फिर उन पृष्ठों को समूहित या सूचीबद्ध करें जो इसके काम को सबसे अच्छी तरह समझाते हैं।

एक सरल रूपरेखा इस तरह दिख सकती है:

• परियोजना के नाम के साथ एक शीर्ष-स्तरीय शीर्षक
• एक छोटा विवरण जो परियोजना के बारे में अतिशयोक्ति नहीं करता है
• मुख्य पृष्ठों के लिंक, प्रत्येक के साथ एक छोटी व्याख्या
• दस्तावेज़ीकरण, सुरक्षा, उत्पाद जानकारी या सहायता के लिए वैकल्पिक समूह

उदाहरण के लिए, एक लिंक विवरण पढ़ सकता है: “दस्तावेज़ीकरण — उत्पाद सेटअप, समर्थित नेटवर्क और उपयोग निर्देश।” ऐसे विवरण का उपयोग करें जो गंतव्य से मेल खाता हो; किसी मार्केटिंग पृष्ठ को तकनीकी दस्तावेज़ीकरण के रूप में लेबल न करें। अस्थायी पूर्वावलोकन या लॉगिन की आवश्यकता वाले पृष्ठों के बजाय कैननिकल सार्वजनिक URL से लिंक करें।

प्रकाशित करने से पहले, प्रत्येक URL, शीर्षक और विवरण की जाँच करें। पुष्टि करें कि टोकन विवरण, अनुबंध संदर्भ, सुरक्षा कथन और उत्पाद दावे लिंक किए गए पृष्ठों के अनुरूप हैं और उनके लिए जिम्मेदार लोगों द्वारा अनुमोदित हैं। गोपनीय रोडमैप, आंतरिक डैशबोर्ड और अप्रकाशित सामग्री को फ़ाइल से बाहर रखें। एक जिम्मेदार व्यक्ति नियुक्त करें ताकि साइट पर अपडेट इंडेक्स की समीक्षा को प्रेरित करें, और पाठ को दोहराए गए कीवर्ड से भरने के बजाय पठनीय रखें।

इसे अपनी साइट पर प्रकाशित करना

स्रोत पृष्ठ तैयार करके, एक पठनीय फ़ाइल बनाकर, इसे इच्छित स्थान पर प्रकाशित करके और लाइव परिणाम की जाँच करके llms.txt लागू करें। व्यावहारिक कार्य आमतौर पर सीधा होता है जब सामग्री स्वामित्व और वेबसाइट पहुँच स्पष्ट हो।

पहले, सार्वजनिक पृष्ठों की एक छोटी सूची बनाएं जो संगठन को सटीक रूप से समझाते हैं। जाँचें कि प्रत्येक पृष्ठ लोड होता है और उसकी सामग्री वर्तमान है। इसके बाद, फ़ाइल को एक छोटे सारांश और स्पष्ट रूप से लेबल किए गए लिंक के साथ सादे Markdown-शैली पाठ के रूप में लिखें; इसे अपनी वेबसाइट की दूसरी प्रति में बदलने से बचें। फिर इसे साइट रूट पर रखें ताकि इसे अपेक्षित पथ, आमतौर पर /llms.txt पर पहुँचा जा सके।

प्रकाशन के बाद, URL को ब्राउज़र में खोलें और सत्यापित करें कि प्रतिक्रिया त्रुटि पृष्ठ, रीडायरेक्ट लूप या असंबंधित सामग्री के बजाय इच्छित पाठ दिखाती है। अपने ड्राफ्ट से नहीं, बल्कि लाइव फ़ाइल से लिंक की जाँच करें। अपनी सामान्य साइट-रखरखाव दिनचर्या में स्वामित्व जोड़ें, विशेष रूप से जब उत्पाद दस्तावेज़ीकरण या आधिकारिक परियोजना विवरण बदलते हैं।

प्रकाशित संस्करण और उसके स्रोत पृष्ठों का रिकॉर्ड रखें। यदि आप पहले से ही AI-मुखी तकनीकी कार्य का आयोजन कर रहे हैं, तो फ़ाइल को व्यापक llms.txt और AI क्रॉलर सेटअप समीक्षा में शामिल करें। इससे फ़ाइल का पृष्ठ पहुँच और अन्य तकनीकी संकेतों के साथ मूल्यांकन करना आसान हो जाता है, बिना इसे एक स्टैंड-अलोन फिक्स के रूप में माने।

यह जाँचने का तरीका कि क्या यह मदद करता है

व्यावहारिक साक्ष्य यह है कि क्या फ़ाइल सही, सुलभ और एक नक्शे के रूप में उपयोगी है—न कि यह कि क्या इसकी उपस्थिति अकेले यह साबित करती है कि किसी AI सिस्टम ने इसका उपयोग किया है। कार्य का मूल्यांकन करते समय उन प्रश्नों को अलग रखें।

आप उन चीज़ों को सत्यापित कर सकते हैं जिन्हें आपकी टीम नियंत्रित करती है: कि /llms.txt उपलब्ध है, सामग्री स्वीकृत ड्राफ्ट से मेल खाती है, लिंक काम करते हैं, और लिंक किए गए पृष्ठ वह जानकारी प्रदान करते हैं जो उनके विवरण वादा करते हैं। आप यह भी समीक्षा कर सकते हैं कि क्या महत्वपूर्ण स्रोत पृष्ठ स्पष्ट और सुसंगत हैं। जाँच की तारीख और फ़ाइल के संस्करण को रिकॉर्ड करें ताकि भविष्य का समीक्षक देख सके कि क्या बदला।

प्रकाशन से ही अपनाने का अनुमान न लगाएं। यदि आप AI उत्पादों से उत्तरों की निगरानी करते हैं, तो उत्पाद, प्रॉम्प्ट, तारीख, उत्तर और किसी भी उद्धृत स्रोत को रिकॉर्ड करें। अवलोकनों की सावधानीपूर्वक तुलना करें: प्रॉम्प्ट और उत्तर भिन्न हो सकते हैं, और एक जाँच में दिखाई देने वाला उद्धरण यह स्थापित नहीं करता है कि फ़ाइल ने इसका कारण बना। एक उपयोगी उद्धरण Audit उन स्रोतों और शब्दों की जाँच करता है जो दिखाई देते हैं, न कि केवल यह कि आपका ब्रांड नाम मौजूद है या नहीं।

एक Web3 Project के लिए, वर्तमान आधिकारिक दस्तावेज़ीकरण और प्रकटीकरण के विरुद्ध उत्तरों की जाँच करें। यदि कोई उत्तर किसी चेन, सुविधा या टोकन विवरण को गलत बताता है, तो पहले आधिकारिक पृष्ठ में सुधार करें; फिर समीक्षा करें कि क्या आपकी फ़ाइल पाठकों को सही स्रोत की ओर इशारा करती है।

llms.txt क्या नियंत्रित नहीं कर सकता, और अगला कदम

llms.txt एक प्रस्तावित परंपरा है, इसलिए इसे प्रकाशित करने से यह स्थापित नहीं होता है कि Google या कोई AI उत्पाद इसे पढ़ता है, इसके लिंक का उपयोग करता है, या आपके पृष्ठों को उद्धृत करता है। प्रत्येक प्लेटफ़ॉर्म अपने स्वयं के क्रॉलिंग, चयन और उत्तर व्यवहार को नियंत्रित करता है, और वे परिणाम फ़ाइल के लेखक द्वारा नियंत्रित नहीं होते हैं।

सबसे उपयोगी अगला कदम अंतर्निहित जानकारी को विश्वसनीय बनाना है। महत्वपूर्ण परियोजना तथ्यों के लिए एक स्पष्ट स्रोत रखें, तकनीकी और प्रचार सामग्री को सटीक रूप से लेबल करें, और सुनिश्चित करें कि सार्वजनिक पृष्ठ नामों और विवरणों पर सहमत हों। एक फ़ाइल जो इन संसाधनों की ओर इशारा करती है, तब प्लेटफ़ॉर्म व्यवहार के बारे में असमर्थित दावे के बजाय एक संक्षिप्त मार्गदर्शिका के रूप में काम कर सकती है।

यदि आपके पास पहले से मजबूत स्रोत पृष्ठ हैं, तो एक ड्राफ्ट बनाएं और सामग्री स्वामी और तकनीकी स्वामी से इसे जाँचने के लिए कहें। यदि स्रोत सामग्री असमान है, तो पहले एक पृष्ठ सूची तैयार करें और सुधारों को प्राथमिकता दें। व्यापक प्रयास की योजना बनाने वाली Web3 टीमों के लिए, हमारा AI सर्च Visibility गाइड बताता है कि तकनीकी कार्य सामग्री और बाहरी संदर्भों के साथ कैसे फिट बैठता है।

अपना डोमेन और वे पृष्ठ भेजें जिन्हें आप आधिकारिक मानते हैं। हम प्रस्तावित स्रोतों की समीक्षा करेंगे, जाँचेंगे कि क्या llms.txt फ़ाइल एक समझदारी भरा अगला कदम है, और प्रकाशन से पहले किए जाने वाले विशिष्ट सुधारों की रूपरेखा तैयार करेंगे।

यह कैसे काम करता है

1. स्रोत पृष्ठ चुनेंसार्वजनिक पृष्ठों की सूची बनाएं जो आपके संगठन, उत्पाद, दस्तावेज़ीकरण और सहायता की व्याख्या करते हैं। पुष्टि करें कि प्रत्येक वर्तमान और आधिकारिक है।
2. विरोधाभासी जानकारी हल करेंचयनित पृष्ठों पर विवरणों और परियोजना तथ्यों की तुलना करें। उनसे लिंक करने से पहले उनके स्रोत पर असंगतियों को ठीक करें।
3. Markdown फ़ाइल का मसौदा तैयार करेंएक संक्षिप्त परिचय लिखें और सटीक विवरण के साथ स्पष्ट लिंक जोड़ें। निजी, अस्थायी या अनुमोदित नहीं की गई सामग्री को छोड़ दें।
4. साइट रूट पर प्रकाशित करेंफ़ाइल को /llms.txt पर उपलब्ध कराएं और लाइव URL, उसकी सामग्री और प्रत्येक गंतव्य लिंक की जाँच करें।
5. रखरखाव और समीक्षा सौंपेंरिकॉर्ड करें कि अपडेट का मालिक कौन है और जब महत्वपूर्ण पृष्ठ बदलते हैं तो फ़ाइल की जाँच करें। प्लेटफ़ॉर्म अपनाने की धारणाओं के बजाय पहुँच और सटीकता पर इसका मूल्यांकन करें।