llms.txt配置与AI爬虫设置：简明指南

设置包含哪些内容

快速测试： 打开 yoursite.com/robots.txt 和 /llms.txt。如果第二个文件返回404，说明您有一个起点。

此设置为您的团队提供了一种协调的方式，来描述重要的网站内容并配置面向爬虫的文件。它包括创建和配置 llms.txt 文件、专门针对AI用户代理更新robots规则，以及优化站点地图以引导爬虫行为。最后，我们会交付一份报告，记录变更内容及其预期效果。

当您的组织希望为AI爬虫建立更清晰的技术设置，而不是在不检查文件如何与网站其他部分配合的情况下添加文件时，这项工作非常有用。如果多个团队管理发布、技术优化或网站访问权限，并且需要一个统一的实施方案，这也是一个实用的起点。

在开始工作之前，请准备：

• 网站以及计划中的任何子域名或语言版本。
• 您希望更易于被发现或限制访问的页面或内容区域。
• 能够审查或部署文件和配置变更的技术联系人。

如果您仍在决定该文件是否合适，请阅读我们的 llms.txt指南。如需更全面地了解AI搜索工作，请参阅 AI搜索可见性。

llms.txt还是robots.txt：哪个文件负责什么？

llms.txt和robots.txt是设置中的不同部分，因此我们将其作为独立的交付物处理。llms.txt文件被创建和配置，以面向爬虫的格式呈现选定的网站信息。Robots规则会根据与您的团队商定的访问方式，专门针对AI用户代理进行审查和更新。

当有人要求用一个文件控制所有AI访问时，这种区分就很重要。我们的工作不会将llms.txt视为robots规则的替代品，也不会假设更改一个文件会改变另一个文件。我们会记录每一项调整，以便您的技术负责人能够看到哪个文件被修改以及原因。

一个有用的审查提示是：爬虫应该能够访问某个页面，还是网站应该为其内容提供更清晰的指南？前者是robots规则的问题；后者可能为llms.txt的内容提供参考。我们会在做出更改之前与您确认预期结果。

如需了解相关的技术工作，请参阅 技术AEO。如果您的优先事项是某个特定助手如何展示您的组织，请探索 ChatGPT可见性 或 Perplexity优化。

站点地图的作用

站点地图优化是此服务的一部分，因为它有助于组织您希望爬虫遇到的路径。我们会在商定的网站计划内审查站点地图设置，并进行相关更改以引导爬虫行为。目标是跨站点地图、llms.txt文件和robots规则提供一套连贯的信号——而不是承诺任何外部平台将如何处理它们。

一个重点明确的计划会使此审查更有价值。请告诉我们哪些网站部分代表了您当前的组织、产品、文档或编辑资源。同时标记过时的区域、重复版本以及不应包含在内容指南中的页面。这样，我们就可以区分您希望呈现的材料和不应在实施中突出的材料。

为了顺利交接，请准备好以下内容：

• 当前站点地图的位置以及任何已知的站点地图变体。
• 优先部分和内容负责人的列表。
• 关于测试环境、已退役页面或需要单独处理的语言版本的说明。

如果您需要在实施更改之前检查更广泛的网站，我们的 GEO审计 可以帮助识别相关的可见性和技术问题。此服务专注于此处描述的文件和站点地图工作。

从审查到交付

常见错误： 在robots.txt中阻止爬虫，然后在llms.txt中列出相同的页面。请先决定访问权限。

服务从简短的计划确认开始，然后进行文件工作、配置和最终审查。典型的交付窗口为一到两个工作日；拥有相关访问权限和响应迅速的技术联系人有助于在此时间范围内推进工作。

首先，我们确认网站以及您希望呈现的内容优先级。接下来，我们创建并配置llms.txt，审查相关的AI用户代理规则，并在商定的计划内优化站点地图。然后，我们对照商定的简报检查更改，并发送最终报告，总结更改内容及其预期效果。

交付物旨在对营销和技术团队都具有可操作性。请让我们在报告中指明文件或配置区域、所做的更改以及您的团队需要的任何部署或所有权说明。如果您的团队自行部署更改，请确认谁将应用这些更改以及我们应如何验证线上版本。如果 MarketingExtra 执行配置，我们会在同一份报告中包含已完成的工作。

如需在设置后进行相关的持续测量，请参阅 AI可见性监测。

您的6点爬虫设置检查清单

在任何人更改文件之前，请先完成此检查清单。一份清晰的书面访问计划可以避免大部分返工。如果某个项目难以勾选，那是有用的信息：它表明在投入任何资金或时间之前需要解决什么问题。

1. 列出AI工具应读取的内容区域。
2. 列出任何必须保持不可访问的区域。
3. 检查当前的robots.txt并记录每条规则。
4. 确认站点地图仅列出在线且规范的页面。
5. 起草llms.txt，每个区域用一行描述。
6. 测试每个文件，然后保存一份带日期的副本。

术语速览

robots.txt（通俗地说：一个告诉爬虫可以访问哪些路径的文件）。

llms.txt 是一个指向AI工具最有用的页面的纯文本文件。

这些文件无法控制的内容

此设置控制商定网站计划中包含的文件和更改；它不设定外部AI平台的策略。我们实施并报告llms.txt、robots规则和站点地图的工作，但每个平台根据其自身的编辑和索引策略决定如何解释或应用这些文件。

这就是为什么最终报告描述的是预期效果，而不是声称某个特定助手将抓取、索引、引用或显示特定页面。在批准工作之前，请确保期望的结果是您的组织可以控制的：准确的文件、清晰的访问偏好以及与计划一致的站点地图。将特定平台的响应视为需要单独评估的观察结果，而不是文件配置的交付物。

作为实用的内部检查，请让您的技术负责人在部署后审查线上文件，并确认它们与批准的更改一致。将报告副本与您的网站文档一起保存，以便未来的编辑者了解文件为何如此配置。如果网站结构后来发生变化，请作为该更新的一部分重新审视这些文件，而不是假设原始设置仍然适用。

将爬虫设置与其他AI工作结合

当文件配置只是挑战的一部分时，将此设置与其他工作结合。如果您的内容难以被引用或缺乏清晰的解释，仅改进面向爬虫的文件不会使页面更有利于读者或AI系统。在这种情况下，请将技术设置与 AI答案内容 结合，后者专注于使信息更清晰、更易于引用。

如果您首先需要了解您的组织在AI搜索体验中的表现，请从 AI存在审计 开始，然后利用其发现来决定此实施是否是合适的下一步。如果主要需求是更广泛的站点级优化，我们的 技术AEO服务 涵盖了相关的技术考量。

请发送3项内容：您的网站、最重要的5个内容区域以及可以编辑服务器文件的联系人。

如何操作

1. 分享网站和优先级发送网站、优先内容区域、站点地图位置以及任何访问偏好。指定可以审查或部署更改的技术联系人。
2. 确认计划在开始工作之前，我们商定计划中包含哪些网站部分、语言版本以及相关的AI用户代理规则。
3. 配置文件我们在商定的计划内创建并配置llms.txt，更新相关的robots规则，并优化站点地图。
4. 审查更改我们对照商定的优先级检查已完成的工作，并准备一份描述更改及其预期效果的报告。
5. 交付报告您的团队收到最终报告，并可使用它来验证部署，并将所有权信息与网站文档一起保存。