llms.txt 是一个年轻、还不算正式的约定——一份放在站点根目录的纯 Markdown 文件,想给 AI 系统一份精心挑过的站点摘要,以及重要页面在哪,而不是让它们靠爬一遍自己猜。采用的站点是真实存在的,但很不均衡,而且没有任何一家主流 AI 产品保证会读它。这句话得在清单前面说清楚,不能等到后面才说。
真正有帮助的
- 一段话说清这个站是干什么的,用你会跟一个完全没听说过你的人解释的方式写——不是营销文案,是大白话描述。
- 指向最重要页面的链接,分好组、打好标签,让读这份文件的系统拿到的是一张地图,而不是一堆链接的乱丢。
- 写清楚不在范围内的东西,如果相关的话——告诉一个系统你不覆盖什么,有时候和告诉它你覆盖什么一样有用。
- 保持更新。 一份指向已经改版过的站点的过期 llms.txt,比没有这份文件还糟,和一份过期的 sitemap 比没有还糟是一个道理。
只是看着有用的
- 堆关键词的摘要。 这份文件是给语言模型读的,不是给经典搜索索引排名用的——塞满目标短语没有帮助,反而正是这份规范的作者们想避免招来的那种操纵行为。
- 把整份 sitemap 复制一遍。 llms.txt 该做的是精选,不是罗列。一份列出站上每个 URL 的文件,提供的信号并不比 sitemap 本身多,也没抓住这个格式的重点。
- 你自己都不敢写进营销文案的说法。 一句话如果在你首页上经不起推敲,不会因为换到了给 AI 爬虫看的文件里就变成真的。
- 没人维护的文件。 我们见过发一次就再没人碰过的 llms.txt——这比根本没有还糟,因为它在主动告诉一个系统一件已经不准确的事。
它和 robots.txt 是什么关系
llms.txt 和 robots.txt 干的是两件不同的事,不该混为一谈:robots.txt 是权限文件(允许谁抓什么),llms.txt 是精选文件(在你已经决定放行的爬虫面前,哪些东西最重要)。我们自己的 AI 爬虫清单管的是权限那一半;这篇管的是精选这一半。只做对其中一个,活儿只干了一半。
