《Mintlify 报告：大模型爬虫究竟有多频繁访问 llms.txt》

Mintlify 爬虫日志审计：揭秘 AI Scrapers 访问 llms.txt 的频次

文档托管服务商 Mintlify 通过提取分析其平台上数万个技术文档主机的 Nginx 访问日志，整理出大模型爬虫拉取概览文件的物理特征。

一、 主动抓取特征

一旦技术文档的 Sitemap 有更新，GPTBot 和 Claude-SearchBot 会在几小时内发出高频请求读取 llms.txt。

二、 缓存周期窗口

与传统搜素引擎数周的刷新频率不同，各大 AI 搜索引擎在本地对 `llms.txt` 的缓存时间一般为 1 小时至 24 小时。如果内容变化极其频繁，应配合提供动态 API 端点输出。