方法2026 年 9 月 16 日给 AI 爬虫写 robots.txt:2026 版清单GPTBot、ClaudeBot、PerplexityBot 再加九个——放谁进来,把谁挡在门外,以及为什么通用模板常常写错。4 分钟读完