robots.txt 检测

不一定。robots.txt 只能阻止抓取，并不能阻止收录。如果有其他网站链接到这个页面，搜索引擎可能在没读到内容的情况下仍然收录这个网址。想把页面从搜索结果中彻底移除，应该允许抓取，再在页面上加 noindex（meta 标签或 X-Robots-Tag 响应头）。如果用 robots.txt 屏蔽了，爬虫反而读不到 noindex，页面会一直留在结果里。

按 Google、Bing 遵循的 RFC 9309，路径匹配最长的规则优先。例如同时有 Disallow: /private/ 和 Allow: /private/ok 时，/private/ok 与 Allow（11 个字符）匹配得更长，所以允许抓取；/private/x 只命中 Disallow（9 个字符），所以禁止抓取。长度完全相同时，以更宽松的 Allow 为准。这与规则在文件中的先后顺序无关。

* 匹配任意长度的字符。Disallow: /*? 表示“所有包含 ? 的网址”，Disallow: /*.pdf 表示“包含 .pdf 的网址”。$ 只有放在规则末尾时才有特殊含义，表示匹配到网址结尾：Disallow: /*.pdf$ 只屏蔽以 .pdf 结尾的网址，/a.pdf?x=1 不受影响。这两个都是早期规范之外的扩展写法，百度、Google、Bing 等主流搜索引擎都支持。

返回 404（不存在）时，爬虫会视为“没有限制”，抓取整个网站。没有 robots.txt 本身并不是问题。但如果持续返回 5xx（服务器错误），Google 可能会保守处理，暂时当作整个网站都禁止抓取。所以不打算放 robots.txt 时，请确保它正常返回 404，而不是报服务器错误或陷入重定向循环。