马鞍山建网站：上线前怎样核对抓取与索引配置

📍 WDQWDWQD987AAAAA:216.73.216.177
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f9fbd2457737.html
📄

马鞍山建网站：上线前怎样核对抓取与索引配置

上线前核对抓取与索引配置，核心是确认三件事：搜索引擎能抓到页面、抓到的页面允许被索引、索引结果指向你希望展示的URL。对马鞍山建网站项目来说，最容易被忽略的不是页面能否打开，而是robots.txt、meta robots、canonical、sitemap和HTTP状态码之间是否互相矛盾。下面是一份可执行清单，按顺序查，每项都说明查什么、怎么查、结果说明什么。

先查robots.txt是否误封整站或关键目录

要查什么：根目录下的robots.txt有没有出现Disallow: /，或者把栏目、产品、文章目录整体屏蔽。

怎么查：浏览器直接访问你的域名加/robots.txt，逐行看Disallow规则。也可以打开搜索引擎的robots测试工具，输入一个具体页面URL，看它是否被允许抓取。

结果说明什么：如果测试结果显示被屏蔽，抓取阶段就已经失败，后面所有索引配置都无意义。若只是屏蔽后台、临时目录或搜索参数，属于正常；若屏蔽了首页或主要栏目，需要立即修改。注意robots.txt只约束抓取，不约束索引，被屏蔽的URL仍可能因外部链接出现在索引里，所以不能把它当成删除工具。

检查页面级meta robots与X-Robots-Tag

要查什么：页面HTML的<meta name="robots">是否含noindex，HTTP响应头里是否带X-Robots-Tag: noindex。

怎么查：在浏览器打开目标页面，查看源代码搜索robots；再用开发者工具的Network面板看响应头，或使用curl命令查看-I返回的头部信息。两者都要看，因为响应头优先级通常高于页面meta。

结果说明什么：如果首页、栏目页、详情页出现noindex，页面能被抓取但不会进入索引，表现为搜索结果里查不到。常见原因是建站时复制了测试模板，或CMS的“隐藏页面”设置未关闭。若只想屏蔽某个标签聚合页，应只对该类页面设置，不要全站套用。

核对canonical与URL规范化

要查什么：每个可索引页面是否声明了指向自身正确URL的canonical；带参数、带www、http与https、结尾斜杠等变体是否指向同一个主URL。

怎么查：查看页面源代码中的<link rel="canonical">，与浏览器地址栏实际URL对比。再抽查带?参数的页面，看canonical是否错误地指向了别的页面。

结果说明什么：canonical指向自身，说明该页面希望被独立索引；若全站canonical都指向首页，则栏目和详情页很难被单独收录。若多个URL内容相同但canonical不统一，索引结果可能不是你期望的那一条。判断标准是：你希望用户和搜索引擎看到哪个URL，canonical就应指向哪个。

检查HTTP状态码与重定向链

要查什么：主要页面返回200，已废弃页面返回301并指向有效新地址，不出现大量302跳转链或404。

怎么查：用curl的-I参数或浏览器Network面板查看状态码，逐个测试首页、栏目页、详情页、旧链接。重点看跳转是否超过一跳。

结果说明什么：200表示可正常抓取；301表示永久转移，权重和抓取会跟随到新地址；404表示页面不存在，若旧链接仍有外部入口，会浪费抓取并影响体验。若一个URL经过多次跳转才到最终页，抓取效率会下降，建议直接改成一次301。假设某详情页从旧域名跳到新域名再跳到带参数地址，这种链条就应合并为一步。

验证sitemap与实际可索引URL是否一致

要查什么：sitemap里列出的URL是否都返回200、是否都允许索引、是否与canonical一致；有没有把noindex或404页面写进去。

怎么查：打开sitemap.xml，抽取若干条URL逐一访问，核对状态码和meta robots。再对比sitemap条目数与站点实际可索引页面数，差异过大就要排查。

结果说明什么：sitemap是给搜索引擎的参考清单，不是收录保证。若里面混入noindex或重定向URL，会降低这份清单的可信度，也浪费抓取。若sitemap只列了首页，栏目和详情页被发现的路径就变少。合理做法是只收录200状态、可索引、canonical指向自身的URL。

上线前的最小检查顺序

  1. 访问/robots.txt，确认没有误封主要目录。
  2. 抽查首页、栏目页、详情页的meta robots和X-Robots-Tag，确认没有noindex。
  3. 核对canonical是否指向自身，URL变体是否统一。
  4. 用curl或Network面板确认主要页面返回200，旧链接301到位。
  5. 打开sitemap.xml，确认列出的URL都可索引且状态正常。

完成以上检查后，下一步是在搜索引擎的站长平台提交sitemap，并用URL检查工具对首页和重点栏目发起抓取测试。提交后不要反复改动robots和canonical，先观察抓取日志和索引状态，再根据实际返回结果定位问题。

图1 图2
nginx