你花大价钱请人写了产品介绍，又熬夜优化了页面，结果发布一个星期了，百度里还是搜不到。更气的是，同行那个看起来一般的页面，排名却比你靠前。
别急着怪内容。问题很可能出在一个你没听过的东西上：抓取配额。
简单说，搜索引擎派“爬虫”来你家网站串门，每天能来的次数和看的页面数量是有限的。这个额度，就是抓取配额。你家网站越大、页面越多，这个配额就越紧张。如果爬虫来了，尽看些没用的页面，那你真正重要的产品页、新文章，就只能干等着。
这篇文章就是帮你把配额抢回来，让百度把精力花在该花的地方。
你的抓取额度，浪费在哪儿了？
很多老板根本不知道，自己的网站每天都在“漏财”。几个最常见的浪费大户：
- 重复的RSS feed：网站系统会自动生成一堆订阅源。文章分类有、标签有、评论区也有。这些内容跟你的主站页面高度重复，爬虫每看一次，都是在浪费一次宝贵的机会。
- 无用的归档页：比如“作者归档”。如果你公司网站就两三个人写文章，那每个作者单独一个页面，内容基本一样。爬虫看完一个，就没必要再看第二个。
- 带参数的链接：为了做推广，你在网址后面加了
?utm_source=wechat这类跟踪参数。百度会把带不同参数的链接当成不同页面，挨个爬一遍。实际上，它们指向的是同一个页面。 - 404 错误页面：网站改版、删了旧产品，导致一些链接失效了。如果爬虫每次来都撞上这些“死胡同”，不仅浪费配额，还会让百度觉得你网站质量不行。
怎么判断你的配额有没有被浪费？
别猜，看数据。你的网站后台有没有开通站长工具？这是免费的，必须装。
进去之后，找到“抓取统计”或者类似的报告。你会看到一张图表，显示百度每天来爬了多少次。
重点看下面这几个数据：
- 按状态码分类：有多少次请求返回了“404”（找不到页面）？这个数字越高，浪费越严重。
- 按文件类型分类：爬虫是不是花了很多时间在抓图片、CSS文件上？这些虽然也需要，但优先级远低于你的核心页面。
- 按目的分类：有多少请求是针对RSS feed、归档页这些低价值页面的？
看到这些数据，你就能直观地知道：你的钱（配额）到底被谁花掉了。
四步把抓取配额抢回来
第一步：关掉没用的RSS Feed
你不需要把所有RSS都关了。但像“作者feed”、“标签feed”这些，对绝大多数企业站来说，没用。关掉它们，爬虫就不会来了。
具体操作：在你的网站后台，找到SEO设置相关的插件（比如市面上主流的几个SEO插件都有这个功能），找到“抓取清理”或“RSS Feed”选项，把不需要的勾掉。一个单作者的公司博客，直接关掉“作者feed”就行。
第二步：清理带参数的URL
在同样的设置里，找到“清理查询参数”或类似功能。把那些推广用的参数（比如 utm_source、utm_medium）告诉系统：这些不是新页面，别去爬。
注意：别把搜索功能必需的参数（比如 ?s=关键词）也关了，否则用户搜不了东西。
第三步：把404错误页面“救活”
站长工具里会列出一堆返回404的链接。这些链接可能是你以前删掉的产品页、过时的活动页。
- 如果还有类似页面：用“301重定向”，把旧链接指到新链接。比如旧产品A下架了，把它的链接重定向到同类新产品B的页面。用户和爬虫点进来，会直接跳到B。
- 如果彻底没了：至少重定向到网站首页或相关的分类页。别让爬虫吃闭门羹。
第四步：提交你的“地图”（XML站点地图）
站点地图就像一个清单，把网站里所有重要的页面都列出来，告诉爬虫：“你就照着这个单子爬，别自己瞎逛。”
新网站尤其需要。因为新站没多少外部链接，爬虫不容易发现你。有了地图，它就能按图索骥，把你所有产品页、案例页都找到。
大多数SEO插件都能自动生成站点地图，你只需要在站长工具里提交一下链接就行。
一个常见误区：小网站不用管？
错。
虽然网站越大，抓取配额问题越明显。但哪怕你只有几十个页面，优化配额也有好处。它能保证你新发的一篇客户案例、新上架的一个产品，能被百度更快地发现和收录。
你想想，同行的新页面3天就出现在搜索结果里，你的要等两周。这中间的流量损失，就是实实在在的生意。
最后说一句
别把精力花在“怎么让百度多来几次”上。你控制不了这个。你能控制的，是让百度每次来，都看到最重要的东西。
把那些没用的页面关掉、把错误的链接修好、把站点地图交上去。这几件事做完，你会发现新内容被收录的速度，明显快一截。
微信扫码