WordPress网站如何禁止搜索引擎抓取

建站知识 岱昊编辑部 18 阅读

中小企业老板:这篇教你用3个简单方法,让搜索引擎不抓取你的网站,适合开发中或不想被公开的网站。

网站还没做好就被搜到了?你花了几万块做的页面,客户点进去看到的是“测试中”三个字,这单子还怎么谈。

很多老板的习惯是:域名一买,网站一装,直接上线边做边改。结果百度蜘蛛把你的半成品全扒走了,等正式上线,客户搜到的还是那几个没写完的页面。

先搞清楚两件事:

  • 爬虫访问你的网站,叫“抓取”
  • 把你的页面存进搜索数据库,叫“收录”

你要的是让百度既不抓取,也不收录。

网站还没做好,怎么让它从百度眼里消失

方法一:用网店系统自带的“屏蔽搜索引擎”功能

大多数网店系统(比如你用的常见电商建站工具)后台都有一个开关,叫“阻止搜索引擎索引本站”。你找到设置里的“阅读”或“搜索引擎可见性”选项,勾上就行。

这个操作会在网站头部加一行代码,告诉百度“别收录我,别顺着链接爬”。同时系统会自动修改你的 robots.txt 文件,加上一条禁止爬虫的规则。

但有个坑: 如果别的网站已经链了你的域名,百度可能还是会收录你的网址,只是显示“页面无法访问”。这就像你锁了家门,但快递员还是把包裹扔在门口。

这个方法适合临时用一下,比如你只差两三天就上线了。如果周期超过一周,别用这个。

方法二:给整个网站加个密码锁

这是最彻底的办法。百度爬虫输不了密码,根本进不来。

方案 A:在服务器后台设置

你登录服务器管理面板(就是你买空间时那个控制台),找到“目录隐私”或“密码保护目录”功能。把网站根目录(一般是 public_html 文件夹)设成密码保护,然后创建一个用户名和密码。

以后每次访问你的网站,都得输入这个密码。百度爬虫进不来,你的测试页面再丑也没人看见。

注意: 这个方法会拦住所有外部服务。如果你在测试微信支付接口或支付宝回调,它们也会连不上。测试支付功能时记得先关掉密码保护。

方案 B:用插件设置维护模式

如果你的服务器没有提供密码保护功能,或者你用的是托管型网店服务,那就装一个“维护模式”或“即将上线”插件。

这种插件的好处是:访客能看到一个漂亮的“网站正在建设中”页面,你还可以在页面上放个微信二维码,让有意向的客户加你私聊。百度爬虫看到的则是空白内容,根本抓不到你的真实页面。

一套完整的维护模式插件,市面上价格在几百到一千多人民币不等。如果只是临时用,免费的版本也够用。

方法三:单独隐藏某几个页面

你可能是这样的场景:网站大部分内容已经上线了,百度也在正常收录,但有一篇产品介绍写错了,或者某个活动页面还没定稿。

这时候别动全站设置。在编辑页面的时候,找到SEO设置里的“高级”选项,把“允许搜索引擎索引”关掉。系统会在那个页面单独加一个“不要收录”的标记。

这个方法只适用于个别页面。如果你有几十个页面都要隐藏,还是用密码保护整个站更省事。

几个老板常问的问题

问:我域名刚注册,没人链接过来,百度能找到我吗?

能。互联网上有大量自动收录域名的网站,你的新域名可能已经被收录在这些列表里了。别赌运气。

问:设了密码保护,以后上线了会影响排名吗?

不会。密码保护期间百度根本进不来,你的网站在搜索眼里是“不存在”的,既没有好印象也没有坏印象。等你上线后关掉密码,百度重新来抓取,一切从头开始。

问:我怎么知道百度已经收录了我的网站?

在百度搜索框里输入 site:你的域名.com,如果出现结果,说明已经被收录了。你也可以在百度站长平台里查具体的收录状态。

问:测试完了怎么恢复?

密码保护的话,去服务器后台关掉目录隐私设置就行。用插件的话,停用维护模式。用系统自带功能的话,取消勾选“阻止搜索引擎索引”。然后去百度站长平台提交一下网址,让百度尽快来重新抓取。

总结一下怎么选

  • 临时应急(一两天): 用系统自带的屏蔽功能
  • 长期开发(一周以上): 用密码保护,服务器后台或插件都行
  • 只有几个页面没做好: 单独设置不收录
  • 正在测试支付接口: 别用服务器密码保护,用插件维护模式

别让百度替你“提前发布”。等网站全部准备好了,再开门迎客。

看完还有疑问?直接问我们

资深顾问 1 对 1 解答,免费出方案与透明报价,不满意不推进。

已收到!我们将在 1 个工作日内联系你。
免费获取方案填写需求 · 1 工作日回复
微信二维码 微信扫码加资深顾问 · 发需求更快
QQ 在线咨询点击直接沟通 咨询热线 · 工作日 9:00–18:0015587454277 Sunpeak@yeah.net商务合作 / 项目咨询
微信二维码 微信扫码加顾问截图保存后,用微信扫一扫