网站建好了，内容也发了，但百度就是不收录，排名更是没影儿。你查了半天，可能问题就出在一个叫 robots.txt 的小文件上。这东西管着搜索引擎爬虫能看哪些页面，不能看哪些。很多老板不知道，里面写错一行字，就等于给爬虫下了“禁止入内”的指令。
一个文件，凭什么卡住你的网站流量？
这个文件就像你店门口的告示牌。写对了，客人（爬虫）能顺利找到你的核心产品页、案例页。写错了，或者根本没写，爬虫就可能在你家仓库（后台、插件文件夹）里瞎转悠，浪费力气，反而看不到你真正想卖的东西。
尤其是网站内容多起来以后，搜索引擎给每个站点的“抓取预算”是有限的。它一天就那么多时间和精力来你家，你得让它优先去看最重要的页面，而不是在没用的地方耗光。
先搞清楚：你该拦什么，放什么？
很多人有个误区，觉得把分类页、标签页、存档页都拦了，能让爬虫更集中。这恰恰是错的。这些页面能帮搜索引擎理解你网站的结构，是梳理你内容地图的关键。拦了它们，等于拆了路牌。
你真正该拦的是这几类：
- 后台管理页面：比如 /wp-admin/ 这类，外人没必要看。
- 系统文件和插件目录：比如 /wp-content/plugins/，暴露了有安全风险，也不用被收录。
- 特定的功能文件：比如 readme.html，可能会泄露你网站用的程序版本。
- 你不想被搜到的内页：比如用户后台、订单查询结果页。
记住一个铁律： 想彻底不让一个页面出现在搜索结果里，光靠这个文件拦不住。别人从外部网站一链接，它还是可能被搜到。真正要“隐藏”页面，得用 noindex 标签，那才是直接告诉搜索引擎“别把我放进索引”。
三步搞定，别让一个小错误废了你的站
第一步：先看看你现在的文件里写了啥
直接在浏览器地址栏输入 你的域名/robots.txt，就能看到当前的内容。如果一片空白，或者只有几句默认话，你就得动手了。
第二步：动手写一份“聪明”的指令
一份给独立站用的理想配置长这样：
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://你的域名/post-sitemap.xml
Sitemap: https://你的域名/page-sitemap.xml
User-agent: *代表这些规则对所有搜索引擎爬虫生效。Allow: /wp-content/uploads/是特意放行图片和上传的文件，让它们能被搜到。Disallow:后面跟着的就是你不想让爬虫碰的目录或文件。Sitemap:这一行最重要，直接告诉爬虫你的网站地图在哪，等于递上一张完整的地图，让它按图索骥，不漏掉任何一个重要页面。
如果你用的是国内常见的建站程序（比如 WordPress、织梦、帝国CMS），上面的路径基本通用。如果你用的是 ShopEx 或自己开发的系统，把后台、数据目录、临时文件目录的路径换一下就行。国内很多建站公司做网站时根本不给你配这个文件，或者配错了，导致百度蜘蛛来了转一圈就走了。
第三步：改完别忘检查，别自己坑自己
改完文件后，一定要去百度搜索资源平台（就是以前那个百度站长平台）里验证一下。在里面找到 robots.txt 的检测工具，提交你的文件地址，系统会直接告诉你有没有语法错误，以及哪些页面被你误拦了。
一个小建议：每次网站有大改动，比如换了模板、新装了个功能插件、或者改了网站目录结构，都去复查一遍这个文件。很多老板网站改版后流量暴跌，查到最后发现是这里写错了一行，把整个产品目录都拦住了。
两个最常见的坑，别踩
- 不要用这个文件做安全防护。 这个文件是公开的，谁都能看到你禁止了哪些路径。它只能约束“守规矩”的搜索引擎爬虫，拦不住黑客和采集器。真正要防，得靠密码验证或服务器配置。
- 不要把分类和标签页写进去禁止。 前面说了，这会影响搜索引擎对你网站结构的判断。你辛辛苦苦分了类，结果自己把路堵死了，图什么？
微信扫码