标签页分类页索引泛滥怎么设？三个参数一开就干净了

直白地说, 标签页和分类页索引大量出现的根本原因非常简单, 那就是你给爬虫提供了过于丰富的、可以让它抓取的有效入口。由于点击切换标签所使用的网址全都是各自独立且可以正常访问的页面, 所以搜索引擎就会把每一个单独的标签页都当成是独特的分类页面来进行收录整理。

解决这个问题的核心步骤主要包含三个关键点, 即合并标签页面的URL地址、在参数级别对索引进行控制以及对robots文件做最后的安全防范部署。把这三个必要的步骤都妥善完成之后, 关于如何设置标签页和分类页以防止索引泛滥的问题也就基本处理完毕了。

标签页分类页为什么容易索引泛滥？

咱们先得弄明白一个事实, 标签页这个东西和分类页这个东西,它们在技术层面上完全是两回事儿。可是呢, 市面上有不少网站会把标签制作成那种独立的网址形式, 比如说用 /tags/xxx.html 这样的路径来展示, 然后再把它嵌套在分类目录的结构里面去运作。

网络爬虫要是把这个给抓取到了, 那就会出现一种情况, 就是一个分类下面挂着八个标签, 而每个标签又进一步分成了三页内容, 这样一来, 导致数据量指数般膨胀的现象就出现了。这其实并不是什么策略方面的问题, 而是大家在最初进行架构设计的时候, 没有把这个问题考虑到清楚所导致的后果。

标签页分类页防泛滥的三个关键参数

1. URL合并策略这一项内容是, 标签切换的时候, 千万不要使用独立的网页地址, 而是要去改用锚点或者前端路由的方式, 比如让网址后面带上#tag=xxx这样的代码, 因为搜索引擎只能够认准基本的网页地址, 对于搜索引擎的爬虫工具来说, 不同的标签切换就等同于在访问同一个页面。

2. 在参数这一级别进行屏蔽, 对于那些确实需要独立网址的标签页内容, 统一采用带问号加tag等于这样的形式来表示, 同时, 在这个文件里, Disallow这个命令要用来禁止收录带有参数的路径。

3. 在分页设置这一件事情上, 关于标签页和分类页的分页情况, 最多就只保留5页的数值。要是页面数量超出了这个限制。那就必须要执行301跳转动作, 跳转到分类首页去。千万不要有贪心的想法。在第6页以及后续的页面之中, 其实只会造成权重的稀释效果。

标签页用noindex还是canonical？

对于大家经常问到的问题, 这里直接把结论说出来, 那就是标签页要使用 noindex 这个设置, 而分类页应该采用 canonical 这种手段。因为标签页里面的信息密度比较低, 就算是把它收录进数据库里面了, 也不会有多少搜索热度, 所以不如干脆直接告诉搜索引擎不要去收录这些页面。

相比之下, 分类页才是你去竞争排行的主要阵地, 通过 canonical 可以把分布在各个分页上面的权重都给集中到第一页上去。让这两种方法配合着一起用, 是可以把标签页和分类页产生的那种索引泛滥的情况给解决掉的, 大概能减少掉八成以上的没有用的冗余的网址链接。

不同站型适用情况

对于电商类的网站而言, 其标签通常是由品牌和品类这二者进行组合形成的, 并且这样的情况是量大管宽的, 所以应当优先选择通过参数屏蔽的方式来处理；而对于内容类的网站来说, 虽然标签的数量比较少, 但是深度却是很大的, 因此工作的重点在于去砍掉分页功能；至于工具类的网站, 其标签基本上等同于筛选条件, 所以直接把它们全部合并到前端页面中就可以了。

一句话总结

对于那些像标签页、分类页这样的页面, 到底要怎么做才能去防止索引出现泛滥的情况呢? 这里有一个记起来只需要八个字的办法。这八个字就是: 合并入口、参数屏蔽、分页设顶。

只要把这三个事情都给做得相当扎实一点, 那么收录进来的那些列表就会立马变得很清爽起来。再去配合上那个sitemap的功能, 只去提交那些干净的URL地址的话, 整个网站的索引质量就能一下子直接被提升上去。