请使用手机微信扫码安全登录

切换账号密码登录

绑定手机号

应国家法规对于账号实名的要求，请您在进行下一步操作前，需要先完成手机绑定 (若绑定失败，请重新登录绑定)。了解更多

不绑定绑定手机号

360官网 | 360商城

推荐论坛版块活动360粉丝商城众测粉丝轰趴馆常见问题

怎样让蜘蛛正常抓取不带参数的URL呢?

2017-7-28 16:36 | 复制链接
3 1653
网站为了统计效果在URL里加了跟踪码，首页的链接全部都带了？+参数，搜索引擎收录了带？+参数的URL，没带?的反而没有收录，于是我在robots文件里加了Disallow:*?*，屏蔽掉动态链接，但是这样一来，蜘蛛就不抓取首页的链接了，严重影响抓取，请问有没有什么好的办法能解决这个问题呢？既可以统计到效果和来源，又可以让蜘蛛正常抓取不带参数的URL呢？
2
回复 评分 收藏

共 3 个关于怎样让蜘蛛正常抓取不带参数的URL呢?的回复 最后回复于 2017-7-31 15:08

评论

直达楼层

沙发
浣溪沙 产品答疑师 发表于 2017-7-31 10:28 | 只看该作者 | 私信
请提供域名及相关截图，我们看看。
世界经理人2014 LV4.上士 域名是：www.ceconline.com 
2017-7-31 14:52回复
板凳
360fans_u34364774 LV4.上士 楼主 发表于 2017-7-31 14:48 | 只看该作者 | 私信

域名是：http://www.ceconline.com，以下是截图：
地板
360fans_uid25444838 LV9.中校 发表于 2017-7-31 15:08 | 只看该作者 | 私信
屏蔽掉动态链接和无效参数即可，我看线上的结果基本上都是没有参数的呀
此外，站点的sitemap url也不要有参数
世界经理人2014 LV4.上士 回复萌萌哒的小搜哥:没有发现误杀，我之前加的是Disallow:/*?*，发现索引量大跌以后，改成了Disallow:/?*，所以现在还是会去收录带参数的链接，下面的是用来屏蔽死链的。 
2017-8-1 14:37回复
萌萌哒的小搜哥 LV9.中校 回复世界经理人2014:Disallow: /?* Disallow: /143415178/* Disallow: /DG/* Disallow: /CHANNEL* 注意下这几条，看看有没有误杀 
2017-8-1 14:07回复
世界经理人2014 LV4.上士 回复萌萌哒的小搜哥:我4月25号屏蔽了动态链接，5月14日索引量大跌，跌了11万，不知道是不是这个引起的。 
2017-7-31 15:40回复
萌萌哒的小搜哥 LV9.中校 回复世界经理人2014:只会屏蔽待参数的，不会屏蔽正常页面，不过加上之后建议观察一下几天，看看收录是否有异常 
2017-7-31 15:35回复
世界经理人2014 LV4.上士 首页文章的URL后面都带了？+统计参数 
2017-7-31 15:17回复
还有1条评论，点击加载更多
返回列表
高级模式   
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

360fans_u34364774 LV4.上士

粉丝：4 关注：0 积分：785

精华：0 金币：590 经验：708

最后登录时间：2022-4-7

私信 加好友

最新活动

读书日主题活动 | 世界读书日，360AI阅读

排行榜

热度排行 查看排行
今日 本周 本月 全部
    今日 本周 本月 全部

      内容推荐 热门推荐最新主帖

      扫码添加360客服号，涨知识的同时还有超多福利等你哦

      快速回复 返回顶部 返回列表