[蜘蛛总抓取不存在的目录]为什么360蜘蛛总抓取那些不存在的目录，屏蔽没用

[蜘蛛总抓取不存在的目录]为什么360蜘蛛总抓取那些不存在的目录，屏蔽没用
当天发布的文章无法及时收录，我说的及时收录是大部分文章都不收录，别再site:news.junmin.org 把每天只收录一篇的截图回复给我看。

经过网站日志信息得知，360的蜘蛛总是去抓取那些我们网站不存在的目录下的网页，从而产生大量的404.麻烦解决一下这个问题。谢谢。
或者我们这边应该如何做设置。麻烦告知一下。

域名：news.junmin.org

robots.txt文件已经屏蔽了。但是没用。

您好，是否可提供一下您说的蜘蛛抓取的未存在目录下的网站的链接示例给我们？

11/Aug/2017:13:48:15 +0800        http://news.junmin.org/of/508/72653271.html        404        42.236.54.22
11/Aug/2017:13:48:25 +0800        http://news.junmin.org/ah/506/17313500.html        404        180.153.236.117
11/Aug/2017:13:53:42 +0800        http://news.junmin.org/hs.comnews.cn/        404        180.153.236.189
11/Aug/2017:13:53:53 +0800        http://news.junmin.org/xinwen_jishi/1533.html        404        180.153.236.157
12/Aug/2017:09:06:12 +0800        http://news.junmin.org/xinwen_shizheng/575.html        404        42.236.99.104
12/Aug/2017:09:06:13 +0800        http://news.junmin.org/xinwen_shizheng/575.html        404        42.236.99.98
14/Aug/2017:15:22:26 +0800        http://news.junmin.org/xinwen_shizheng/576.html        404        42.236.99.99
14/Aug/2017:15:22:26 +0800        http://news.junmin.org/xinwen_shizheng/576.html        404        42.236.99.105
14/Aug/2017:15:36:23 +0800        http://news.junmin.org/plddws/        404        42.236.99.51
14/Aug/2017:15:37:14 +0800        http://news.junmin.org/le/792/52862763.html        404        42.236.101.234
14/Aug/2017:15:38:07 +0800        http://news.junmin.org/ep/744/21539320.html        404        180.153.236.59
14/Aug/2017:15:38:09 +0800        http://news.junmin.org/lt/214/13702612.html        404        180.153.232.170
14/Aug/2017:15:38:17 +0800        http://news.junmin.org/c19040.html        404        180.153.236.51
14/Aug/2017:15:38:55 +0800        http://news.junmin.org/tw/498/31560421.html        404        180.153.234.145
14/Aug/2017:15:39:51 +0800        http://news.junmin.org/ob/199/65916924.html        404        180.153.236.11
15/Aug/2017:06:54:46 +0800        http://news.junmin.org/fx/190/39587377.html        404        180.153.236.59
15/Aug/2017:06:55:45 +0800        http://news.junmin.org/glwtkd/        404        180.153.236.165
15/Aug/2017:06:55:59 +0800        http://news.junmin.org/xinwen_shehui/1549.html        404        180.153.236.149
15/Aug/2017:15:23:46 +0800        http://news.junmin.org/dp/853/23249892.html        404        180.153.236.43
15/Aug/2017:15:23:50 +0800        http://news.junmin.org/na/169/18179338.html        404        180.153.236.11
15/Aug/2017:15:32:39 +0800        http://news.junmin.org/saeaso/        404        180.153.232.170
15/Aug/2017:15:37:14 +0800        http://news.junmin.org/xinwen_jishi/1540.html        404        42.236.101.234
15/Aug/2017:15:43:19 +0800        http://news.junmin.org/xinwen_shizheng/574.html        404        42.236.99.130
15/Aug/2017:15:43:35 +0800        http://news.junmin.org/ha/595/36625097.html        404        42.236.101.194
15/Aug/2017:15:45:01 +0800        http://news.junmin.org/ty/417/44589037.html        404        180.153.236.51
15/Aug/2017:16:35:19 +0800        http://news.junmin.org/hffzgp/        404        42.236.12.190
15/Aug/2017:16:35:56 +0800        http://news.junmin.org/pxudez/        404        180.153.236.35
15/Aug/2017:16:36:12 +0800        http://news.junmin.org/xinwen_minsheng/562.html        404        42.236.12.130
15/Aug/2017:16:36:20 +0800        http://news.junmin.org/bq/323/43638157.html        404        180.153.236.11
15/Aug/2017:16:37:00 +0800        http://news.junmin.org/mnkyup/        404        180.153.234.145
15/Aug/2017:16:37:42 +0800        http://news.junmin.org/nmfkpv/        404        42.236.99.86
15/Aug/2017:16:38:16 +0800        http://news.junmin.org/2017/xinwen_guonei_0714/234698.html        404        180.153.236.59
15/Aug/2017:16:49:29 +0800        http://news.junmin.org/ek/945/23219304.html        404        180.153.236.109
15/Aug/2017:16:50:14 +0800        http://news.junmin.org/yi/474/14568417.html        404        180.153.236.51
----
补充，请看，类似于域名后的这种两个英文字母的目录 我们是没有的。但是蜘蛛一直抓这样的目录。说实话浪费了不少资源。

180.153.236.101
42.236.99.37
42.236.99.30
42.236.99.206
42.236.99.230
42.236.99.2
42.236.99.58
42.236.99.194
42.236.99.130
42.236.99.72
42.236.99.242
42.236.99.142
42.236.99.30
42.236.99.86
42.236.99.51
42.236.99.242
42.236.99.178
42.236.99.30
42.236.99.30
42.236.99.166
42.236.99.142
42.236.99.37
42.236.12.190
42.236.99.166
42.236.101.234
42.236.101.194
182.118.25.161
42.236.54.42
42.236.99.65
42.236.99.86
42.236.54.42
42.236.99.242
42.236.55.21
182.118.25.161
42.236.99.230
42.236.99.44
42.236.99.142
42.236.99.72
42.236.99.242
42.236.99.16
42.236.99.23
42.236.99.65