脸书爬虫中国IP？_美国VPS

2019-11-08 12:34:06 117.34.13.90      Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 FBexternalhit/1.1 Facebot 推特bot/1.0
2019-11-08 12:34:06 117.34.13.42      Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 FBexternalhit/1.1 Facebot 推特bot/1.0
2019-11-08 12:34:06 117.34.13.42    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 FBexternalhit/1.1 Facebot 推特bot/1.0
2019-11-08 12:33:45 117.34.13.42      Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 FBexternalhit/1.1 Facebot 推特bot/1.0
2019-11-08 12:33:45 117.34.13.24      Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 FBexternalhit/1.1 Facebot 推特bot/1.0

117.34.13.42 该 IP 段为 IDC 机房使用，可能包括部分骨干网数据。
安徽网友:我今天还看到微软爬我的站了
西藏网友:不明察觉
甘肃网友:改了UA装逼的吧
福建网友:貌似我的也被爬了哈哈
台湾网友:我其实也怀疑
甘肃网友:感觉是假冒的
江西网友:假冒的，正版的 RDNS 会写是谁的，注意是 RDNS，不止 UA
湖北网友:那这种又不是爬的404页面，确实爬的文章页面，假冒了干什么呢
天津网友:防爬文章的一个策略就是屏蔽 UA，但是做站的人会有几个会去屏蔽搜索引擎？所以很多爬虫都在假冒百度、谷歌等等常见的搜索bot UA
山西网友:防爬文章的一个策略就是屏蔽 UA，但是做站的人会有几个会去屏蔽搜索引擎？所以很多爬虫都在假冒百度、谷歌等等常见的搜索bot UA