首页 » 网站SEO » 正文

今日头条搜索蜘蛛已经开始大批量抓取!

杭州seo 2021年03月18日 网站SEO 2

扫一扫用手机浏览

今日头条做搜索已经持续很久了,最近了泽成发现大量的头条搜索相关蜘蛛及服务器抓取在泽成的网站上,其抓取频率真的是惊人,而且很多朋友都在吐槽自己虚拟主机的网站流量月初就没有了,一看竟然是头条seo上的!

头条搜索(https://m.toutiao.com/search)目前只有移动端版本,这貌似说明了意味着头条搜索是一个移动搜索引擎,官方有时也叫做字节跳动搜索。,从以前的“Bytespider”改变为“Bytespider;bytespider@bytedance.com”,添加了一个邮箱,泽成在想是不是可以通过邮箱联系到官方呢?

目前通过泽成自己的博客抓取记录获取查看到有几组头条蜘蛛搜索引擎的 UA:

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.6462.1049 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com
 
Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.3320.1410 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com
 
Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.1868.1341 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com
 
Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.4372.1425 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com

通过抓取的 UA 基本可以完整的判断都是属于移动端或者手机设备的抓取,同时为了方面查下抓取的服务器 IP 是否真实为头条搜索,还可以通过 IP 反查服务器名称,如果主机名为:bytespider-220-243-135-89.crawl.bytedance.com。那么这就是标准的头条搜索 IP 蜘蛛的服务器啦。

对于想要屏蔽头条搜索的,最简单粗暴的就是判断 UA,想要准备的就是直接通过 IP 来屏蔽,都需要通过服务器来操作。

另外泽成认为如果站长们的服务器完全能够承受头条搜索的抓取,那么就不要去屏蔽了,虽然目前观察来看从头条搜索的流量非常少,可头条搜索的收录和展现来看还是非常可观的,详细数据通过站长工具及头条自己的站长平台。

https://zhanzhang.toutiao.com/

所以对于头条搜索就目前而言,谈不上好也谈不上坏,只是可能头条搜索的抓取来的有些猛烈而导致一些小网站无法承受,如果头条搜索也能够官方推出一个站长平台,或者是抓取频率设定的工具,相信能够得到不少小站长的亲睐,当然搜索引擎还是比较喜欢大站,毕竟内容和页面足够多。好了以上就是泽成SEO的个人观点,希望对各位SEO从业者有所帮助!


赞(8

本文为杭州seo博客原创,欢迎分享本文,转载请保留出处!

转载请注明本文地址:https://www.lizecheng.net/post/744.html

发表评论