为啥随机IP、随机UA也逃不掉被反爬虫的命运-墨者安全-墨者盾
DDOS防御_CC防护_高防CDN服务器_【墨者安全】—墨者盾墨者盾—你的网站贴身保镖!

QQ:800185041
高防免费接入:400-0797-119

渠道合作:156 2527 6999

主页 > CC防护 > 为啥随机IP、随机UA也逃不掉被反爬虫的命运

为啥随机IP、随机UA也逃不掉被反爬虫的命运

小墨安全管家 2021-08-24 12:09 CC防护 89 ℃
DDoS防御

为什么随机IP、随机UA也逃不掉被反爬虫的命运

有点同学在写爬虫的时候,觉得只要自个儿每次请求都使用不同的代理 IP,每次请求的 Headers 都写得跟扫瞄器的一模一样,就不大概被网站发觉。

但我们讲,魔高一尺,道高一丈。JA3算法是不是的确无懈可击呢?事实上也不是,仍然有办法绕过去的。请大伙儿期待我后面的文章。

为什么随机IP、随机UA也逃不掉被反爬虫的命运

事实上,DDoS防御,以道高一尺,魔高一丈为例,它的意思是,道很厉害,道往上涨一尺所产生的力量,魔需要往上涨一丈才干抵消。通俗的说,算是巨人走一步,一般人要走十步才干追的上。

如今,我预备一具隧道代理,DDoS防御,如下图所示:

那个检测算法,叫做JA3算法。那个算法在官网上面的介绍信息如下:

如今,我使用 Python 去请求那个页面,看到的内容如下图所示:

The JA3 algorithm takes a collection of settings from the SSL “Client Hello” such as SSL/TLS version, accepted cipher suites, list of extensions, accepted elliptic curves, and elliptic curve formats.

P.S.: 给大伙儿科普一具小知识,日常日子中,我们常常听一些人讲,道高一尺,魔高一丈,又听另一些人讲,魔高一尺,道高一丈。这么这两句到底哪一句是对的,啥事情下应该用哪一句呢?

但实际上,还有一具东西,叫做扫瞄器指纹,它是不大概随着你更换 IP 或者 User-Agent 而改变的。而且即使你不使用模拟扫瞄器,你直截了当使用 Golang、使用 Python,它们也有自个儿各自的指纹,同时他们的指纹每次请求也是固定的。只要网站发觉某个拥有特定指纹的客户端持续高频率请求网站,它就能够把你封掉。

能够看到,尽管我使用了隧道代理,每次请求的 IP 基本上不一样的,CC防御,然而那个网站返回的内容始终是一样的。于是假如这不是一具测试网站,而是一具加了那个检测机制的网站,这么它轻松就能把我给屏蔽了。

你也许不相信?那我证明给你看。

为什么随机IP、随机UA也逃不掉被反爬虫的命运

为什么随机IP、随机UA也逃不掉被反爬虫的命运

为什么随机IP、随机UA也逃不掉被反爬虫的命运

[1]TLS Fingerprinting with JA3 and JA3S | by John Althouse | Salesforce Engineering:https://engineering.salesforce.com/tls-fingerprinting-with-ja3-and-ja3s-247362855967

但我们日常日子中,特别多人感觉,魔高一尺,道高一丈的意思是讲,魔长高一尺的时刻,道基本长高了一丈,于是魔永久追不上道。这种理解是错误的,这些人刚好把意思搞反。

接着,我们打开一具网站:https://ja3er.com/json . 当你用电脑扫瞄器打开它的时候,它是如此的:

不论你如何刷新网页,这上面的字符串基本上不大概变的。

为什么随机IP、随机UA也逃不掉被反爬虫的命运

JA3算法的三个作者之一John Althouse写了一篇文章来介绍扫瞄器指纹和 JA3算法:TLS Fingerprinting with JA3 and JA3S | by John Althouse | Salesforce Engineering[1] 。有兴趣的同学能够看一看。

本文转载自微信公众号「未闻Code」,能够经过以下二维码关注。转载本文请联系未闻Code公众号。

同理,魔高一尺,道高一丈的意思是魔很厉害,CC防御,魔往上涨一尺所产生的力量,道需要往上涨一丈才干抵消。

JA3算法收集了 SSL 请求里面的信息,包括但不限于 SSL/TLS 版本,Cipher Suites数量,扫瞄器扩展列表,elliptic curves等等。经过这一系列参数综合起来生成一具指纹字符串。可能这些参数里面,你跟一些人的 Cipher Suites 数量相同,你跟另外一些人的扫瞄器扩展数相同,你又跟另外一些人的 TLS版本号相同……然而所有这些参数全部相同的人,就很少了。而在这很少的人里面,这些人还并且访咨询同一具网站的大概性就更小了。于是,网站用 JA3算法,能够近似以为,在一段时刻内,指纹字符串相同的延续请求,有极似乎率是来自同一具人。

参考资料


DDoS防御

当前位置:主页 > CC防护 > 为啥随机IP、随机UA也逃不掉被反爬虫的命运

猜你喜欢

标签列表
DDoS防御
网站分类
X
 

QQ客服

400-0797-119