ddos盾_网游之持盾萌狼txt云盘_如何防-墨者安全-墨者盾
DDOS防御_CC防护_高防CDN服务器_【墨者安全】—墨者盾墨者盾—你的网站贴身保镖!

QQ:800185041
高防免费接入:400-0797-119

渠道合作:156 2527 6999

主页 > 网站防护 > ddos盾_网游之持盾萌狼txt云盘_如何防

ddos盾_网游之持盾萌狼txt云盘_如何防

小墨安全管家 2021-05-03 17:23 网站防护 89 ℃
DDoS防御

ddos盾_网游之持盾萌狼txt云盘_如何防

如您所知,DDoS防御,SourceClear拥有世界上最完整、最准确、最新的开放源代码漏洞数据库。但更重要的是,我们数据库中超过一半的漏洞在其他地点都不可用,而且没有公开披露。我们怎么从数千个开源库中找到这些漏洞?固然,手动跟踪和查看每个库太累了!今天,我们将为您介绍我们的自动漏洞识别系统,该系统旨在使用自然语言处理和机器学习技术实时跟踪大量项目。系统概述下图显示了我们系统的概况。左侧是我们的数据源,包括提交、JIRA票证、Bugzilla报告、GitHub咨询题和来自数千个开放源代码库的请求,以及安全社区治理的几个私有邮件列表。关于每个源,我们构建了一具相应的通过训练的机器学习模型,以确定源代码中的每个项(例如提交或错误报告)是否与漏洞相关。识别出的漏洞被发送到我们的漏洞治理平台(称为WOPR)举行审查,接着将它们添加到威胁情报中心。这些上游数据源使我们可以及时了解我们支持的所有语言(如JavaScript、Java、Ruby、Python、PHP、Objective-C和Go-lang)中与安全相关的最新变化。系统持续运行,以跟踪来自最新更新的上游数据源的潜在漏洞,使我们可以发觉实时报告的最新安全咨询题。我们怎么在生产中迭代机器学习模型?像大多数非平庸的机器学习项目一样,真正的挑战是为我们的模型构建和维护数据管道。我们通常构建一具初始可用的模型,接着对其举行迭代以获得更好的性能。关于每个数据源,我们遵循下图所示的模型开辟周期。在最初的训练中,我们举行实验训练和测试,直到结果达到预定目标。接着,我们将模型投入生产,以验证性能是否与测试结果相匹配。在经过验证之后,防DDoS,我们最后来将模型部署并公布到生产中。当我们获得新数据时,假如新重新训练的模型显示出更好的性能,我们将重新训练和升级现有模型。训练管道如今让我们介绍一下我们的培训过程。那个地点我们以提交的数据管道为例,但其他来源也以类似的方式处理。提交数据集一瞥机器学习的第一具也是最关键的部分是猎取正确的数据。最初,我们从大约2000个流行项目中提取了所有同意。我们使用基于正则表达式的规则来过滤与安全无关的咨询题。利用这些数据,我们建立了地面真实数据集,我们的安全研究团队在其中标记了所有数据并创建了漏洞报告。如此,我们收集了大约12000个与安全相关的提交。可是,其中惟独10.50%与漏洞有关。除了高度不平衡的性质外,提交消息是非结构化的、简短的、嘈杂的,混合了url、缩写和变量名,如下面的commit示例所示。固然,这使得训练任务相当具有挑战性。我们对提交数据集的初始培训管道我们将提交消息作为初始培训的要紧功能。这就需要嵌入想法将自然语言中的文本翻译成数字向量。如培训管道图所示,我们构建了自个儿的word2vec模型,超过了300万个原始提交。训练的提交信息首先输入预先训练的word2vec模型,接着举行分类,得到最后来的识别模型。我们使用2/3的数据举行培训,剩下的1/3用于测试。上面的第二个图讲明了测试通过训练的漏洞识别模型的工作流程。未标记的提交经过word2vec模型映射为数值向量,接着传递到识别模型中,其中的输出是与漏洞相关的概率。假如提交的概率高于预定义的阈值,这么它将被预测为一具漏洞。最终的二进制结果与安全研究人员标记的差不多事实举行了比较。Word2vec模型超过300万次提交如今让我们更认真地看一下word2vec模型,它使用了超过300万个提交。由于那个模型,我们的识别模型的性能比现有的基于自然语言英语文本的word2vec模型要好得多。将word2vec模型训练在一具浅二层神经网络上,学习基于上下文相似度的词向量表示。它包含的词典{单词:向量}. 例如,思量单词xss的向量表示,以及最相似的单词:>>>word2vec['xss']阵列([-0.06691808,0.01889833,0.08988539,0.03727728,0.09463213,0.04498576,DDoS防御,0.02401953,0.01821383,-0.04510168,…,-0.00888534],数据类型=float32)>>>文字2vec.most_相似('xss')[(u'漏洞',0.6009132862091064),(u'attacks',0.5554373860359192),(u'伪造',0.4951219856739044),(u'欺骗',0.4909259378910647),(u'dos',0.4852156937122445),(u'prevention',0.4825980961327844),(u'clickjacking',0.4809595644740295),(u'protection',0.467565298044434),(u'csrf',0.457594096660614),(u'vuln',0.4533842206001282)]上面的元组显示了与xss最相似的前10个单词以及相应的相似度值。与xss最相似的词是漏洞,其次是攻击。从那个例子中能够看出,这些单词在安全上下文中很相似。集成学习算法为了解决数据集高度不平衡和非结构化所带来的艰难,我们设计了一种K-折叠叠加算法,将多个单独的分类器集合起来,以获得更好的识别性能。算法的工作原理如下。它首先将整个数据集分成K个折叠。关于每个fold 1≤i≤K,DDoS防御,数据的第i部分用作测试数据,而其余K−1部分用作训练数据,在这些数据上训练一组单独的分类器。所以,通过K次迭代后,每个分类器对整个数据集都有完整的恐怕。最终利用logistic回归将结果输入到一具集成中。生产观看我们在SourceClear生产系统上逐步部署了通过训练的提交模型和其他模型。从SourceClear注册表中,我们能够看到模型在寻找躲藏漏洞方面的价值。下面的两个图显示了JavaScript和Go语言中带有CVEs的公共漏洞和没有CVEs的躲藏漏洞的数量。躲藏漏洞的比例分别高达86.51%和78.20%。思量到所有Go语言漏洞基本上在我们的机器学习模型部署之后发觉的,这一点尤其有味。简单地讲,这些模型负责寻找Go中所有躲藏的漏洞。更多。。。假如您有兴趣了解我们的系统、其性能和评估,请参阅我们最近在欧洲软件工程会议和软件工程基础研讨会联席会议上提交的论文《从提交消息和错误报告中自动识别安全咨询题》[pdf文件](ESEC/FSE)2017年。


DDoS防御

当前位置:主页 > 网站防护 > ddos盾_网游之持盾萌狼txt云盘_如何防

标签列表
DDoS防御
网站分类
X
 

QQ客服

400-0797-119