在云端治理数千名S防DDoSpark职员:DataVisor出席SAIS 2018-墨者安全-墨者盾
DDOS防御_CC防护_高防CDN服务器_【墨者安全】—墨者盾墨者盾—你的网站贴身保镖!
QQ:800185041
高防免费接入:400-0797-119

渠道合作:156 2527 6999

主页 > 行业资讯 > 在云端治理数千名S防DDoSpark职员:DataVisor出席SAIS 2018

在云端治理数千名S防DDoSpark职员:DataVisor出席SAIS 2018

小墨安全管家 2020-11-23 05:02 行业资讯 89 ℃
DDoS防御
DataVisor的技术主管郑宇豪和基础设施高级研究科学家李博多(BodooLi)讨论了DataVisor怎么利用Spark的可扩展性和可移植性,以爱护40亿账户免受欺诈滥用和洗钞票。观察视频了解怎么治理集群中的2000多名Spark职员,以及DataVisor的专有SparkGenerator,以及自动火花治理平台,以优化成本和资源分配。单击此处猎取有关会话的详细信息>>会话摘要:在DataVisor,我们使用无监督机器学习想法来打击在线欺诈、滥用和洗钞票,DDoS防御,这种想法将数百万用户聚拢在一起。为了支持计算密集的工作负载,DataVisor使用Spark作为其计算基础结构的主体。当我们扩展业务时,Spark基础架构的可扩展性和可移植性对我们的公司至关重要。在本次演说中,我们将介绍我们怎么在规模上治理Spark基础设施。在高峰阶段,我们有2000多名火花工人在线,我们将这些工人分成大约50个不同规模的集群。一方面,这一点的好处是数据隔离,这关于DataVisor来讲是至关重要的,因为我们正在处理多客户数据。另一方面,这是为了成本和性能思量,CC防御,因为我们希翼为每个Spark应用程序提供脚够的资源。假如未提供,Spark应用程序将因内存不脚或磁盘不脚而失败。可是,CC防御,我们希翼幸免不必要的过度供应,因为它会大幅增加我们的云成本。接下来,我们将介绍DataVisorSparkGenerator(DSG),它旨在自动治理Spark基础设施。DSG的职责包括:(a)启动和关闭火花集群,最大限度地实现并发性并最小化成本,(b)依照Spark应用程序概要智能地将Spark应用程序分配给适当的群集;(c)治理Spark应用程序之间的依靠关系,使管道运行顺畅高效,DDoS防御,(d)运行所有的Spark worker现场实例,将云计算成本与按需减少80%以上。


DDoS防御

当前位置:主页 > 行业资讯 > 在云端治理数千名S防DDoSpark职员:DataVisor出席SAIS 2018

标签列表
DDoS防御
网站分类
X
 

QQ客服

400-0797-119