Defcon China | 致敬极客精神,星云风控的开源之路
被称为黑客界“奥斯卡”的Defcon在百度安全的引进下来到了中国,无疑给了大众一个深入了解黑客的机会。威胁猎人能够来到现场,感受来自美国的极客氛围,实感荣幸之至。在这里,我们都能看到极客、安全领域研究者、爱好者从世界各地赶来,摩拳擦掌,分享自己的知识和技术,一起探索更深层次的奥秘。
他们满怀分享的热情,他们勇于跳出传统思维,打破常规,不断探索新的可能性。在现场,明明没有人刻意去宣扬极客精神,但我们却切切实实地感受到了它的存在,因为它已经融入在了整个环境里,传递给了所有参与者。
这种精神让我们感同身受,也让我们觉得似曾相识。似乎在不经意间,这种极客精神完全贴合了我们做安全的理念。我们叫威胁猎人,是一家做安全的再平凡不过的企业。可是再平凡的人生也有自己的追求,就像极客也只是一群对某些事物抱着极大兴趣的普通人,却在不断追寻的路上拼尽全力。
我们要赋予企业对抗黑灰产的力量
威胁猎人从成立至今就一直专注于黑灰产的研究和对抗,在这期间,我们看到许多企业由于风控缺失,而遭受黑灰产恶意攻击的情报。
我们从2017年进入选择进入这个行业,从最开始通过发布黑灰产研究报告,到后来成立鬼谷实验室深入研究到黑灰产的攻击细节,我们揭露了大量黑灰产作恶行为,受到了很多朋友的认可。
这两年我们研究分析了许多黑灰产攻击事件,我们清楚的看到,黑灰产业链已然成为一个庞然大物,分工细化到极致。他们的攻击面变得非常广,攻击反应速度非常快。并且,未来这种趋势只会愈演愈烈。
在这样的情况下,简单的防护规则已经不足够,企业需要一套完整的“风控系统”才具备与黑灰产持续对抗的力量。但目前无论是采购第三方商业风控产品,还是走自研路线,对于很多企业,特别是业务自身都还在发展和变化过程中的中小企业而言,其成本问题,使之只能成为“奢侈品”,而不是“必需品”。业务风控系统成了企业应用业务安全的一道大门槛。
其实,只要成本问题解决了,很多基本的问题就解决了。既然我们拥有这样的能力,为什么不直接分享出来呢?抱着这样的想法,我们用自己的经验储备开发了一套风控系统——星云(TH-Nebula),并将它完全开源。
我们认为开源是共享的最好方式。没有开源的基础技术是没有生命力的,因为它很难被广泛使用。
我们通过将星云(TH-Nebula)的底层技术开源,打破了过去风控系统建设相对封闭的局面,所有企业都能够利用它搭建自己的安全体系。企业安全建设的能力壮大了,对抗黑产的力量也就强大了。
并且,开源可以让全世界的开发者都可以参与进来,大家一起学习、探讨,就能让项目获得飞速的成长。不开源,我们只是一个孤军奋战的战士,开源,我们就拥有了一支军队。
一个开源项目被大范围使用后,可以让整个技术升级迭代变得非常迅速,过去要经过三年五载,甚至十年的时间才能取得的进展,因为开源的力量,可能短短几个月就实现了。
开源风控的技术原理
我们相信基础设施的快速普及是整个中国互联网黑灰产攻防的关键。开源的方式也能有效降低企业成本,拓展业务风控基础设施在防守方的应用范围。
如下图,展示了星云的基本功能:
首先,系统数据采集模块会通过旁路流量、日志解析等多种方式进行流量采集,将采集到的流量经过清洗和转化后,输送到计算引擎。然后计算引擎结合策略系统配置的风控规则,对应流量进行风险鉴定。最后客户对接系统风险事件的推送服务,就能实时收到风险的判定结果,并对风险的流量进行处置。
考虑到部分使用者风控经验不足,星云会提供基础的风控策略模板,同时也还提供了一套完整的多维度可视化分析系统,安全人员可根据策略效果和当前流量数据情况调整风控规则或者新增风控规则,策略调整之后实时生效,无需重新编译和上线。
整套系统为了降低使用门槛,支持Docker镜像方式部署,用户无需在业务逻辑上做数据埋点或侵入。计算引擎包括实时流式计算引擎和离线定时计算引擎两块,可以应对各种计算场景。并且出于数据隐私和敏感性的考虑,不做任何数据的上传。
现在,星云(TH-Nebula)已放在Github上,完全开放星云的所有源代码,文档,以及安装包。欢迎更多的安全从业者参与进来,贡献自己的力量:
-
https://github.com/threathunterX
向极客精神致敬
还记得我们刚开始做这个项目的时候,摆在我们眼前的只有方向,没有路。因为我们是做开源风控系统的第一家,没有经验可以借鉴,在风控系统需要付费使用的大环境下,几乎没有人认为我们能成功。
但那又怎么样?老毕风轻云淡对我们说,既然这条路不曾存在,那我们自己走出来。
做出这个重要决定后,老毕就集结了工程师团队开始进入项目的研发。历时2年,开源风控系统星云(TH-Nebula)终于在2018年12月正式面世。在这个从0走到1的过程,我们亲身感受着旁观者的质疑的声音逐渐褪去,当肯定和鼓舞的声音开始响起时,我们知道,我们做到了。
无形中我们就是受着极客精神的鼓舞啊。人们总说极客从不墨守成规,也不安于现状,他们就像一群疯子。从车库诞生的微软很极客,打造了iPhone的乔布斯也很极客。他们不顾常规,我行我素。但是,不就是这样一种敢于破坏现有规则的极客精神,以全新的方式让世界变得更好了吗?从我们下定决心的那一刻,就是这样一种特立独行的心态让我们顶着世俗的质疑,把这套系统开源了出来。
作为国内第一家开源风控系统的企业,我们愿意成为这样的疯子,让安全生态往更好的方向发展。我相信我们的选择是对的,从星云(TH-Nebula)开源以来,已经出现了越来越多的contributor为项目的发展贡献一己之力,也有越来越多的企业在安全建设上用上我们的技术。
今天,我们把开源星云(TH-Nebula)带到Defcon的现场,希望能将这种安全理念传递出去,也希望有更多志同道合的人能加入到我们的基础建设中来。
时代的发展没有终结,极客的追求也不会有终结。未来,我们依然会秉承着这种极客精神,挣脱桎梏,不断创新,和大家一起探索有趣的明天。