扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
“一场凶残暴力的犯罪即将爆发,具备未来感知能力的警察及时出现,在实施犯罪之前,罪犯就已经被逮捕。”这是科幻电影《少数派报告》中的情节。
“事实上,利用大数据可视分析技术,人们已能预测未来,比如未来的发展趋势等。”在长沙举办的第三届中国可视化与可视分析大会(ChinaVis 2016)上相关专家如是表示。
据了解,美国许多城市在使用软件处理过往犯罪数据,预测哪些区域犯罪率会更高,并提前派出更多警车到这一区域巡逻,导致区域的犯罪率大幅下降。
在国际上,大数据可视分析早已成为一大热点。可视分析挑战赛——VAST Challenge也已举办了近10年之久。这一领域已经涌现了一批新兴企业,其中包括利用大数据分析找到本拉登、估值200亿美元的神秘独角兽公司Palantir。
在第三届中国可视化与可视分析大会(ChinaVis 2016) 数据可视分析挑战赛中,参赛选手通过对格式化的企业邮件进行可视分析,直观地展示出企业的发展历程,以及各阶段业务特点,甚至直接明确公司重要人物,展示了数据可视分析的价值。
可视分析一词,由美国国家可视与分析中心的Jim Thomas创造的,现在已经成为整合数据分析、可视和交互的事实标准流程,旨在更好地理解复杂系统。
实际上,大数据可视分析主要是在利用计算机自动化分析能力的同时,充分挖掘人对可视信息的认知能力优势,将人、机的各自强项进行有机融合,辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。
这是因为,统计无法独立传递足够的信息用于决策,而算法不能独立编码人类丰富的认知,可视则不能有效管理数据的细节或区分不同信息的重要性。因此 ,人脑+电脑的大数据可视分析成为了解决问题的出路。
据报道,早在10多年前,利用人脑+电脑“来分析复杂问题的可能性就初见端倪。“9•11”之后,斯坦福大学的几个教授以公开的海量信息为输入,利用计算机建立关于人物关系的网络,最后锁定了一堆疑似人物,并迅速将结果发布出去。结果CIA等部门大为震惊,因为教授们的结果与CIA花人力大量侦查和审讯的结果很近似。
尽管CIA、FBI等情报机构掌握着成千上万个数据库,包括财务数据、DNA样本、语音资料、录像片段以及世界各地的地图,但要在这些数据之间建立联系,却相当耗费时间。如何从浩如星海的数据中快速找出有价值的线索,提前掌握恐怖份子可能发动袭击的消息,对情报部门的技术水平有非常高的要求。
这正是Palantir等公司要解决的问题:收集并整合这些数据,从而帮助当局及时阻止潜在的恐怖袭击。
2004年,被誉为硅谷投资教父的前 PayPal 首席执行官Peter Thiel和斯坦福大学的同学共同创立了Palantir。名字的灵感来自《指环王》,在剧中,这是一个可以穿越时空、看到一切的水晶球,它可以帮助剧中人物和其它水晶球建立联系,从而可以看到附近的图像。
Palantir公司曾被称为是美国最神秘的新创公司,因为它的客户中包括了美国的军方和很多的情报机构。有消息称,Palantir在美国击毙本拉登的行动中发挥了情报分析的作用。
Palantir的基本要点就是收集大量数据,帮助非科技用户发现关键联系,并最终找到复杂问题的答案。Palantir联合创始人兼首席执行官卡普曾说道,“Palantir实质上是将结合数据,技术,分析师的专业能力,将人和计算机完美地融合在一起,并将各自的优势发挥到了极致。”
现如今Palanti公司总共拥有两大产品线——Palantir Gotham和Palantir Metropolis,分别应用于国防安全与金融领域。
图:Palantir公司曾被称为是美国最神秘的新创公司
它的成功案例包括:赶在阿富汗的简易爆炸装置引爆前成功预言了它们的位置;帮助多伦多大学Munk全球事务学院的科研人员发现网络间谍组织,“影子网络(Shadow Network)”,该组织当时正在从印度国防部窃取机密资料。帮助J.P.Morgan对付欺诈犯;以及帮助整合美国情报界零散的数据库,让分析师有一体化的情报网可以使用。还有传言称,它协助捕获了奥萨马·本·拉登,并帮助多家银行追回了前纳斯达克主席Bernie Madoff所隐藏起来的数十亿美元巨款。
现在,Palantir凭借其200亿美金的估值跻身美国第三大创业公司,估值仅次于估值400亿美元的Uber和估值240亿美元的Airbnb。
说到安全数据可视化,很多人就会想到一张地图上,激光炮、气功弹打来打去。“这种地图炮只能算是安全数据可视化的初级阶段,真正的安全数据可视化在于帮助用户发现未知威胁,进行事件溯源,甚至直接定位犯罪人员,或预测未来的安全态势。”作为ChinaVis数据可视分析挑战赛评委的360天眼实验室张卓表示。
图:数据可视化在安全行业被很多人理解成地图炮
作为国内最早涉足可视分析的安全公司,2015年,360与北京大学联合首次联合参加VAST Challenge即获得了亚军。360天眼实验室作为ChinaVis数据可视分析挑战赛的支持机构,已经连续为挑战赛提供了基础数据和设定题目。
事实上,作为国内最早将数据可视化应用于安全分析的机构,360已有多款得到用户认可的产品发布。
在2016“4·29首都网络安全日”活动中,360首次对外展示了基于数据可视分析的伪基站追踪系统。据产品负责人徐凤超介绍,360伪基站追踪系统依托海量的数据、高效的数据分析处理和数据可视化,可以为追查伪基站供精确的信息与准确的判断。
据北京网安的数字,自2015年12月使用360伪基站追踪系统以来,北京警方已利用该系统破获多起在京活动的重大伪基站犯罪团伙案,抓获犯罪嫌疑人160余名,缴获设备100多套,有力地遏制了利用伪基站发送诈骗短信的犯罪行为。
图:360伪基站追踪系统数据可视创新让诈骗短信显形
在帮助企业应对高级持续威胁的过程中,360天眼也展示出了数据可视分析的强大能力。
图:360安全研究人员利用数据可视技术进行样本分析
根据《2015中国APT研究报告》,截至2015年11月底,360威胁情报中心利用天眼大数据分析系统,监测到的针对中国的境内外黑客组织累计29个,14个为360首先发现,其中包括2015年5月末发布的海莲花(OceanLotus)APT组织。
如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。
现场直击|2021世界人工智能大会
直击5G创新地带,就在2021MWC上海
5G已至 转型当时——服务提供商如何把握转型的绝佳时机
寻找自己的Flag
华为开发者大会2020(Cloud)- 科技行者