网络安全宣传周机器人大赛篡夺AI控制权只需这一步

2018年国家网络安全宣传周正在如火如荼进行中，在湖北省武汉市国家网络安全宣传周的“黄鹤杯”网络安全发展高峰论坛上，这个人却告诉大家，“篡夺”机器人AI的控制权仅需从这步做起。把人工智能“带歪”，So Easy！

由湖北省互联网信息办公室、武汉市互联网信息办公室、武汉临空港经济技术开发区管委会主办，武汉市互联网行业联合会、武汉市软件行业协会、武汉市网络安全协会承办的2018年湖北省暨武汉市国家网络安全宣传周开放日活动里，“黄鹤杯”网络安全发展高峰论坛极为亮眼。中国科学院院士郑建华，国防科技大学教授、中国计算机学会互联网专委会副主任委员苏金树，国家创新与发展战略研究会副会长郝叶力，东西方研究所全球副总裁迈康纳，华中科技大学计算机学院教授、武汉网络安全战略与发展研究院院长金海等各路知名人士汇集一堂，共同探讨国内外网络安全发展趋势，交流分享国际国内共同关心的网络安全热点话题。

正是在这样一个高规格的论坛上，梆梆安全董事长兼CEO阚志刚告诉大家，对某些特定数据的巧妙处理，就能够实现对人工智能正常运转的干扰，使得人工智能做出错误的判断、错误的决策，甚至实现对AI控制权的“篡夺”，而这一切都源自于人工智能的认知安全问题。

图梆梆安全董事长兼CEO阚志刚在网络安全宣传周论坛发表认知安全演讲

老师教学生学生为何会学错？

人类的智能是通过感知外界信息并不断学习进化而来，但在认知外界的道路上人类也走过不少弯路，例如至今依然被人们所津津乐道的“火星运河”故事，就是由于观测数据上的偏差，导致人们对火星产生了错误的认知。

教师是人类知识的传递者，而所有人在学生时代都曾经历过老师教授的知识正确，但学生依然会学错的时候，这就是学生获取了正确的数据信息，但却做出了错误的处理和判断，由此而导致了错误的认知结果。

人类的认知是一个繁琐的过程，任何环节出现问题都会导致认知结果的偏差、错误。模仿人类的人工智能，认知是其一切行为的最初始阶段，也是人工智能的基石。但人工智能认知阶段所存在的安全隐患，却可能导致（甚至是已经导致）人工智能做出大异于对其初始设定的行为，比如上线还不到24小时就被紧急下架的微软聊天机器人Tay，错误的认知让Tay脏话连篇，甚至变成了一名种族主义者。人工智能被教坏，控制权被削弱甚至篡夺，已经是如今必须要被重视的人工智能安全问题。

委屈的人工智能说：

“这哪能都怪我哇！”

“天网、终结者啥的那都是科幻电影，现在还是弱人工智能时代而已，就是被教坏了，AI的破坏力也是有限滴。”有些人会如是说。看起来貌似有些道理：小胖机器人的失控也仅仅是撞破了玻璃，让路人偶受轻伤；Tay被“教坏”后也不过是骂了些脏话；Facebook的AI机器人Bob和Alice也只是在非人为干预的情况私自聊了聊天，说了些人们听不懂的“机器人方言”。

“我们好冤啊，现在的AI小伙伴们大多仅仅是在某个单一领域里进行认知、学习，并提供面向该单一领域的服务，哪怕是屡次战胜围棋世界冠军的AlphaGo前辈也仅仅是会下围棋而已，这种单一领域所隐含的自约束性就使得AI小伙伴们即便犯错也影响有限。”类似于人类下棋的过程中还来个“青梅煮酒话英雄”这种事儿，AlphaGo就没办法了，下棋AlphaGo可以，“话英雄”这事儿请找辩论型人工智能聊天机器人“TalkGo”。至于“煮酒”——酒，液体，容易腐蚀人工智能服务器主板等零部件导致短路，造成部分服务器瘫痪计算能力下降。人工智能珍爱计算，拒绝煮酒！

AI小伙伴们倍感委屈，可如果这一切都发生在了另外一个场景：Tay其实是儿童辅助教育机器人，Tay的脏话同时也让孩子学会；小胖撞破的是百层大厦28楼的外墙玻璃，下面是人流涌动的广场……2015年，德国大众汽车公司包纳塔尔工厂机器人冲击技术员胸部，将其抓起、重重摔在金属板上，该名技术员最终因伤重不治身亡。由于机器人异常而致使人类生命遭受威胁的事件早已发生。

脆弱的人工智能认知

机器在大量数据的基础上，通过不断学习和训练方能逐渐产生智能，在这个过程里机器需要不断的获取数据、生成信息、形成知识、产生智慧，其中的数据获取、数据处理等任何环节遭受攻击、发生错误，都会使得人工智能的最终认知结果和预期产生偏差，甚至产生危害性影响。

实际上，如今针对人工智能算法特点、人工智能算法在软件上的实现过程所发起的攻击在越来越多。例如对抗性攻击通过构造对抗性数据，即可欺骗人工智能的识别结果，而这些对抗性数据人类大多无法发现、察觉。加州大学伯克利分校计算机科学家Dawn Song所带领的研究团队在停车标志上放上了一些会被人们忽略的贴纸，而图像识别AI却将其误判为了每小时不超过45英里的限速标志，“这对于正奔跑在美国公路上的谷歌无人驾驶卡车无疑是场噩梦”。

“当下，人们非常专注于人工智能算法的深度研究，但对于人工智能认知安全的研究却近乎于0！”

定义认知安全保护人工智能健康发展

“早在2016年梆梆安全研究院就已经投入大量人力物力展开针对人工智能认知安全问题的研究”，在“黄鹤杯”网络安全发展高峰论坛上，梆梆安全董事长兼CEO阚志刚表示，梆梆安全很早就已经在关注并探索认知安全问题，并在今年发布的《认知安全白皮书》里正式给出了认知安全的定义：“认知安全是研究人工智能系统或人工智能系统控制的设备进行有意识的智能行为、智力活动以及无意识被动行为时，获取并应用信息过程中的安全风险、安全理论、安全方法、安全技术及安全应用组件和系统。”

当今世界，美国、欧洲、中国等都在关注人工智能安全问题，并发布相关法律法规、技术规范。在习主席致2018世界人工智能大会的贺信里也提出，要“处理好人工智能在法律、安全、就业、道德伦理和政府治理等方面提出的新课题”。

而梆梆安全在给出明确的认知安全定义后，还进一步发布了认知安全的三层联动防护方法，从输入感知安全、信息获取安全、知识使用安全三个层面为人工智能认知安全提供强劲的安全保护。

图认知安全三层防护方法

人们都知道，高明的心理大师能够通过多种手段对目标人员进行各种心理暗示、精神诱导，最终达到控制目标人员的目的。如果将这一系列手段用之于人工智能，篡夺AI的控制权并非不可能。“所以，在国际巨头企业纷纷将人工智能列为核心发展战略的今天，我们必须要防患于未然，借助对认知安全的研究应用来让人工智能未来更安全！”

梆梆安全精彩亮相2018年湖北省暨武汉市国家网络安全宣传周开放日活动，展台、演讲、大咖、媒体……更多亮眼内容请看下方现场图集：