“智能体”失控作妖？丁牛科技建议三招“降服”它

MIT最新“迷你猎豹机器人”（图片来源于：MIT）

“智能体”辈出，人工智能时代触手可及

清晨醒来，想知道外面天气如何？问下你的智能音箱，它会向你转播外面的实况。

地面脏了，找保洁打扫还得预约？看！你的扫地机器人已经出动，干净一新，只需要再等一会。

想养宠物，要它陪伴却不想照顾它？MIT机器狗，可能是你不错的选择。

需要出行，但不想把时间浪费在路上？汽车的自动驾驶功能将护送你安全到达目的地，你可以在车上做你想做的任何事。

办理业务，谁将为你提供服务？柜台漂亮的小姐姐？不，是一个萌哒哒的机器人帅锅。

人工智能技术的成熟及发展，让各种各样的人工智能行为体，简称“智能体”，横空出世。他们逐渐成为了我们的“百事通”、我们的“保洁员”、我们的“萌宠”，我们的“司机”、我们的“业务员”......他们渐渐成为我们生活中不可或缺的一份子。

失控的“智能体”将使人类陷入“衔尾蛇”的魔咒

麦克斯·泰格马克在《生命3.0》一书中，将生命进化定义为三个阶段。生命1.0即硬件和软件都来自进化的生物阶段；生命2.0即能够通过学习自己设计软件的文化阶段；生命3.0即自己设计硬件和软件，并主宰自我命运的科技阶段。生命3.0就是 “智能体”演进的最高境界。作者预测当“智能体”的算法或者智能等级足够强大后，他将超过人类决策速度，最终将脱离人类的控制。

近些年，因“智能体”失控引发的事件已展露端倪。2016年，Knightscope平台制造的一款打击犯罪的机器人在硅谷购物中心撞倒并打伤了一名16个月大的男孩。2017年Uber无人车在行驶途中，突发事故，撞车侧翻躺在路上。2018年亚马逊智能音箱无故发出渗人的笑声，令用户毛骨悚然。

“智能体”失控，将有可能使人类陷入“衔尾蛇”的魔咒。在《普罗米修斯》电影中，描述过这样一个假想的场景：人形机器人大卫（David）秘密地把他在考察中捡到的一个石瓶带到了船上，并将里面的黑色液体悄悄混入饮料，然后故意递给人类赫洛维让其喝下，希望借赫洛维的身体实验，以测试该液体的作用，最终引发了异形的诞生和一系列由此导致的惨剧。

在今年两会中，人工智能产业的发展被李克强总理连续第三次在政府工作报告中重点提及。人工智能在迅猛发展的同时，如何保持人工智能安全健康发展成为了当务之急。

丁牛科技智驭系列安全产品，就是要将人工智能用于安全防御

为了推进人工智能安全健康发展，丁牛科技认为应从：防止人工智能失控（AI Safety）、保证人工智能自身安全（AI Security）和将人工智能用于安全（AI for Security）三个方面，思考推进。丁牛科技正在研发智驭系列安全产品就是在做“将人工智能用于安全”的事。

AI Safety——给“智能体”带上“保险箍”

“智能体”在没有人类干预的情况下，按照硬编码的方式，可以自主产生动作，但却可能存在安全问题。例如：无人小型战斗机是依靠硬编码算法，通过识别服装、装备、可穿戴设备等物品进行认证，攻击敌方。一旦无人战斗机遭到远程破解，武器失控，就会使其在发现敌方时毫无动作，在发现我方时产生攻击。

方滨兴院士在2018软博会上首次提出：“智能体厂商应给‘智能体’带上‘保险箍’。‘保险箍’可以检测‘智能体’是否偏离了正常行为，一旦发现它的行为超过保险箍设置的阈值或规则范围，就会采取强制措施，比如：断电或者控制其行为速度，以防范‘智能体’的失控。”

AI Security——“安全投入+算法+样本”都要重视

随着物联网技术的蓬勃发展，“智能家居”日渐被人们认同和普及。但家用WIFI、路由器，机顶盒等IoT设备其实却并不安全。因为IoT设备生产商，为了方便部署和调试，降低成本，给这些设备设置了雷同的弱口令，为黑客的远程攻击和控制提供了便利。“智能体”在算法方面，无论如何严密，都可能存在错误。特斯拉Model S在自动驾驶模式下，就曾因为算法出错，在高速公路上行驶中，撞上并钻入了一辆18轮大拖车车底，致使车主当场死亡。另外，人工智能主要依靠机器学习，需要大量的样本。一旦样本被污染，训练出来的模型将会产生偏差。

丁牛科技建议：“智能体厂商要提高安全防范意识，加大安全投入。从产品设计开始就要进行安全投入，在顶层设计和成本投入方面都要做好安全考虑。其次，在算法方面不仅要考虑安全问题，还要考虑在极端情况下容错问题。例如，三方表决容错机制就很值得借鉴。三方表决容错机制即：三个厂商分别开发三个系统，每个系统都不一样，通过表决，少数听从多数，力保系统安全。最后，需要高度重视样本的纯净性和准确性，避免使用污染样本。”

AI for security——丁牛科技就要将人工智能用于安全防御

目前，越来越多的安全厂商开始关注如何将人工智能用于安全防御。丁牛科技作为精准智驭安全提供商，正在研制一款针对Web应用攻击的威胁检测工具——“智栏·下一代威胁感知系统”。

该产品依托大数据机器学习技术，融合上千万种主流的攻击流量样本和检测规则库，采用了机器学习算法、多特征匹配和复杂的判断逻辑，能够精准感知各种攻击行为并发出及时高效的预警信息，帮助企业监测来自网络内外部的各类攻击威胁，减少企业安全风险。

丁牛科技将继续深耕，希望研制出更好的“人工智能自动化攻防”成果，普惠社会。