扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
ZDNET安全频道 11月08日 综合消息:2013年3月4日上午7点20分左右,在长春西环城路与隆化路交会处,一辆灰色RAV4车辆被盗,车牌号为吉AMM102,连同车一起丢失的还有一名两个月大的男婴。事发后,吉林省交警总队立即在全省主要交通干 道卡点进行设卡堵截,并经公安机关微博扩散,长春市全城动员,各种途径自发帮助寻找婴儿,全面开展大范围清查搜查。
然而,遗憾的是,直到1天之后,3月5日早8时左右,被盗车辆在吉林公主岭营城子小学附近的一个民房院子里找到。而车上的婴儿已经被犯罪嫌疑人杀害。
据了解,截至到2012年5月,吉林省视频监控”天网”系统仅省会长春市即超过60000个监控点。但是,此次事件中,这个被称为“天网”的巨大工程在及时发现和堵截被盗车辆上未能起到应有的作用。一个大家都在关注的问题是:全城这么多个监控摄像头,车辆信息又非常详实,为什么明明有的摄像机已经拍到了,甚至是拍到驾驶者的人脸照片,但是却无法及时有效的定位需要的信息?
另一个真实的案例,2013年3月10日,成都电视台新闻频道报道了一则新闻,一个婆婆在广场带着自己的孙子,婆婆去洗手间的短短几分钟时间,孩子失踪了。事发后,警方紧急响应,通过视频监控系统找到了涉嫌拐带孩子的案发录像。但是,由于几个关键路口监控摄像机录取的图像因为种种原因丢失或无法回放,导致跟踪嫌疑人难度大增,警方不得不抽调大量人力侦破。幸运的是,通过警方的不懈努力最终还是成功解救了失踪的孩子并抓获犯罪嫌疑人。在新闻的最后,警方发言人意味深长的表示,覆盖全城的“平安城市”视频监控系统,对警方侦破案件提供了强有力的支持,但是,系统的效率还不尽如人意。此次事件警方紧急调集了1500名警力,花费24小时调阅全城视频监控录像,甚至是社会监控资源的监控录像才找到犯罪分子最终落脚的地方。
以上的两个案例都透露出当前平安城市建设面临的一个现实的情况,那就是即使现在各类视频监控系统铺天盖地,摄像头遍布各个角落,犯罪行为理应无所遁形。但是真正遇到需要侦查破案时,大量的视频背后暴露出隐藏的一个非常明显的问题:破案效率低下。
这个痛点的其中一个重要原因就是搜索定位的效率低下。正是由于现在系统的检索效率低下,导致很多案件的侦破,警方都不得不采用“暴力回放”的人海战术。随着高清化视频监控的普及,视频数据变得越来越庞大,录像信息从以往几百MB猛增到几百TB甚至PB级别。相应的,系统中必须要有一套数据库管理这些海量视频,而当前的视频监控系统中,几乎都是通过部署数据库服务器,即使是标准数据云存储也会要部署元数据服务器。各大方案厂家都会在数据库服务器中保存视频数据的索引,如基于图像帧的索引或者基于时间的索引,无外乎是这两种方式。
当然,数据库也多种多样,有MS SQLSERVER,有ORACLE,有MySQL,PGSQL等等。但无论采用哪种数据库,采用哪种索引,都会遇到同一个问题。那就是,随着数据量的增加,搜索查询性能会越来越慢,数据库就是这个瓶颈。
我们用国内某平安城市的实际案例举例。26,000个25帧网络摄像机存储1个月时间,如果按照标准的帧索引来计算的话,记录数量会达到16,848,000,000,000条。数不清楚?这是1万6848亿条记录。如果放在SQL SERVER这种大型关系型数据库里面,执行搜索命令定位到其中1条,实验室里面的数据是耗时1小时50分钟。当然,经过大量的优化后,定位时间还是保持在30分钟以上。
这个性能数据带来的影响是非常可怕的。一个真实的案例,在某大型城市里发生了一起汽车肇事的案件。幸运的是,案件发生后马上接到了报警。公安在城市治安卡口里面搜索汽车牌照号码,半个小时过去了,结果还没有反馈出来。这次事故在公安体系里面都知道。
尽管现在的视频监控解决方案提供商都宣称自己能实现秒级搜索,但是这只是在理想情况下的“理论值”,在系统刚刚部署后一段很短的时间里,验收阶段确实可以做到基本上秒级。但一个月后,半年后,随着数据量的激增,后面的苦就只有客户自己清楚。
华为视频监控解决方案提升平安城市安全等级
华为公司在几年前高清海量视频开始占领市场的时候,就预感到这个问题将随着视频数据量的激增变得越来越尖锐,通过对客户痛点细致的分析,最后推出了基于视频监控应用云存储架构的“分布式并行搜索”特性。
分布式“秒级检索”
在数据写入的时候,视频监控应用云存储节点保存了一份分布式索引,这是一个基于秒偏移技术的视频索引专用散列算法。监控系统中每一台云存储节点除了作视频存储外,同时还是一个视频检索节点,当系统下达了一条搜索指令时,这个指令被分布式的下达到各个节点,无论这个节点是在省厅,在市局,还是在派出所,甚至在社会视频监控系统中。真正的实现了各级监控系统的“如臂使指”。
例如在日常的业务应用中,用户搜索一条指令“在XX路口一辆红车的汽车”。当确认键被按下时,搜索服务会拿出一个广播,对着XX路口附近所有的应用云节点设备一声大喊:“我要找在XX路口的红色汽车”。这个区域的应用云节点设备听到后,均埋头在自己内部空间里面寻找(事先已经被智能分析系统打好标记了)。因为每个节点的内部搜索速度都很快,而且所有听到广播的节点都是并发的在找,谁也不打扰谁。于是乎,100毫秒左右,搜索服务器就能获得所有节点的反馈了。
对于一个大规模的平安城市来说,视频云存储的搜索模型不会随着平安城市的扩容、存储时间延长等导致数据量的增加而变慢。当然,仅搜索速度快也不能完全解决破案效率的问题。还需要如智能分析、视频摘要、案件归档、串并案分析等多种手段配合才能使客户使用视频监控系统的效率得到提升。
破案效率低下除了检索能力这一直接因素外,还有许多间接原因,其中一个最常见的问题就是视频录像的丢失。警方办案的时候经常遇到一类情况是,清楚知道案发位置,也知道现场有监控摄像头,但是当调取案发时候录像时,发现由于硬盘故障导致某一时间段的录像全部丢失了。在上面提到的拐带孩子案例中,就是由于现场最直接的几个摄像机保存录像的硬盘损坏,导致无法看到案发视频,警方只能靠推理以及对周边众多摄像机拉网式排查才重新定位到嫌疑人,大大增加了案件的侦破难度。如果本案的犯罪嫌疑人是个惯犯,具备一定的反侦查能力的话,很可能出现“大海捞针茫茫不可得”的情况,犯罪分子逍遥法外,一个美满家庭破裂的悲剧很难避免。
SafeVideo“数据永不丢失”
出现这种情况的主要原因是当前绝大多数视频监控系统的存储机制决定的。众所周知,在海量视频存储的“平安城市”监控系统中,需要大量的硬盘作为存储载体,即使采用RAID5等数据冗余技术,也仅仅能保证RAID组中一块硬盘损坏的时候数据不丢失。当多块硬盘出现故障的情况下,目前绝大多数的视频监控系统对此只能“徒呼奈何”,无能为力。而硬盘本身的特性和视频监控循环覆盖的存储特点决定了硬盘在系统中需要7x24小时不间断全负荷的运行,使得硬盘成为系统中的一个“易耗品”。多块硬盘出现故障绝非“偶然”或“小概率事件”。
难道就没有一种行之有效方式来避免这种情况的发生么?
华为以专业视频监控解决方案提供商的视角对视频监控行业进行了长达6年的研究,发现传统方案中,因为几块硬盘的故障损坏就使整个视频监控系统停止工作,这完全不符合公安对于“平安城市”使用期待。试想一下我们正在家里的家庭影院中观看一部好莱坞大片,突然间电影画面花了一下或者卡了一下,我们是把播放器关掉不看了还是继续观看呢?相信所有人都会做出同样的决定,容忍那一段错误,继续观看。视频监控也是类似的情况,在一段持续几分钟甚至十几分钟的犯罪过程中,出现短暂的“花屏”、“没有图像”的情形,绝大多数情况下不影响警方对犯罪嫌疑人身份的确认,逃逸方向的定位等关键信息获取。对比传统方案下,整个时间段所有视频完全无法查看,其所能带来的效率提升可谓“天差地别”。
针对这种以保持业务连续性为第一重要级别,数据可以容忍少量错误的场景,华为推出了拥有视频监控业务特性的“应用云存储”。为了保障上述的业务连续性,华为在存储设备的底层做出了一些特殊的设计。在传统存储设备中,多块磁盘需要组成RAID磁盘组以增加数据的可靠性。例如RAID5算法可以支持在一块磁盘故障损坏后数据不丢失,可以通过检验数据还原业务数据。通常来说,在一台16盘位的磁盘阵列中只会建立1个RAID组,那么可用的数据空间为14盘位。按照主流的3TB磁盘来计算,将可以保存70路标清摄像机1个月的视频图像。这样设计的初衷是很好的,问题在于RAID技术是传统存储厂商为数据可靠性为首的应用场景设计的,主要是用来保存结构化数据,将其照搬到视频监控的应用场景下势必会出现“南橘北枳”的情况。以上述RAID组为例,在存储时有可能会将文件切片为14片,每块磁盘上存储1片(实际可能每盘N片)。此时如果有几片数据丢失,那么整个文件就无法再恢复了。因为文件的特殊性,有缺失的部分,文件就无法使用了。
下图我们可以看到一个视频图像片段序列。
在传统的RAID5磁盘阵列上,两块以上硬盘损坏后,RAID组内所有图像全部丢失。
于是华为提出了视频监控“应用云”的概念,针对这种现象对RAID算法进行了一些定制和改造。其结果表现为同一个RAID组内,无论多少块硬盘故障,只要还剩余一块无故障硬盘,那么其上面的视频仍可提供读取服务。用户的体验是一段正在播放的视频,突然卡一下,时间向后跳了一下(遇到故障硬盘)。
从上面的几副图的对比来看,结论很明显。目前华为将这种技术称为SafeVideo技术,在全线视频监控专用存储中已经应用。视频监控的业务不但不会因为多块硬盘发生故障而导致系统暂停,还最大限度保护了用户的数据资源。大量的使用者,特别是公安用户反馈,此技术的诞生极大解决了因为硬盘故障导致视频丢失进而影响案件侦破的痼疾。
通过以上的介绍,可以试想这样一个场景:在采用华为“云监控”的系统中,当案件发生后,警方立即从案情描述里面提取关键信息,搜索“银色”车身、“穿红衣服的人”,“RAV4”车型关键信息,车牌号“XXXXX”等信息,并通过“秒级回放”的分布式搜索引擎,迅速对城市各个分局,派出所的监控“云节点”发出搜索请求,各个“云节点”通过智能分析和车牌识别技术快速检索本地的视频信息,并在一秒钟之内检索到相关的有用视频数据,筛除了海量无用信息,警方无需再通过部署海量人力逐一排查,只需利用正常警力集中资源重点研究经过搜索系统筛选的信息,既节约警力资源,同时又能高效的侦破案件。最大程度上避免类似吉林悲剧的重演。同时,利用华为“视频监控应用云”的SafeVideo 技术, 从根本上避免了视频数据的丢失对案件侦破产生的破坏性影响。
华为云监控通过以上对监控的理解和技术实现,全面提升平安城市安全等级,切实把视频监控变成能够实战的治安利器,真正助力构建“天网恢恢,疏而不漏”的和谐、平安城市。
如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。
现场直击|2021世界人工智能大会
直击5G创新地带,就在2021MWC上海
5G已至 转型当时——服务提供商如何把握转型的绝佳时机
寻找自己的Flag
华为开发者大会2020(Cloud)- 科技行者