您现在的位置:首页 >> 通信 >> 正文
2017年安防云计算核心技术
发表时间:2017年4月21日 17:43 来源:电子工程世界 责任编辑:编 辑:麒麟

一些实时应用的请求数每秒钟可达请求数达到数百次,每次人脸比对次数可达百万级别时,则整个系统需要支持每秒亿级的人脸特征比对计算。如此大规模的计算,单机上是无法完成的,必须采用集群完成。特征库本身规模不大,但是比对次数很大,属于典型的计算密集型集群,特征库可以全部倒入到内存,在内存中完成计算。

海量视频检索技术

图像传感器采集到的视频数据保存到后端存储后,用户可以随时选择目标区域的多个摄像头,提交给视频检索集群,检索集群按照目标物体的特征快速检索的所有对应摄像头产生视频数据,找到目标物体特征所出现的视频,并定位到准确的时间点。其中主要使用了智能化技术实现视频数据到物体特征结构化数据的转换,支持车辆颜色,车牌,衣着颜色,人脸等特征。基于统一的计算资源池,实现智能化算法的并行运算,线性提高检索效率。

结构化之后的数据可以保存到数据库,下次检索可以直接通过结构化数据进行二次检索,大幅提高检索效率。

分布式对象存储技术

安防云在系统架构和设计上,充分考虑大规模集群环境下软硬件发生故障的现实,采用先进的管理思想和软件系统,实现对大量普通存储服务器存储空间资源进行虚拟化整合,实现软硬件故障高度容错,搭建高度稳定可靠的存储集群。

系统将控制流与数据流分离,以及充分优化元数据节点控制系统,使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间,使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上,充分利用集群各节点性能,以获得很好的性能聚合能力以保证系统的稳定。集群采用高度灵活自组网技术,提供简易部署和维护功能。系统在数据可靠方面,采用智能冗余重建技术,保证较高磁盘利用率的前提下,提供最佳冗余策略。另外,系统在节点软硬件故障容错方面,也进行充分考虑,具备屏蔽所有可屏蔽错误能力。

快速文件索引技术

云存储系统可以支持上亿级的文件,同时还需要支持上千个用户同时访问。这么大规模的元数据和并发访问量,采用传统的内存加磁盘多级存储,以及多级索引方式,寻址的开销将非常大,直接影响到系统的可用性。

为了提高系统的响应速度,云存储采用粗粒度的管理方式,以64M作为典型的块大小进行索引,大幅减小元数据的数量,即使如此,系统的元数据规模还是会达到GB级别。基于这种情况,系统采用全内存态的元数据访问模式,可以将文件寻址时间降到毫秒级别。

为了保证元数据的可靠性,需要对元数据的访问做日志记录,并定期将元数据持久化到硬盘。

负载自动均衡技术

采用中心服务器模式来管理整个云存储文件系统,所有元数据均保存在元数据服务器上,文件则被按块划分存储在不同的数据节点上。

元数据维护了统一的命名空间,同时掌握整个系统内数据节点的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据服务器根据数据节点的磁盘使用情况、网络负担等情况,选择负担最轻的节点服务器对外提供服务,自动调节集群的负载状态。

数据节点内同时有提供磁盘级的负载均衡,根据磁盘的IO负载,空间容量等情况,自动选择负载最轻的磁盘存储新的数据文件。

当有一个数据节点因为机器故障或者其他原因造成离线时,元数据服务器会将此机器自动屏蔽掉,不再将此数据节点提供给客户端使用,同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上,自动屏蔽数据单节点故障对系统的影响。

另外对故障的数据节点上的数据快速恢复,只需将数据节点上的硬盘拔出,插入到其他数据节点,这样即减少集群对数据恢复的压力,又不对客户端读写产生影响。

[1]  [2]  [3]  
相关文章
关于我们 | 联系我们 | 友情链接 | 版权声明
新科技网络【京ICP备15027068号】
Copyright © 2015 Hnetn.com, All Right Reserved
版权所有 新科技网络
本站郑重声明:本站所载文章、数据仅供参考,使用前请核实,风险自负。