HiLens的整个平台架构主要分为三个部分,最上层是针对行业已经实现的应用,下层分成端侧和云侧,端侧主要是基于不同的芯片、不同OS系统开发的整个AI技能在端侧运营的软件,包括算法成本和库、基本图像、语音处理的部分软件等,通过一套叫Skill Framework的服务提供给开发者,开发者可以简单高效地可以在端侧运行应用或技能;云侧主要提供边缘设备的管理,也包括应用开发和数据的管理。例如,在设备上产生的数据可以从端侧软件推到云侧做一个视觉化存储。

HiLens平台包含以下几大特性和关键能力:

1、针对Skill生态的开发者做Skill服务。模型依然是AI应用开发的核心,在华为云上, 模型的开发可以使用ModelArts,或者通过线下的导入到上面来,然后通过Framework将模型打包成技能,就可以下发到HiLens支持的边缘或者终端设备上。

2、端侧算法开发框架Skill Framework检测。Skill Framework封装了视频分析算法基础组件,如图像处理、推理、日志等,开发者通过少量代码即可开发自己的Skill,同时,HiLens还可结合芯片进行性能优化,提供Python和C++接口,在HiLens平台上开发的Skill可以运行到任何基于华为海思芯片的设备上。

3、模型优化、自动模型转换及压缩能力。包括网络蒸馏、通道剪枝、权重稀疏化、量化、模型转换等。

4、上文中所提到的丰富的Skill Market,方便模型快速构建。

5、设备实时采集视频流传输到云端,可视化管理多路视频流。

目前,HiLens具备非常丰富的应用场景。例如,在智能园区中可精准追踪行人轨迹、识别车牌&车型等;在智慧家庭中实现陌生人告警、异常声音检测等;此外,在智能车载、智慧工地等场景中,HiLens也可以发挥其功用,达成对疲劳驾驶检测、安全和姿态监测等。