近日, Gartner发布了2023年《中国分析平台市场指南》(Market Guide for Analytics Platforms, China, August 2023)。在这份市场指南中,星环科技凭借其智能分析工具Sophon Base入选代表厂商。值得一提的是,自Gartner2022年首次发布《中国分析平台市场指南》以来,星环科技已经作为代表厂商,连续两年入选该份报告。
Gartner在指南中指出,“随着中国对数字经济发展的重视,中国的分析平台市场正受到前所未有的关注。”据Gartner预测,“2023年中国的分析平台市场增长率高达19%,到2026年将达到23%,总体增长率和增幅在很大程度上超过全球平均水平和其他经济体。”而分析门户、增强功能和大型语言模型(LLM)驱动的生成式人工智能等技术,都将为整个市场带来新的活力。根据Gartner报告数据显示:“截至2024年,中国的供应商预计将拥有中国79%的市场份额,这相当于从非中国的供应商转移2200万美元到中国的供应商。”我们不难推算得出,截至2024年中国分析和BI平台的整体市场总量将超过2700万美元。
Sophon 3.2 “六易三仓两中心”架构,实现新一代AI平民化
作为连续入选Gartner中国分析平台市场指南的代表厂商,星环科技Sophon针对目前各行业用户在落地广泛业务需求分析、处理多重数据模态对接、跟进高度定制场景问题解决、运营多源多框架AI模型等方面的问题,发布了“六易三仓两中心”架构的3.2版本,从高质量的数据资产沉淀和模型持续运营出发,贯彻以数据和模型为中心,让用户能够基于自身需求构建紧密贴合其业务场景的新一代AI应用。
Sophon v3.2架构图
“六易”:Sophon 3.2从用户需求出发,对数据接入获取、模型构建训练、模型运维管理、模型发布迭代等AI应用全生命周期的流程做了打通和优化,全面降低了AI使用门槛:
样本“易”管理:提供可处理多模态数据的样本仓库,支持数据标注和审核;
场景“易”开发:支持可视化、编程式、流程式建模服务以及内置的图计算、时序计算及ML算法库,让建模场景易搭建;
模型“易”获得:提供模型仓库,统一纳管多源模型,并进行静态评估;
模型“易”管理:提供模型运营及可解释模块,支持统一部署、监控、评估,全面掌握模型运行状态;
效果“易”迭代:提供可视化配置模型迭代Pipeline流程,实现持续训练、集成和部署。
系统“易”运维:支持X64/ARM等架构,GPU/NPU等加速硬件,多种操作系统和主流分布式机器学习计算框架、计算/存储资源管理和统一调度,让系统更加易用。
“三仓”:围绕数据开发全流程,Sophon 3.2以数据流视角分别建设“样本仓库、模型仓库和应用仓库”,实现全流程、多模态数据的统一纳管。
样本仓库:精细化的数据管理和高质量的多模态数据输出,推动高质量模型迭代;
模型仓库:统一管理多源模型,便于模型开发与应用人员找到最适合业务场景的模型,组装输出高质量模型服务;
应用仓库:内置代码生成、领域知识问答、营销、风控、图谱风险探查、图像检索、内容安全检测等多种场景,以低代码方式快速构建符合业务需求的实际应用。
Sophon应用仓库场景模板
生成式AI,让大数据分析更智能
为更好地激发AI模型资产价值,Sophon 3.2发布的Sophon LLMOps大语言模型运营平台,提供大模型的微调及运维工具链,可帮助企业用户快速开发构建领域大模型应用。同时,使用Sophon LLMOps进行指令开发和模型微调、对齐,星环科技开发出了最新的大数据分析大模型SoLar求索,可以基于自然语言进行SQL、Python和Cypher的快速转化,让业务人员在不需要学习和掌握数据库编程语言的前提下自由地按需查询数据。
Sophon LLMOps架构图
大数据分析大模型SoLar求索的NL2SQL功能
在智能领域知识问答系统的落地实践中,Sophon LLMOps结合向量数据库Hippo的解决方案,可以实现专业领域的智能问答系统构建,解决了传统问答系统中的行业属性、知识分散和更新滞后等问题,并且可以大大降低开发投入和运维成本,让企业获取知识的过程变得更加简单高效、获取的内容变得精简可追溯、知识的更新变得更加即时。
星环大模型运营平台Sophon LLMOps应用链
案例:Sophon为大型金融机构构建模型运营管理平台
某大型金融机构希望将各业务部门开发的机器学习/深度学习模型和大模型,都作为企业的AI资产,进行沉淀和集成管理,并且以天为单位进行模型训练、更新及迭代,实现模型全生命周期的自动化流程,包括CT/CI/CD。此外,需要官网的智能客服业务接入大模型应用,以提升企业的智能化运营能力。
针对该金融机构的AI资产沉淀、自动化流程及LLM应用等需求,Sophon结合“三仓”和最新发布的LLMOps,为其搭建了企业级的模型统一运营管理平台,实现了金融机构的AI资产集成管理及对外发布、细粒度的资源隔离和权限管控、稳健快速的模型自动化服务流程及大模型的私有化部署和推理加速。项目成果如下:
1、AI资产管理:统一接入多个部门数十个业务场景的模型应用,同时对外提供API服务;
2、资源隔离和权限管控:通过集群资源划分及GPU分组等功能,实现了训练、推理资源的隔离,确保各部门之间的数据和计算资源互不干扰。另一方面,通过细粒度的权限控制,确保只有授权人员能够访问相关资源;
3、减少80%的人工操作:支持使用回流数据持续迭代模型,然后作为新增版本集成至模型仓库,最终自动部署为模型服务,实现全流程自动更新;大幅缩短模型开发与迭代的时间,并确保在高频迭代中模型服务的稳定性和性能;
4、大模型能力:支持20+开源及非开源的大模型私有化部署,支持多种推理模型(streaming/非streaming),支持多种推理加速框架(Triton)。
在数字经济时代,星环科技将始终致力于大数据、人工智能领域的产品研发和技术创新,通过前沿的大数据分析技术助力数据要素价值的迸发,为企业构建智能化应用和数字化转型持续提供坚实的技术支持。