您现在的位置:首页 >> IT >> 正文
火山引擎:提供超高性价比,简化企业 AI 应用落地门槛
发表时间:2024年8月30日 16:17 来源:新科技 责任编 辑:麒麟

在近日举办的火山引擎AI创新巡展(上海站)活动中,火山引擎总裁谭待表示,豆包大模型在三个月内综合能力提升了20.3%,在降低价格门槛的同时确保高性能,让大模型更容易在千行百业落地。

在今年5月举办的Force原动力大会上,字节跳动发布了豆包大模型,并将推理成本打到最低,豆包通用模型pro在企业市场的推理输入定价为0.0008元/千Tokens。

豆包通用模型pro为客户提供业内最高标准的初始 TPM(每分钟 Tokens)和 RPM(每分钟请求数),有助于企业的业务在高并发场景中落地。

在演讲中,谭待以经常出现高并发、高负载的企业客服行业为例,分享了豆包大模型的性能情况。

他表示,在企业客服行业,随着交易量出现波峰、波谷,场景始终在不断变化。而凭借豆包大模型,以及火山引擎的能力和服务,已经帮助很多企业客服客户优化了效果,并支持住最高并发挑战。

火山引擎智能算法负责人、火山方舟负责人吴迪则表示,为应对企业日常业务的真实需求,火山引擎通过将调度做到极致,在成本方面极具优势。

同时,火山引擎支持在分钟级时间段内,完成数千卡伸缩,有效支持突发流量和业务高峰。另外,火山引擎推出的批量推理模式,使得接入豆包模型批量推理模式的客户,默认可获得13亿tokens的起始额度。

沐瞳智能服务负责人张文文则在现场分享了沐瞳与火山引擎合作的真实案例。沐瞳通过将豆包大模型能力应用于旗下游戏的 AI 实时判罚场景,基于游戏内聊天文本对辱骂/攻击性发言进行识别,取得良好的真实效果。

他表示,在对战游戏领域,玩家很容易情绪激动,情不自禁地“口吐芬芳”。如不能对此有效管理,则可能导致玩家流失、游戏口碑下降。

大模型出现之前,对于这种情况的传统解法,只有关键字屏蔽,以及客服解决等。但真实场景是,游戏中每天发生上亿场战斗,其中三百万场可能出现相关投诉,只依靠客服处理并不现实。

在使用豆包大模型后,与举报相关的聊天记录会发给大模型,以编制过的prompt,让大模型对其加以识别,再根据识别结果做出针对性的判罚、处理、禁言等。最终,召回率超过80%,个别语种甚至能够超过90%,并且用通用模型即可管理52种语言的业务。

火山引擎云基础产品负责人罗浩则表示,在与沐瞳的合作中,大量用到了各种的云基础,以及包括豆包大模型在内的火山引擎AI产品,并且所有的产品使用都在同一朵云之上,在整体调用过程中也没有出现额外的流量成本,调用的延时也做到了最优化。

在现场,罗浩还列举了客户美图的具体案例,进一步解读了企业如何在具体业务场景中更高效地利用火山引擎的云端资源。他表示,火山引擎提供弹性资源池,利用潮汐算力,使得美图在整体使用GPU和CPU云资源时,成本达到最优化。

高层观点
用友董事长兼CEO王文京:全面数智商业创新时代到来
用友网络董事长兼CEO王文京认为,随着AI成为全球IT技术与产业创新的中心,商业创新也进入全面数..
华为汪涛:深耕价值客户、商业和分销三类市场
5月8日,在华为中国合作伙伴大会2023上,华为常务董事、ICT基础设施业务管理委员会主任、企业BG..
企业纪事
12岁即显现商业头脑 IT巨头公司戴尔的发展简史
从1984成立到今天,戴尔已成长为全球知名的电脑、服务器、数据储存设备和网络设备厂商。
5G毫米波网速优势显现,少了高速路的5G不完整
随着5G网络目前在全球各地的开通,5G毫米波在峰值速率上已经展现出了巨大优势。同时,工信部在..
移动互联
手机
智能设备
汽车科技
通信
IT
家电
办公打印
企业
滚动
相关新闻
关于我们 | 联系我们 | 友情链接 | 版权声明
新科技网络【京ICP备18031908号-1
Copyright © 2022 Hnetn.com, All Right Reserved
版权所有 新科技网络
本站郑重声明:本站所载文章、数据仅供参考,使用前请核实,风险自负。