跳到正文
原文
IT之家·人工智能·· 1 天前AI 评分41

韩国电信运营商 LG U+ 宣布明年进军 B2B AI Token 业务,帮企业降低 AI 转型成本

韩国电信运营商 LG U+ 明年进军 AI Token 业务,帮助企业降低 AI 转型成本

文章要点
  • 1韩国运营商 LG U+ 宣布明年进军 B2B AI Token 业务,以自研 Token 优化技术帮助企业降低 AI 转型成本。
  • 2服务包含三项技术:设计 Agent 任务执行路径的 Harness Engineering、按问题类型分配模型的智能路由、用异构半导体优化推理的芯片组合。
  • 3官方口径称自研端侧 AI 模型体积缩小三分之一仍达通用云端模型 95% 以上性能,Token 生成速度提升两倍以上。
  • 4芯片组合将英伟达、AMD GPU 与 FuriosaAI NPU 分工处理 Prefill 和 Decode 任务;韩国三大电信运营商将全部进入 Token 经济。
决策要点

电信运营商凭存量算力和网络资源切入按 Token 计费的推理服务市场,用成本优化而非自研模型能力争夺企业 AI 预算。

  • 影响:大小模型分工和异构芯片组合直接作用于推理成本,企业可将其作为压降 AI 运行支出的参照;韩国三大运营商全部进入 Token 经济,企业采购推理服务时多出运营商渠道这一比价选项。
  • 参考:可考虑把现有 AI 应用的 Token 消耗按问题分析和答案生成两段拆开测算成本;值得评估高频简单任务交给小模型、大模型只做抽检的组合方案;采购时可以要求供应商说明模型路由和芯片组合的成本结构。
  • 依据:性能与速度数字为 LG U+ 自述,经韩媒 Etnews 转述,暂无独立验证;三项技术名称与芯片分工细节出自原报道。
正文

IT之家 11 月 15 日消息,据韩媒 Etnews 今天报道,韩国电信运营商 LG U+ 将于明年进军 AI Token 业务,利用自主研发的 Token 优化技术,帮助企业降低 AI 转型(AX)成本。

뉴스웍스

据介绍,这项服务拥有用于设计 Agent 任务执行路径的“Harness Engineering”、根据问题类型分配模型的“智能路由”,以及为优化推理过程而采用异构半导体的“芯片组合”三项技术。

IT之家从原报道获悉,LG U+ 将减少 AI Agent 执行任务时不必要的重复搜索和验证,并根据任务难度匹配最合适的模型。同时结合模型轻量化和推理技术,该公司的自研端侧 AI 模型在体积缩小三分之一的情况下,性能仍达到通用云端模型的 95% 以上。通过让小模型快速生成答案、再由大模型进行验证的技术,Token 生成速度提升两倍以上。

基础设施方面,LG U+ 采用芯片组合策略,将英伟达、AMD GPU 与韩国本土企业 FuriosaAI 的神经网络处理器(NPU)结合使用,分别处理问题分析(Prefill)和答案生成(Decode)任务。通过将需要大规模计算的任务与对内存带宽要求较高的任务分开处理,降低基础设施成本。

LG U+ 将同时采用与合作伙伴联合提供服务和自主建设两种方式,从明年开始全面进军 B2B AI Token 市场。随着 LG U+ 加入,韩国三大电信运营商将全部进入 Token 经济领域。

来源:IT之家·人工智能 · ithome.com