跳到正文

#数据报告

今日 3 条
6月22日周日
  1. Josh Bersin47

    Josh Bersin 发布 AI Pacesetters 研究,解析高绩效企业 AI 转型的六个秘密

    Josh Bersin 本周发布历时三年的 GWI(Global Workforce Intelligence)研究结果,基于 Eightfold 数据分析六个行业数百家公司、数百万员工的技能与 HR 策略。

    决策要点

    研究的主结论是高绩效来源从专长存量转向组织学习速度,AI 转型被定位为组织与人的问题而非技术采购问题。

    • 影响企业推进 AI 时,预算不能只投向模型与工具采购,技能再培训和岗位再设计需同步列入;按研究口径,只做 AI 培训而不质疑业务方式难以复制高绩效;招聘和内部流动的筛选标准可能需要向学习与适应能力倾斜。
    • 参考可考虑对照六条原则给自家 AI 项目分类,区分增长型与控成本型投入;值得测算关键岗位的技能更新周期,并评估内部人才流动与再培训预算是否足以支撑持续学习。
1月21日周二
  1. 通义千问 Qwen:Blog42

    通义千问 Qwen 团队提出全局批次负载均衡,近乎零成本改进 MoE 大模型训练

    通义千问 Qwen 团队发文提出 MoE 大模型训练的全局批次级负载均衡损失,指出现有框架的微批次级实现会阻碍专家特化,并与开源 MoE 模型普遍缺乏专家特化的现象相关。

    决策要点

    这是负载均衡损失实现层面的修正,把 MoE 训练的均衡范围从微批次扩大到全局批次,几乎不增加成本即可换来性能与专家特化的提升。

    • 影响自建或继续预训练 MoE 模型的团队可用极小改动换取性能收益;主流框架的均衡 batch size 多在 8 到 16,距论文中 128 的饱和点仍有空间;论文认为现有开源 MoE 模型专家特化不足与旧实现有关。
    • 参考做 MoE 预训练或继续训练的团队可考虑在并行组间同步专家选择频率,先小规模验证收益;选用开源 MoE 模型时,可把专家是否按领域特化纳入评估维度。
6月6日周四
  1. 通义千问 Qwen:Blog43

    通义千问用 Qwen-Agent 将 8k 上下文模型扩展到 1M 上下文

    Qwen 团队用 8k 上下文的 Qwen2 模型搭建出能处理 1M token 文档的智能体,官方称其表现超过 RAG 和原生长上下文模型。

    决策要点

    与其硬训超长上下文窗口,先用小上下文模型加智能体工程覆盖 1M 文档,再把智能体变成合成训练数据的工具,这是长上下文能力建设的一条工程路线。

    • 影响处理长文档问答可能不必依赖超长上下文模型的高推理成本,小模型加智能体编排是低成本选项;现有结果均为官方自测口径,换文档类型或模型效果会变;逐块阅读策略 token 消耗和延迟更高,落地前要算清这笔账。
    • 参考可考虑用业务里真实的 1M 级长文档,在开源的 Qwen-Agent 实现上对比 RAG 与逐块阅读两种策略的命中率和成本;值得先盘点哪些场景真正需要超过 32k 的上下文,再决定试点顺序。
11月14日周一
  1. 通义千问 Qwen:Blog31

    通义千问博客发布统一多模态模型 OFA,开源 33M 至 930M 五种尺寸

    通义千问博客介绍统一多模态预训练模型 OFA,将跨模态的理解与生成任务统一到单一 Transformer 框架,并开源预训练与微调模型。模型提供 OFA-Tiny(33M)到 OFA-Huge(930M)五种尺寸,基于 8 项任务的指令式多任务预训练,训练仅用公开数据集。

    决策要点

    OFA 表明模态、架构与任务能统一进单个框架,通用多模态模型路线在作者自测中初见成效。

    • 影响开源的五种尺寸让企业可按算力选择自部署入口;一套模型覆盖视觉问答、图像描述等多类任务,可摊薄按任务单独建模型的成本;现有性能数字均出自作者自测。
    • 参考可考虑用开源的中小尺寸模型在图像描述或视觉问答场景做低成本试点;值得先盘点内部按任务采购或自建的视觉与语言模型清单,评估能否合并。