跳到正文
原文
IT之家·人工智能·· 2 天前AI 评分39

前 Anthropic 研究员考克森称,当今重新训练 Mythos 只需初始的一小部分算力

前 Anthropic 研究员考克森:当今若要重新训练 Mythos,只需初始的一小部分算力

文章要点
  • 1考克森称,Mythos 并非偶然突破,如今只需初始训练的一小部分算力即可重新训练该模型
  • 2其依据是 Anthropic IPO 路演一张算力图表,压缩坐标轴下曲线仍急剧上升,他视作算法效率加速的证据
  • 3他主张明年暂停前沿 AI 模型研发,称算法改进即将自动化,人类水平智能将成广泛可得的商品
  • 4他在 Anthropic 仅工作约四个月,称这张幻灯片是离职重要原因,今年 9 月曾公开警告先进 AI 风险
决策要点

考克森的判断把焦点从算力堆叠转向算法效率的超指数提升,头部模型的能力优势可能更容易被低成本复现。

  • 影响:若该判断成立,同等能力所需算力将快速下降,模型领先优势更易被复现,押注单一厂商的采购策略风险上升;其暂停主张若被采纳,按其说法人类水平智能将成为广泛可得的商品;该观点尚属个人分析,规划时应区分观点与事实。
  • 参考:可考虑重估模型选型的成本假设,把同等能力所需算力持续下降的情形纳入预算测算;值得盘点业务对单一模型厂商的依赖点并保留备选方案;对其暂停前沿研发的政策主张,可先评估自身业务对模型迭代节奏的敏感度。
  • 依据:核心依据是考克森对 Anthropic IPO 路演幻灯片的个人解读及暂停前沿研发的公开主张,属前员工观点,暂无独立验证;Mythos 重训成本之说亦无 Anthropic 官方确认。
正文

IT之家 11 月 14 日消息,曾任职于 OpenAI 和 Anthropic、因公开警告 AI 风险而受到广泛关注的研究员雅各布 · 考克森称,Anthropic 在 IPO 路演中展示的一张幻灯片,是促使他离职的重要原因。

考克森在 Anthropic 只工作了约四个月。让他决定离职的原因之一,是公司 IPO 路演中一张展示 AI 模型训练算力需求变化的图表。图表采用压缩坐标轴,即使算力需求增长 10 倍和 100 倍,看起来也相差不大。

即便如此,曲线依然急剧上升。考克森认为,这说明算法效率不仅在快速提高,而且提升速度还在不断加快。“这张图实在太惊人了,没想到他们竟然会公开。”

考克森认为,Anthropic 今年春季推出的 Mythos 模型在性能上实现重大突破,并非偶然,而是算法效率加速提升的结果。他写道:“Mythos 并非一次偶然的突破,而是超指数增长趋势中的一个节点。现在,他们只需耗费最初训练时的一小部分算力,就能重新训练 Mythos。”

考克森指出,算法改进即将实现自动化,因此主张明年暂停前沿 AI 模型研发,让竞争对手有机会赶上。他认为,此举将使达到人类水平的智能成为可以广泛获取的商品,受到损害的只有 OpenAI 和 Anthropic。

考克森曾在 OpenAI 负责 AI 模型训练工作,最近一份工作则是在 Anthropic。今年 9 月,他公开警告先进 AI 系统可能带来的风险,引发广泛关注,业内其他重要人士也提出了类似警告。他们担心,能够不断自我改进的先进 AI 最终可能脱离人类控制。

来源:IT之家·人工智能 · ithome.com