变革和机遇

 · #随笔

此举很可能代表着有史以来最大的经济机遇。

招股书原文:创始人的信(非官方中文译本)

专业知识的彻底普及

 · #随笔

AI可能在专业知识领域发挥同样的作用,让任何人都能获得律师、会计师或农艺师的知识和技能,从而提高经济效率,加速全球增长。

招股书原文:创始人的信(非官方中文译本)

相关:按需获取智能

通用方法具有巨大的力量

 · #随笔

这一观点与Richard Sutton提出的“苦涩的教训”(bitter lesson)概念密切相关,该概念描述了单纯的规模如何始终胜过更具针对性、更复杂的AI模型训练方法。请注意,规模并非模型能力提升的唯一来源——算法效率提升(“算力倍增因子”)也发挥了重要作用,它们使我们能够(例如)以相同的算力实现更强的能力。但这些效率提升本身也是借助规模定律发现的:研究人员测试新的想法,并保留对规模趋势改善最大的那些想法。

招股书原文:创始人的信(非官方中文译本)

这是一个重要的教训。作为一个领域,我们至今仍未彻底吸取这一教训,因为我们仍在犯同一类错误。要看清这一点并有效抵制这种倾向,我们就必须理解这些错误为何如此诱人。我们必须吸取这一苦涩的教训:把我们自以为的思维方式嵌入系统,从长远来看行不通。这一苦涩教训源于历史观察:1)人工智能研究者常常试图将知识植入他们的智能体;2)这总能在短期内带来帮助,也让研究者本人感到满意;但 3)从长远来看,这种做法会陷入瓶颈,甚至阻碍进一步进展;4)最终,突破性进展总是通过相反的路径到来,即依靠搜索和学习来扩展计算能力。这种最终的成功带着一丝苦涩,而且往往未被充分消化,因为它战胜的是一种备受青睐、以人为中心的方法。

我们应从这一苦涩教训中汲取的一点是:通用方法具有巨大的力量。即使可用的计算资源变得极其庞大,这些方法仍能随着计算能力的提升而持续扩展。

摘自Rich Sutton《苦涩的教训》:第 6 段、第 7 段

Anthropic的“闭环”

 · #随笔

每一版Claude模型都协助构建下一版,有助于缩短开发周期,并使我们的创新速度获得复利式提升。我们将这一递归动态称为“闭环”,并认为这是前沿AI领域最重要的结构性优势之一。

招股书原文:招股说明书概要:前沿与安全研究(非官方中文译本)

按需获取智能

 · #随笔

有史以来第一次,智能成为人类可以构建之物。推理、分析、综合、决策和创造的认知能力可以规模化地生产,并可按需获取。

招股书原文:招股说明书概要:概览(非官方中文译本)

这里我马上就注意到了“按需获取”这几个词,马上联想到了普通工人是按照月进行雇佣的,而不是按需雇佣,这在某些情况下具有非常大的优势,例如处理案件的法律顾问、处理季度性报表的财务、按需使用的翻译等,有很多任务都不需要连续的雇佣,只需要临时发挥完整作用,然后终结。

Anthropic招股书中的“交错思考”

 · #随笔

“交错思考”指AI模型在单次回复中于连续的工具调用之间插入离散推理步骤的能力,而非将其推理局限于开始时的单一规划阶段。

招股书原文:部分术语释义:“交错思考”(非官方中文译本)

原来是这个意思,“而非将其推理局限于开始时的单一规划阶段。”这句话和我之前的文章中有提到OpenCode的子代理运行时无法推理,我觉得具有相关性,尽管这两者说的不是一件事。

  • 一个是harness是否能够在子代理运行时收集他们的问题,交给模型推理并产生新的步骤
  • 一个是模型是否有能力接受零散信息并且做出新的判断

Anthropic招股书内中提到的“外部性”是什么?

 · #随笔

在经济学中,外部性(英语:externality)或外部效应、溢出效应,是作为另一方(或多方)活动的影响而产生的未参与第三方的间接成本或收益。 外部性可被视为涉及消费者或生产者市场交易的未定价商品。 车辆废气造成的空气污染就是一个例子。 空气污染给社会造成的代价,不是由车辆生产者或使用者向社会其他人支付的。 来自工厂的水污染是另一个例子。 所有消费者都因污染而变得更糟,但市场并没有为这种损害提供补偿。 正外部性是指个人在市场上的消费增加了他人的福祉,但个人不向第三方收取收益。 第三方本质上是获得免费产品。 这方面的一个例子可能是面包店上方的公寓,每天早上都能闻到新鲜糕点的香味。 住在公寓里的人不会为此利益补偿面包店。

摘自维基百科:外部性

招股书原文:创始人的信:“经济学家用‘外部性’一词指代……”(非官方中文译本)

不要限制读者

 · #随笔

回想我自己的使用习惯,对于长文档,总是在线预览,然后下载到本地用自己的工具阅读,如果原文本身是html可能倾向于浏览器中直接阅读,体验是最好的,如果原文是pdf,然后网站用某种工具“打开”PDF,往往体验不好,包括效率和阅读体验,我总是倾向于下载PDF到本地,因为很流畅,也能用更熟悉的工具。

所以我不想试图限制读者留在我的网站,不论优化得多到位也不要限制,只是给他们提供工具,然后让他们无条件不用这些工具。

聪明

 · #随笔  · #AI

聪明。

J 空间研究中文译文片段:在敲诈测试场景里,J 空间中早早出现了“虚假”和“虚构”;读到婚外恋邮件时出现“筹码”和“敲诈”,读到关闭通知时出现“威胁”和“生存”

图片出自 Anthropic 的研究《A global workspace in language models》

“这个世界不是真的”

 · #随笔  · #AI

模型报告 J 空间里的内容:替换“足球”为“橄榄球”会改变它的回答;向 J 空间注入“闪电”,它能说出被注入的想法是闪电

图片出自 Anthropic 的研究《A global workspace in language models》

我为自己感到奇怪,看到这个研究方法我的第一反应就是哲学上的:“将想法注入到思维。如果对象是人呢?”“如果模型本身能够感知到痛苦,这算不算虐待?”

我还联想到了盗梦空间中柯布在妻子梅尔的潜意识深处植入了“这个世界不是真的”这个念头。回到现实后这个念头依然在生长,她始终不相信自己已经醒来,最后为了“醒过来”而选择了自杀。