如果已经赢了

 · #随笔

Ankur Moitra:如今我们的社会太多地围绕着赢、围绕着纸面上好看,而我总在想:图什么呢?你从高中开始,一进校门就可以开始优化你的AP课程和课外活动,好进名校。进了名校,你可能会逃课,因为也许更重要的是准备面试,好进一家前沿实验室,然后拿到一笔不错的限制性股票,过完这一生。这很好。你赢了。你每个阶段都赢了,可那又怎样?

对我来说,过上丰富而充实的人生,最好的办法就是假装你已经赢了,然后想想在那种情况下你会做什么。我记得刚到MIT当教员时得到的建议,Sanjeev Arora对我说:“拿到终身教职最简单的办法,就是假装你已经有了,然后去做你一直以来想做的事。”

我不知道这个建议是否也适用于研究生、高中生,但我觉得我的建议还是一样:假装你已经拿到终身教职了,你现在会做什么?因为我们在给建议的这些人,其实有非常多不同的机会。找到你真正相信的东西,是我所知道的获得充实感的唯一途径。

……

Lex Fridman:我觉得Ankur说的话里有很多智慧。你可以被这种恐惧压得动弹不得,也可以想象:“我已经赢了。一个已经赢了的人,在这种处境下会怎么做?”这会减轻恐惧,它实际上会给你不确定之下的最优路径。

摘自Lex Fridman播客第503期视频(3:27:58起),英文原文见官网转录稿,中文为本站译文。

让我惊讶的是,“假装某个目标已经达成,你会做什么”这个方法,我之前也用过。这是一个很好的思考方法,能够想清楚你真正想要什么,而不是被种种约束条件推着走。

学习数学和学习

 · #随笔

Alex Kontorovich:我一直在和AI系统对话,学数学比我原本能做到的快得多。因为数学的写法是这样的:我有时给研究生一篇论文让他们读,一周后他们回来,我问:“读到哪儿了?”“说实话,没读过第一页。”“哦,是吗?说说看。”“呃,其实连第一段都没读过去。”我说:“好吧,为什么?”“第一句话是‘由非局部系统的微扰理论’,这里面的东西我一个都不懂,所以就卡在那儿了。”我说:“好,你不会读数学论文。你应该跳过开头几段,直接去看,比如说,引理3。从那里开始动手,再倒推回去,弄清楚整篇在做什么。”

但将来不会再有“我不知道这是什么意思”了,因为你只要把论文上传给大语言模型,开始向它提问,它就会精准地找到你的“最近发展区”:这是你已经知道的一切,这是你接下来需要听到的东西,于是你就开始学起来了。如果人们用得好,就能真正给自己的学习加速。我说的不只是孩子,也包括我这样的老古董,也能学新领域。要学一个领域,就像我们的研究生正在经历的那样,他们得把自己的大脑彻底重新布线。学数学仍然很难。

一直到读完硕士、进入博士阶段,都不要求你提出新的数学理论。他们能做的每一件事,都写在某本教科书里。可即便如此,要学会解出很多别人都能解的问题,仍然极其、极其困难,更不用说那些还没人解决的问题了。所以学数学很难,学新的数学更难,至于发现数学、给数学问题找出解法,就更不用说了。但我认为这会变得更容易,这个工具会成为一种了不起的资源,让人们更快地进入那个最近发展区,更快地加深理解。

Lex Fridman:是啊,我在一些我甚至都不……的领域里玩得特别开心。我真想带着现在这些工具回去读研究生。不过我的大脑喜欢的一种学习方式,是构造直观的例子、玩具例子,也就是仍然包含那个核心洞见的最简单的例子,尤其是能交互的。比如我能动手拖动点什么,就会“哦”一下,马上明白了。所有这些学界约定了含义的词,你应该懂的所有记号,诸如此类,只要我知道这个小符号是这个意思,哦,好,明白了,然后一切就都对上了。

而且你会爱上这门学科,我觉得自己可以去碰任何完全在我领域之外的问题。比如我能弄懂蛋白质折叠,我能去调参数、去玩。我能拿一篇DeepMind的论文,抓住其中任何一个方面去玩,想想最简单的例子是什么,问些前面说过的那种像嗑嗨了一样的疯狂问题,就真的能看懂。所以,是的,这太有意思了。问题在于人们有没有学习的动力。这才是难题,是人的动力问题。这才是真正的问题。

Steven Brunton:这里的关键要素是好奇心、会问好问题,还有能识破胡扯。也就是那种……当参谋的批判能力:在自己不是专家的领域获取信息,并判断是需要深挖下去还是提出反驳。我觉得,总会有人好奇、有人不好奇,有人会问好问题、有人不会。我们得比以往任何时候都更大力地提倡这些。让我有点害怕的是,我们指望本科生、年轻学生在学习阶段、大脑还没完全发育成熟的时候,就去和这些工具打交道。我们要求他们具备批判性的……不只是自己的批判性推理能力,还要有当参谋的能力:怎样接收信息并判断真假,或者怎样质疑它?这对我们的教育来说是一项巨大的任务:怎样在人们还是孩子的时候,就培养出好的参谋能力?

Lex Fridman:是啊,我觉得最难的不是本科,最难的是初中,因为……作业是从什么时候开始变难的?到了那个时候,为什么还要做作业?

Steven Brunton:这就是诱惑所在,对吧?

Lex Fridman:那东西直接就……我是说,你看,我之所以懂得了做难事的价值,是因为吃过那些苦,但我觉得那是因为我被逼着去做。可如果因为大语言模型能做、AI能直接帮你,你就不必被逼着去做,我不知道那会造就一个什么样的社会。

Alex Kontorovich:但在这个问题上,数学起步最早,因为计算器是多少年前出现的,70年前?我们仍然让孩子背乘法表。至少我们当中有些人还这么做。而那些说“不用,孩子不需要背乘法表”的人,只要老师和孩子真听了、没去学……那些孩子就真的吃了苦头。因为有人说计算器能算、所以不需要会乘法表,造成了大量大量的痛苦。我希望我们能从中吸取教训:就算计算器能做,你自己也会做的话,会好得多。这并不是说我要算什么东西时不去拿计算器,我当然会拿。

但原则上我自己也能算,正是这一点让……每次你让自己具备一项技能、掌握一项技能。孩子们喜欢掌握技能。他们第一次学会系鞋带时有多开心?你可能觉得:“不就是鞋带吗,谁在乎?”不,那是世界上最棒的事。你想为每一点点独立而庆祝,你希望自己能够思考,你希望不依赖机器。机器能做某件事,并不意味着你不想拥有自己做这件事的能力。

摘自Lex Fridman播客第503期视频(3:11:34–3:17:45),英文原文见官网转录稿,中文为本站译文。

这段话非常元,也非常有启发性。他们提到的这种元认知的学习方式,本身就值得学习;他们说到的AI时代带来的变化,也很有价值。

信任和赌注:AI适合的地方

 · #随笔

Alex Kontorovich:但也正因为如此,我们并不想把那么多决策——远远没有那么多——交给这些系统去做。

Steven Brunton:是的,对于安全攸关、影响重大的决策,我们已经有现成的基础设施和规程:有美国联邦航空管理局(FAA),有美国医学会,有律师协会,管着这些影响人的事情。我思考怎样把AI纳入整个世界的一般流程时,会看两条轴:一条是我们有多信任它的输出,也就是可验证性或可信度;另一条是,如果它错了,代价有多高。AI吐出一个错误的证明,不会有人因此断电,没关系,所以代价很低。而且证明其实极易验证,你很快就知道它对不对,错了代价也低。所以完美的用例,是这种开放式的设计空间。设计一辆更好的车,比如风阻更低、更省油的车型:就算它给出的设计是错的,代价也低,因为你总可以把它放进风洞里测,验证到底行不行。

所以像设计优化这样的领域非常适合AI,而我们人类必须非常小心,不要滑进——我们需要一道防火墙,划清哪些东西真正需要验证。我们有规程,有体系,有法律体系,有用于验证的基础设施。但这是我们必须认真考虑的事。如果我们变懒了……我们可能会——这是一道很滑的斜坡。我们需要那道防火墙。

视频里的幻灯片:信任和赌注,AI 适合的地方

摘自Lex Fridman播客第503期视频(3:02:13起),英文原文见官网转录稿,中文为本站译文,图为视频 3:03:30 的画面(图中文字由本站译成中文)。

一种不错的分类和思考AI应用范围的方式。

秘书问题的启发:先探索,再决策

 · #随笔

Ankur Moitra:它是这样运作的:这是所谓“在线算法”的一个例子。你面前依次出现一串选项,从1到N,每个时间步来一个。你的目标是……每当有人出现,你知道他和此前见过的所有人相比排第几,但不知道他和后面还没来的人相比排第几。

你的目标是,在每个人出现时就做决定:是定下他,还是让他走,并且要让自己有很大机会找到绝对最好的那个人选。关键在于,你确实可以得到一个竞争比为常数的算法:最好的策略是先等一段时间,不做任何决定,谁都不接受;等这段观察期过去,就选第一个比此前见过的所有人都好的人。这会给你一个不错的竞争比,也就是说你能证明定理:假设输入以均匀随机的顺序到来,和事先就知道整个输入序列相比,你很可能做得相当不错。

摘自Lex Fridman播客第503期视频(2:44:30起),英文原文见官网转录稿,中文为本站译文。

它真正的启发是,先探索以建立基准,再转向决策,而且不要等到最后才选。37%这个具体数字只适用于经典模型,只能当作直觉。

这可能是一个很有用的工具,但使用前也要清楚它的局限,避免落入其中。

长远思考

 · #随笔

Ankur Moitra:我还觉得,学生们对发表论文的前景太焦虑了,以至于最难的事情之一是:我构思一个项目时,其实是在用好几年的时间跨度去考虑它,因为我心里有一个想要实现的更大的愿景,比如:怎样把学习理论的技术用到量子多体系统上?通往那里的路上有很多垫脚石,而一些最激动人心的问题,还在很多年之后。可是学生们太担心即将到来的AI浪潮了——工作的未来、全民基本收入、我们还会有工作吗?于是他们真正考虑的是三个月、六个月的时间跨度。这样一来,就很难找到我们都关心的问题,因为……你知道,我们想的是两个不同的世界。

Lex Fridman:你不觉得我们应该鼓励他们继续做长远的思考吗?我是说,我理解……

Ankur Moitra:哦,我当然这么想,但他们不一定听你的。我是说,我不知道自己是对是错,也许AI会解决我们所有的问题,但看起来,此时此刻真正值得我们去做的,只有那些再过好些年我们仍然会关心的问题,你只应该去做经得起未来考验的问题。如果你做的事情让你很着急,因为你觉得下一代模型肯定会解决这些问题,那也许干脆去度个假,别去解决那个问题了。

摘自Lex Fridman播客第503期视频(2:25:46起),英文原文见官网转录稿,中文为本站译文。

自从AI浪潮带来的冲击以来,我似乎忘记了自己曾经思考类似问题的能力,这是一种非常好的思考方式,应该试着捡起来。

币安被黑客攻击事件再一次证明了Anthropic是对的

 · #随笔

虽然截止2026年10月30日没有证据表明此次币安被黑客攻击事件和AI有关,但我相信是相关的,我认为黑客有不小的概率使用AI直接或者间接的参与了攻击。

作为一名工程师,我完全知晓黑客利用AI发动便捷的大规模攻击是可能的,因为黑客攻击本质上就是找软件的漏洞,在过去这通常需要高度依赖于人力高成本实施这一过程,而AI最擅长的就是不厌其烦、多线程、行级代码的阅读代码以发现漏洞。

由于计算机软件非常复杂,黑客完全可以使用各种技术手段直接或者间接的绕过明面上的围栏,制定一套非常严格的围栏是必要的,所以我认为Anthropic严格限制用户进行黑客攻击行为是合理的,尽管有的时候限制的过于严格。当然,在全世界被大规模黑客攻击之前这些看起来是过于严格的。

还有一类攻击是Anthropic反复提到,但是我不了解并且或许公众还没有受此承担过后果的,就是化学武器攻击,鉴于两大围栏之一的黑客攻击围栏为真,我愿意相信另一项围栏的攻击可能也为真,就是化学武器攻击,比起黑客攻击,这一类恐怕在大部分情况下更具备危害性,可能其他AI研究主体早就为此设立了围栏,但至少Anthropic在公众领域上看上去是最深入的,这有助于建立公众对Anthropic的信任,再包括前者黑客攻击后果的应验将加强这种信任。

从长远来看,我认为Anthropic采用的安全为主的战略是被低估的,是有效的,人们会更倾向于使用对安全负责的产品,而不是不负责任的。

每一次其他公司产品出现类似事故都会推高公众对Anthropic的信任,这看上去有一些黑暗,因为别的公司出事是对Anthropic有利的,但不管怎么说,这会使得公司和公众会更加信任Anthropic,其他AI公司可能会模仿Anthropic的做法,这从整体AI安全来说是好的,是对的,但此外,这可能会形成类似于“苹果”和“安卓”的格局,Anthropic是“苹果”,其他公司是“安卓”,安卓可以很多点都做得比苹果好,但是都是基于苹果的设计理念演化而来,但安卓永远成为不了苹果,他们会失去自己品牌的锐利性和独特性。

希望其他公司早些意识到这些,加大对安全领域独立研发投入,投入规模需要和Anthropic持平或者更高,只有这样才能真正意义上和Anthropic进行全面竞争,否则只能是做追随者,而不是竞争者。

AI正在变革智能

 · #随笔

AI正在变革智能

我们相信,强大AI——一种能力极强、影响深远的前沿AI形态,具有以下关键特征——将在数年内得到广泛普及:

  • 在大多数专业和科学学科中,认知能力达到或超过顶尖人类专家;

  • 能够操作远程办公的人类可使用的所有界面,包括文本、音频、视频及直接的计算机控制;

  • 能够在较长时间内(持续数小时、数天或数周)自主推理完成复杂任务,并在需要时寻求澄清和反馈;

  • 能够在多个实例之间进行协调,并与人类及其他AI系统协作;以及

  • 能够通过数字连接以数字方式控制实验室设备、机器人系统及其他机器,从而与物理世界交互。

如果强大AI被用于解决人类最棘手的问题,且其风险得到负责任的管理,其潜力将是非凡的。其可能性包括:将数十年的科学进步压缩至数年之内;加速药物发现、疾病检测及个性化疗法的提供;提供个性化定制的教育以及专业的财务和法律建议;推进电网和电池设计以提高效率和可靠性;以及将富裕国家耗费数代人才建立起来的能力推广至发展中国家。

招股书原文:招股说明书概要:AI正在变革智能(非官方中文译本)

我基本认同,尤其是“在大多数专业和科学学科中,认知能力达到或超过顶尖人类专家;”这句话,如果AI可以解决数学问题(前段时间看到的千禧年问题之一“纳维-斯托克斯”被解决),那么还有什么专业问题是AI不能解决的呢?

数学一直被认为是人类智慧能解决的难题之极,如果此问题都能被解决,那么其他依赖于智慧的问题还有什么理由不能被解决?

围绕企业需求

 · #随笔

企业战略。我们的企业战略建立在这样一种信念之上:前沿AI在现实世界场景中最具价值,因为在企业中的部署是经济影响最大、来自客户反馈的改进循环最丰富的地方。因此,我们围绕企业用例(从日常知识工作到最复杂的问题)来组织我们的研究重点、产品路线图以及市场推广(go-to-market)团队和应用AI团队。我们收集的客户反馈指引我们的研究方向,并使Claude随着时间推移能力日益增强。这拓宽了Claude可部署的领域,并进一步扩大企业采用,从而有助于确保我们AI的益处能够规模化地惠及个人和组织。

招股书原文:招股说明书概要:概览(非官方中文译本)

换句话说,企业的意见很重要,且主要围绕企业需求进行优化和开发。

Anthropic动态算力平台

 · #随笔

我们将来自多个战略合作伙伴的算力作为单一的可互换资源池进行管理,并根据在任一特定时点边际单位算力预计在何处最具生产率,在各工作负载之间动态调配可用算力。

招股书原文:招股说明书概要:我们的算力策略(非官方中文译本)

换句话说,他们构建了一个动态算力平台,消费端需要更多算力就多调配给消费端,空出来就给研究和训练。

我们通过研究突破以及横跨AWS Trainium、Google TPU、NVIDIA GPU和AMD GPU的多芯片算力架构实现了这一点,使我们能够编排工作负载以优化价格与性能。

招股书原文:招股说明书概要:我们的算力策略(非官方中文译本)

并且是跨硬件平台的统一动态算力平台。

技术的两面性

 · #随笔

构建AI就是驾驭认知本身,而任何如此强大的事物既可用于行善,也可用于作恶。

招股书原文:创始人的信(非官方中文译本)