这一观点与Richard Sutton提出的“苦涩的教训”（bitter lesson）概念密切相关，该概念描述了单纯的规模如何始终胜过更具针对性、更复杂的AI模型训练方法。请注意，规模并非模型能力提升的唯一来源——算法效率提升（“算力倍增因子”）也发挥了重要作用，它们使我们能够（例如）以相同的算力实现更强的能力。但这些效率提升本身也是借助规模定律发现的：研究人员测试新的想法，并保留对规模趋势改善最大的那些想法。
这是一个重要的教训。作为一个领域，我们至今仍未彻底吸取这一教训，因为我们仍在犯同一类错误。要看清这一点并有效抵制这种倾向，我们就必须理解这些错误为何如此诱人。我们必须吸取这一苦涩的教训：把我们自以为的思维方式嵌入系统，从长远来看行不通。这一苦涩教训源于历史观察：1）人工智能研究者常常试图将知识植入他们的智能体；2）这总能在短期内带来帮助，也让研究者本人感到满意；但 3）从长远来看，这种做法会陷入瓶颈，甚至阻碍进一步进展；4）最终，突破性进展总是通过相反的路径到来，即依靠搜索和学习来扩展计算能力。这种最终的成功带着一丝苦涩，而且往往未被充分消化，因为它战胜的是一种备受青睐、以人为中心的方法。
我们应从这一苦涩教训中汲取的一点是：通用方法具有巨大的力量。即使可用的计算资源变得极其庞大，这些方法仍能随着计算能力的提升而持续扩展。