本次访谈中，OpenAI 的研究员丹·罗伯茨参与商讨。丹·罗伯茨之前曾在红杉成本担任研究员，之后加入 OpenAI，专注研究东谈主工智能（AI）与物理学交织的领域。访谈主题主要聚合在物理学如何为 AI 的发展提供新视角，并探讨关系常识在其中所施展的进犯作用。丹具有深厚的物理学配景，并竭力于于将物理学道理当用于 AI 的发展，以支吾关系研究中的挑战和已毕突破。

在访谈中，丹商讨了物理学对智能爆炸的物理极限和扩展公法的限度，以及如何将 AI 与物理学、数学等领域已毕深度交融。他认为，物理学的步履论有助于更深入地认识神经积攒的运行机制，并能够预感 AI 畴昔的发展后劲。

丹·罗伯茨的中枢不雅点如下：

东谈主工智能的后劲与历史性时刻：丹·罗伯茨将现代东谈主工智能的发展比作20世纪40年代的曼哈顿推敲，强调了OpenAI在鼓动AI领域发展的中心作用。他认为，AI领域如同当年的曼哈顿推敲一样，眩惑了弥远物理学家转而投身其中，这标明了AI的历史性时刻和对畴昔科技发展的巨大后劲。物理学与东谈主工智能的交叉：丹·罗伯茨共享了他的配景，从物理学到对东谈主工智能的意思，他探讨了物理学如何为认识AI提供洞见，包括智能爆炸的物理极限和神经积攒的认识。他强调了物理学家在AI领域的私有孝敬，以及物理学的步履论如何适用于大领域机器学习系统的研究。微不雅视角与系统级视角在 AI 中的应用：他通过热力学的比方，解释了微不雅视角和系统级视角的意见，并商讨了如何将物理学中从微不雅到宏不雅的念念维方式应用于深度学习系统。这种步履有助于咱们认识复杂系统的行径，从而在AI领域取得进展。AI 的畴昔与发展：丹·罗伯茨对AI的畴昔合手乐不雅立场，他认为尽管存在挑战，但科学的跳跃将使咱们能够更好地认识AI系统。他提到了领域和创意的均衡对于AI发展的进犯性，并对AI在物理学和数学等领域的应用抒发了期待。同期，他也提到了AI领域可能濒临的经济和资源限度，以及对AI系统可解释性的追求。

以下是本期播客内容的完竣翻译，咱们作了不改变原意的删减。

物理学与机器学习

丹·罗伯茨（Dan Roberts）

在 20 世纪 40 年代，许多物理学家纷纷加入曼哈顿推敲，即便他们蓝本从事于其他使命。那是一个额外值得加入的推敲。如今，东谈主工智能领域就像其时的曼哈顿推敲，而 OpenAI 正处于如斯中心的位置。因此，未必咱们不再需要寰球部门来组织一个肖似曼哈顿推敲的神色，因为 OpenAI 照旧能胜任这一方针。

桑娅·黄（Sonya Huang）

本期嘉宾是丹·罗伯茨（Dan Roberts）。他曾是红杉成本（Sequoia）的研究员，最近加入 OpenAI 担任研究员。在本次录制时，丹行将收尾在红杉成本的使命，但其时他还不知谈我方将成为神色 O1（也称为“草莓”）的中枢孝敬者。丹是一位量子物理学家，他在本科阶段研究了隐形大氅手艺，后于麻省理工学院（MIT）取得博士学位，并在着名的普林斯顿高等研究院（Princeton IAS）完成博士后研究使命。

丹在物理学与东谈主工智能的交叉领域有着庸俗的研究和撰写。本期咱们但愿从丹那处了解两个主要问题：起首，物理学不错教学咱们对于东谈主工智能的哪些常识？智能爆炸的物理极限以及扩展公法的极限是什么？咱们如何能够更好地认识神经积攒？其次，东谈主工智能能教学咱们对于物理学、数学以及全国运作方式的哪些常识？额外感谢你今天加入咱们的访谈，丹。

丹·罗伯茨（Dan Roberts）

感谢今天有契机来到这里，也许这会是我在 Sequoia 的倒数第二天。具体时辰取决于这段灌音的播出时辰以及你们的商讨方式。

帕特·格雷迪（Pat Grady）

丹，你真切齐是红杉眷属的一员。

丹·罗伯茨（Dan Roberts）

额外感谢你，我额外谢忱。

桑娅·黄（Sonya Huang）

不妨从一个浅易的问题脱手，给咱们先容一下 Dan 是个若何的东谈主吧。我牢记你有一个十分令东谈主沉溺的配景故事：大学时你也曾研究过隐形大氅。是什么促使你聘任成为别称表面物理学家的呢？

丹·罗伯茨（Dan Roberts）

我一直以来在这个问题上保合手一致的回应，因为我信赖这照实是事实。小时候，我是个绝顶酷爱、总爱问“为什么”的孩子。面前，我有一个 19 个月大的孩子，他老是随着洗衣机修理工，非要望望洗衣机的里面是什么样的。是以，我以为我方保留了这种酷爱心。当你更倾向于定量念念考而非玄学念念考时，我认为你会更怜爱物理学。

这个领域恰好让我感意思：全国是如何运作的？这些外界的事物是什么？也许你莫得问的问题，我提前回应一下，就是内向念念考似乎不那么定量，更偏向东谈主体裁科。像“这些东西是什么？”这么的命题很合乎物理学，而“我是什么？我是谁？行动我意味着什么？”这些问题看起来不太科学。可是，有了东谈主工智能，咱们似乎不错使用某种相通的框架来念念考智能是什么以及肖似的问题。这让我感到额外昂扬。

桑娅·黄（Sonya Huang）

您是从什么时候初始关注东谈主工智能的？是什么促使您产生了这个想法？

丹·罗伯茨（Dan Roberts）

起首讲和算计机时，像许多东谈主一样，我渴慕了解其使命道理及编程步履。在本科期间，我选修了一门东谈主工智能课程，其时那是一门额传说统的课程。该课程中的许多意见如今又变得关系起来，但在其时，它们的实用性不高。课程内容主要波及“如果-那么”逻辑。课程中也探讨了一些对于游戏的主题，尽管道理，却显得过于算法化，与认识智能关系不大。

帕特·格雷迪（Pat Grady）

咱们能快速商讨一下这个问题吗？您认为智能的含义是什么？

丹·罗伯茨（Dan Roberts）

这个问题莫得圭臬谜底，但我认为要害在于不要发表无风趣的话。AI 让我感到昂扬的极少是，它能够师法东谈主类的行径，况且不错通过几行 Python 代码来展示这些系统为何扩展某种操作。咱们不错跟踪代码，了解它们的输出，以及系统如何识别和分类事物，比如判断什么是猫，什么不是猫，或者如何写诗。这些齐只需要几行代码。

而研究东谈主类本事的运作，则需要从生物学、神经科学到心理学，致使波及更高等次的步履。因此，我认为对智能的认识，至少在我感意思的领域，是看东谈主类所作念的事情。回来一下我先前提到的谜底，这就是我将其与 AI 辩论起来的方式。AI 正在模拟东谈主类行径的一部分，通过一个相对浅易且易于研究的例子，使咱们能够更好地认识东谈主类的行径。

桑娅·黄（Sonya Huang）

是以，丹，你提到过在大学学习 AI 时，许多内容主要依赖于硬编码逻辑和蛮力步履。有哪个时刻让你坚硬到，这些步履照旧发生了变化吗？有莫得什么要害的间隔或时刻让你以为，咱们正走向一个特出传统“如果这么，则那样”逻辑的更先进的畴昔？

丹·罗伯茨（Dan Roberts）

事实上，其时我并莫得简直认识它，因此有些冷漠。也许再过十年回头看后续发展，我会有更深的相识。不外，这种穷乏意思的情景只合手续了一两年。期间我赶赴英国攻读研究生学位，渡过了漫长的研究生生涯。在那段时辰，我讲和到了机器学习以及一种更具统计导向的东谈主工智能步履，这种步履依赖于多数的案例或数据。其时可能不称之为“大数据”，但咱们会说这是专门针对特定任务的数据样本。机器学习有多种已毕方式，其中包括开发生动的算法来顺应这些案例，从而在某种进度上师法示例中的操作。这种步履吸取了许多物理学的念念想。

我于 2009 年大学毕业，在 2010 年和 2011 年时发现了机器学习，而 2012 年则被视为深度学习取得紧要突破的一年。是以对我而言，从废弃到再行发现的时辰并不长。而骨子上，机器学习在 2009 年就照旧存在。固然其时它与我所修课程无关，但这种步履额外契合我的科学认识框架，让我倍感昂扬，并运气地见证其骨子进展。

桑娅·黄（Sonya Huang）

为什么有那么多与你配景或阅历相似的东谈主呢？许多从事过物理学的东谈主转而在东谈主工智能领域使命。这是恰恰吗？是从众效应吗？或者你认为是否有某种成分让物理学家绝顶稳妥认识东谈主工智能领域？

丹·罗伯茨（Dan Roberts）

在各个方面，我对这个问题的回应齐是投诚的。物理学家涉足许多不同的学科，尝试用咱们的步履处罚问题，有时会因此遭到揶揄。从历史上看，物理学家对许多口头上属于机器学习的领域作念出了孝敬。我认为短期内，当物理学家离开学术界时，平日会转向量化金融，接着是数据科学领域。机器学习在工业界的应用让我感到昂扬，因为它很像简直的物理学，它在处罚对许多东谈主来说额外道理的问题。进行这个对话是因为你对 AI 感到昂扬，而每个东谈主齐对 AI 感到昂扬。在许多方面，这与东谈主们研究的物理问题相似。

但我认为，物理学的步履与传统算计机科学的步履骨子上是不同的，额外稳妥用于研究咱们在 AI 中使用的大领域机器学习系统。 传统的物理学中，表面与实验之间有着密切的互动。平日，咱们会基于表面直观建议一些模子，然后通过实验来考据这些模子。这种数据汇集与表面构建之间的细腻反馈机制促进了认识的跳跃，并使咱们得出了一些额外具有解释力的表面。

我认为，大型深度学习系统的运作也存在这么的细腻反馈轮回，不错进行许多实验。 咱们使用的数学步履与许多物理学家所老到的额外相似。因此，许多物理学家天然会参与到这个领域。此外，这些用具与传统的表面算计机科学和机器学习研究步履有所不同。它不单是是提高成为优秀工程师的才气，还波及成为科学家的才气。进行科学研究所需的用具匡助咱们更好地研究这些系统。

帕特·格雷迪（Pat Grady）

Dan，你撰写了一篇精彩的著作，题为《黑洞与智能爆炸》。在文中，你商讨了从微不雅视角到系统级视角的养息，以及物理学如何简直匡助东谈主们从系统级视角进行念念考。这种念念维方式在认识复杂系统时提供了互补的上风。你能否浅易解释一下什么是微不雅视角和系统级视角，以及物理学对咱们认识宏不雅层面事物的影响？

丹·罗伯茨（Dan Roberts）

让我用一个比方来解释，这个比方未必比浅易的类比更深入。梗概两百年前的工业创新时期，蒸汽机和蒸汽能源的出生催生了许多手艺，最终鼓动了工业化初期的发展。东谈主们对蒸汽机进行了多数的工程研究，并愚弄一种高等次的表面来解释其使命道理，即热力学。我想许多东谈主在高中时可能齐学过这个表面，比如瞎想气体定律告诉咱们压力、体积和温度之间的关系。

这些齐是宏不雅的意见，比如你不错用温度计测量房间的体积，也不错用气压计测量压力。天然，东谈主们也许不会专门这么作念，而是检察天气预告。但咱们知谈，这些步履是咱们进行测量和商讨的用具。可是，在这种宏不雅配景下，还存在着原子和分子的意见。空气中的分子四处碰撞，面前咱们认识到这些分子的灵通导致了诸如温度、压力和体积等物理特色。我想东谈主们很容易认识气体和分子在房间里被限度的情况。

骨子上，有一种精准的统计学步履不错将这些微不雅分子的行径推导出热力学公法，比如推导出瞎想气体定律。你也不错坚硬到它是“瞎想”的，骨子上并不全齐准确，因为这只是一个简化模子。咱们不错通过微不雅视角对其进行修正，尽管咱们在日常生涯中不会平直看到或讲和到这些分子，但它们的集体统计特色导致了宏不雅层面的物理怡悦。

回到你的问题，我认为在深度学习系统中有肖似的情况。我与 Sho Yaida 和 Boris Hanin 合著了一册书，商讨如何将这些想法应用于深度学习，至少尝试用一个初步的框架进行这种应用。回应你的问题，从微不雅角度来看，神经元、权重和偏置是其中枢要素。咱们不错注释探讨这些组件的使命道理，但在斟酌架构时，有东谈主会将其比作电路。它们以额外具体的方式存在，接收输入信号，比如图像或文本，并波及多数参数。即即是机器学习库的已毕，只需几行代码。这个层面上，它们是一组额外浅易的方程式，但需要多数的权重和数值输入来展现系统的推崇。

这肖似于分子的视角，而宏不雅视角则关注系统的输出间隔——比如创作了一首诗，或者处罚了总计数学题。咱们如何从这些权重和偏置转动为宏不雅视角？就像从统计物理到热力学一样，咱们对它有一个全面的认识。通过肖似的步履，你不错尝试从这些微不雅统计行径去认识模子的底层是如何导致咱们所不雅察到的系统层面或宏不雅视角的推崇。

简直的谜底在于领域和想法的均衡

桑娅·黄（Sonya Huang）

Dan，你可能还牢记，在“AI Ascent”行为上，Andre Karpathy 提到，现时的 AI 系统在遵守上比拟生物神经积攒要低五到六个数目级。

桑娅·黄（Sonya Huang）

你如何看待这个问题？你认为仅靠摩尔定律和更高效的硬件组合就能已毕方针吗？照旧说你认为研究中需要一些紧要的突破？

丹·罗伯茨（Dan Roberts）

这里可能有两层风趣。起首，东谈主类在某种进度上似乎比 AI 系统更高效。 咱们不需要讲和数万亿个词汇就能启齿言语。比如，我的孩子照旧初始说完竣的句子了，而他听过的词汇远远少于一个典型的大型语言模子。因此，东谈主类学习的遵守与大语言模子的使命方式存在某种脱节。天然，它们是全齐不同的系统，学习的方式也天壤之隔，是以在某种进度上这是不错预感的。因此，这里存在一个不错勤奋弥合的领域。

另一个可能的风趣，不笃定您是否指的是这个，但值得商讨扩展假设的问题。我在著作中提到过这极少，许多东谈主也在指摘这个问题。那么，最终的 GPT 是什么？比如面前有 GPT-4，其他公司可能也有肖似的居品。但因为我要加入 OpenAI，是以以新公司的口头来看，会有 GPT-6 吗？照旧在某个时候会进化到 GPT-7？如果假设需要不停扩展，会出现一些问题，比如经济原因：咱们可能尝试检会出一个比全国 GDP 或全球分娩总值还大的模子，或是耗尽资源，如 GPU 的分娩不及或者资源使用面积的限度等。这些问题最终可能会导致崩溃。未必一初始会遭逢经济问题，在咱们简直能够实用地扩展之前，咱们还能进行些许次迭代？这又将把咱们引向何方？

我认为，将这两个不雅点辩论起来的步履是关注领域问题。 尽管东谈主们正让事情变得更高效，但如果仅是从起首的 GPT-2 不停扩展领域，能否带来某种经济后劲或界说 AI 研究、AI 初创公司和工业中 AI 的最终情景？照旧需要许多新的、野蛮东谈主心的想法？天然，这些问题骨子上难以透顶分开。但一般的扩展假设认为，仅靠领域扩展，而非创意是要害。可是，如何像东谈主类一样高效地学习，我认为这需要超卓的创意。

在回应你的问题时，令我对加入 OpenAI 感到昂扬的原因是，我信赖在特出扩展的想法中有极大的后劲，而咱们也需要这么的创意来迈出下一步。我不知谈我具体会作念什么，但在这一期节目播出时，我应该照旧了解到我的任务。不外，这恰是让我简直感到昂扬的事情。

帕特·格雷迪（Pat Grady）

在东谈主工智能领域，东谈主们在参预元气心灵时，是否会出现肖似“钟摆效应”的怡悦，即关注点在领域和创意之间来去舞动？举例，Transformer 的推出曾是一个伟大的创意，随后咱们主要聚合于领域化竞争。而出于某些骨子原因，面前似乎初始出现不再追求增长的趋势。创意是否又再行成为要害关注点？如今的重心不再是领有最大的 GPU 集群，而是寻求在推理或其他领域已毕新的架构突破？

丹·罗伯茨（Dan Roberts）

这是一个额外好的问题。Richard Sutton 在一篇名为《The Bitter Lesson》的著作中建议，一个不雅点：与其说想法进犯，不如说领域才是要害。通盘想法最终齐会被领域的进步所特出。固然这一不雅点很瀽瓴高屋，但它照实揭示了领域的进犯性。

在上世纪 80 年代和 90 年代，有许多道理的想法，但由于其时穷乏迷漫的算计资源，东谈主们无法进行探索。我牢记在 AlphaGo 出现后，DeepMind 撰写了多数论文，促使东谈主们再行发现那些早期的研究，并在深度学习系统中再行已毕这些想法。但那是在东谈主们坚硬到需要扩大领域之前。即使在面前，东谈主们通过 Transformer 探索其他或更浅易的架构，而这些似乎能够取得更好的效果。有不雅点认为，也许这种扩展公法并非单纯来源于具体的想法，而是与基础的数据处理和浩瀚的数据辩论。

我认为，简直的谜底在于两者之间的均衡。 领域额外进犯，咱们可能之前莫得坚硬到其进犯性，也因为其时穷乏资源来已毕领域扩展。分娩这些 GPU 集群以检会模子，需要经过供应链和分娩链的多个要道。骨子上，GPU 的筹算随着时辰推移，与这些模子相反相成地进化。从某种风趣上说，Transformer 是个好主意，因为它稳妥其时咱们领有的系统。在科学层面上，其他架构也可能已毕方针，但在实践中，能够达到阿谁领域才是至关进犯的。

是以，我信赖如果咱们能将想法与某种阵势的领域联结起来，我依然认为，深度学习的意见额外进犯。Pitts 和 McCulloch 建议了起首的神经元意见，随后 Rosenblatt 建议了起首的感知机。从梗概 80 年前初始，许多东谈主齐建议过进犯的想法。因此，我认为想法和领域齐很进犯。如果受到瓶颈限度无法扩大领域，民众齐会竭力于于想法的探索；而一朝突破这些限度，已毕新的领域，便会有多数后果涌现。领域照实额外进犯，我信赖这是一种想法与领域之间的协同作用。

桑娅·黄（Sonya Huang）

在指摘对于领域竞赛的话题时，Dan，你提到了一些经济上的限度和执行问题，我想这更像是私营部门濒临的限度。你之前也提到了物理学家参与的曼哈顿推敲。你认为咱们需要一个肖似曼哈顿推敲的东谈主工智能神色吗？这应该是在国度层面照旧外洋层面进行呢？

丹·罗伯茨（Dan Roberts）

骨子上，我之是以加入 OpenAI，部分原因是因为曾与您的结伙东谈主 Shaun Maguire 交流过。那时他把我先容到 Sequoia，想望望是否有合适的创业神色不错让我参与，这个神色需要在科学、研究和买卖上齐有其风趣。我牢记，Shaun 用了一个比方，他并不是想杰出曼哈顿推敲的负面影响，而是想阐发其在领域和组织层面的风趣。

他提到，上世纪 40 年代，许多物理学家纷纷加入曼哈顿推敲，尽管他们本来有其他事情要作念，但那是他们必须参与的领域。他认为，面前东谈主工智能就是这么的领域，而 OpenAI 就是像当年的曼哈顿推敲这么的方位。因此，未必咱们不需要寰球部门组织的曼哈顿推敲，因为咱们有了 OpenAI。

桑娅·黄（Sonya Huang）

我可爱这个比方：OpenAI 就像曼哈顿推敲一样。

丹·罗伯茨（Dan Roberts）

从领域和宏愿来看，我认为许多物理学家可能会答应在 OpenAI 使命，这与他们早期对其他神色感意思的原因有相似之处。天然，具体原因是多方面的。未必咱们应该将其视为一个复杂的问题，而不是磨蹭地下论断。

桑娅·黄（Sonya Huang）

咱们不错聊聊这个问题吗？比如说，咱们是否能够简直认识 AI，绝顶是在使用这些深度神经积攒的情况下，照旧你认为这是一个无解的“黑箱”？

丹·罗伯茨（Dan Roberts）

在 AI 社区中，我的立场是咱们能够更好地认识这些系统。互联网充斥着多样不同的不雅点，简直的反对意见通常难以识别。我认为，这些系统与物理系联合样复杂，而咱们照旧在认识物理系统方面取得了巨猛进展。我信赖，这些系统也不错应用相通的分析框架。

我和 Sho 在书中商讨了物理学中的一个原则：在大领域下，平日会出现极大的简化。这主如若由于统计均值效应，或者更专科地说，是中心极限度理，使事情变得浅易。 固然我并不是说大型语言模子一定具有相通的特色，但我信赖，咱们不错借助现存的步履，并可能在畴昔利用 AI 来已毕更好的认识。在这里，AI 是行动一种用具，而不是自强门庭的智能体来处罚问题。我信赖，固然面前认识这些系统可能颇具挑战，但科学终将艰苦奋斗，使咱们能够在简直认识这些系统的使命道理和行径方面取得紧要突破。

AI 不错匡助处罚物理学问题吗？

帕特·格雷迪（Pat Grady）

Dan，咱们照旧商讨了物理能为 AI 带来的启示。那么，AI 可能为物理提供哪些新的视力呢？你对物理和数学等领域的出息是否乐不雅？这些新兴模子能否在这些领域中已毕更深入的探索？

丹·罗伯茨（Dan Roberts）

是的，我照实合手乐不雅立场。我的不雅点是，数学可能比物理浅易，这未必显解析我是物理学家，而非数学家。我不错解释一下我的事理。不外，我许多从事物理的一又友中，有东谈主对近况日益忧虑，致使到了一定进度的担忧。这可能阐发了为什么物理学家会研究 AI。如果你温雅的是物理问题的处罚，并但愿尽快得到谜底，最灵验的步履可能不是平直研究物理问题，而是研究 AI，因为 AI 可能快速处罚这些问题。我不笃定有些许东谈主谨慎斟酌过这一想法，但在我的表面物理学圈子中，这种不雅点平日被商讨。

为了给出更具体的回应，我认为数学令东谈主昂扬的原因在于，当有像 Noam Brown 这么的众人时，他可能会对此有所探讨，这是他在加入 OpenAI 之前屡次商讨的话题。我认为咱们在处罚游戏问题上取得了很猛进展，不仅是研究如何制定游戏战术，还不错进行预测模拟。在濒临游戏逆境时，我可能会坐下来念念考对策。这有时被称为推理算计，而非检会算计或预检会。推理某种风趣上就是有才气坐下来念念考。咱们知谈如安在游戏中这么作念，因为生效与否的信号额外明确，不错模拟并找到最好行径。

我以为在数学中，尽管某些类型的问题不像游戏那样受到经管，但仍然有迷漫的限度条目，比如寻找讲解。对于如何搜索以及下一个门径的方针恒久存在挑战。但“下一步”这个意见标明数学中有些东西像游戏。因此，咱们不错设计，若在游戏中推崇优异，可能也能在某些类型的数学发现中取得好收货。

帕特·格雷迪（Pat Grady）

你提到了诺姆，他可爱援用一个例子：在算计测试中，能否用来讲解黎曼假设。那么，在物理学领域，是否也有肖似的问题或假设，你认为 AI 不错在咱们耄耋之年匡助处罚？

丹·罗伯茨（Dan Roberts）

是的，我想说的是，有一个与物理学关系的千禧年难题。如果我尝试准确记取它，也许会出错，从而让东谈主怀疑我是否真的是一位物理学家。这个问题是对于杨-米尔斯质料隙的数学物理议题。

我想抒发的是，物理学家关注的重心过火研究步履与数学讲解有所不同。未必这种说法会激发争议，因为物理学家的步履更浮松且常伴有不笃定性，但同期，他们通过实验和研究模子取得的辩论不错带来某种解释才气。正如咱们之前提到的，数学家通常将工程师发明的机械和物理学家开发的表面阵势化并整理得更精准。有些数学家或数学物理学家尝试用蜕变式的方式认识物理学家的使命。

我认为，物理学家感意思的问题不单是讲解，而是探索如何使用既定模子处罚骨子问题。 一朝准备就绪，有教育的众人平日能分析系统，还需斟酌的成分包括哪个模子合适、是否准确响应了问题，与温雅的事项关系联并能提供哪些视力。因此，AI 在这方面提供的匡助可能需要与咱们为数学构建的 AI 系统遴选不同的步履。是以，问题不单是是“这里有一个数学问题，去解答它”，或“讲解黎曼假设”。物理学问题更像是“什么是量子引力？”“当某物进入黑洞时会发生什么？”这些问题无法简化成浅易的谜底。如果你走进一个物理系，你会发现东谈主们在黑板前商讨问题，并可能起草一些数学内容，除此除外还有许多非矜重的商讨和草图需要斟酌。

因此，咱们可能需要汇集的数据更像是电子邮件和 Slack 上的对话。咱们有许多用具来匡助咱们，比如无需浪掷两周时辰去认识一篇新论文，而不错平直发问。固然现存步履存在问题，但已有许多用具不错加快物理学家的使命，比如 Mathematica 软件，不仅用于算计积分，天然功能远不啻于此。不外，有时它不知谈某个积分，你不错查阅积分表。这种步履在其他科学领域中相似适用。

不同领域的发问方式和科学研究的风趣可能照实存在很大相反，致使与传统念念维天壤之隔。在这种情况下，我认为咱们需要产生许多想法，用不同的方式处罚这些问题。尽管咱们最终可能会开发出一种通用的处罚决议来支吾这些挑战，但在面前的阶段，我嗅觉这些事情之间仍然存在某种相反。

桑娅·黄（Sonya Huang）

你将见证总计历程的一部分，因为你亦然 AI 数学奥林匹克奖项委员会的成员，这是我个东谈主额外感意思的领域。未必咱们不错回到你之前提到的一个不雅点，也许这些手艺最终能够得到庸俗应用。你认为，为什么东谈主们如斯专注于处罚现时最辣手的问题？在学校里，物理和数学通常被视为令东谈主怕惧的科目，但面前看来，还有许多其他领域的问题尚未处罚。你是否定为起首攻克这些最贫穷的领域能够鼓动通用智能的发展？处罚这些不同领域的问题又如何能够在举座上已毕交融呢？

丹·罗伯茨（Dan Roberts）

当提到这个问题时，我本能地意想这并不难。这些领域相对于其他来说较为浅易。我在生物学方面不太在行，对我而言全齐难以认识。骨子上，我的女一又友从事生物工程和生物科技，我全齐不解白她的使命。生物学的内容我认识不了，但物理学对我来说则全齐合理。

未必一个更好的回应是，正如我试图表述对于数学的不雅点一样，有一些局限。尤其是在数学领域中，许多意见不需要物理实体的撑合手。你无需在执行全国中进行实验，因为它们自己就是自成体系的。这点与生成文本的历程相似，也就是语言模子的使命道理，致使与一些游戏中强化学习系统的使命方式掌握。因此，我认为当你离开这种自成体系的环境越远，事情就变得越复杂，可能更贫穷，而且更难取得正确的数据来检会这些系统。

若想构建一个处罚生物学问题的 AI 系统，况且民众正勤奋尝试作念到这极少，似乎难度很大。你还需要确保机器东谈主手艺能施展作用，以便它不错进行这类实验，并认识这类数据，或者需要东谈主类来协助。可是，要已毕一个自成体系的 AI 生物学家的方针，彰着有许多问题需要处罚。也许，在已毕方针的历程中，咱们会推出像 AlphaFold 3 这么的后果，固然我还没读过注释府上，但我了解到他们正在尝试将其用于药物研发。因此，我认为在发展历程中，每个领域齐会有一些进展。可是，我认为，限度条目越少，事情会变得越复杂和具体，实施起来将愈加贫穷。

桑娅·黄（Sonya Huang）

东谈主类以为贫穷的事情，并不一定对机器来说也难以处罚，这两者之间并莫得平直的关系。

丹·罗伯茨（Dan Roberts）

照实，东谈主们对什么被视为贫穷的事情可能会有不同的看法。

桑娅·黄（Sonya Huang）

有些东谈主念念考问题的方式更接近机器，我想……那么第二个问题是，你认为这一切最终会整合成为一个能够认识通盘事物的大模子吗？因为面前看来，各个领域似乎依然相对孤独。

丹·罗伯茨（Dan Roberts）

照实，从面前的发展趋势来看，谜底似乎是投诚的。可是，在这个领域进行预测平日短长常危急的，因为你所说的话可能会比你意想的更快被讲解是造作的。

桑娅·黄（Sonya Huang）

亏得咱们有纪录。咱们会要求你作念到。

丹·罗伯茨（Dan Roberts）

照实如斯，不外有个浅易的步履不错弱化这个问题的进犯性。你提到模子是通盘其他模子的交融，但某种进度上，众人夹杂模子从一初始就在作念肖似的事情。骨子情况并非如斯。在这个问题上存在着复杂进度的积攒谱，但至少那些大型实验室的东谈主似乎正在追求更浩瀚的模子，并信赖这是他们的畴昔发展方针。固然我面前还不是全齐认识，但也许将来我会澄清他们背后的玄学是什么。

帕特·格雷迪（Pat Grady）

Dan，咱们面前来商讨几个更为通用的问题。我想先提一个大的问题：从短期（五个月）、中期（五年）、到持久（五十年）的角度来看，你对 AI 领域中哪些方面最感到昂扬或乐不雅？

丹·罗伯茨（Dan Roberts）

五年前，未必是在 Transformer 模子问世之后，也就是 GPT-2 发布的时候。在昔时五年间，咱们一直竭力于于扩大领域。权衡畴昔五年，这种扩展可能会收尾，也许是在一种东谈主们瞎想中的情景下收尾。到那时，咱们可能会进入一个后经济期间，届时可能不再需要持续参预资金，因为财富将不再是进犯成分。或者，咱们可能会发现需要更多的新想法，也许还会阅历另外一场 AI 的极冷。我联想着……

再次强调，这只是个有风险的忖度，但我信赖在畴昔五年内，AI 的发展可能会走向不同的方针。 到那时，AI 未必已不再是关注的焦点，咱们将寻找下一个野蛮东谈主心的机遇，而另一些东谈主可能会转向其他领域。这并不是说 AI 不再让我感意思，而是说五年的时辰未必足以让咱们见证这些变化。此外，不管是一年内，五年内，照旧五个月内，这些变化齐可能发生。固然具体时辰我记不清了。

帕特·格雷迪（Pat Grady）

不要紧，这些齐是近似值。我知谈你曾提到过，物理学家和风险投资家通常使用近似值。

丹·罗伯茨（Dan Roberts）

在物理学中，我常开打趣地说，独一三个进犯的数字：零、一和无尽。事物要么额外小，要么额外大，要么就是数目级为一的数。感谢你的教导。不外，我也很期待在接下来的五个月里，能在像 OpenAI 这么的大型研究实验室的前沿，学习到令东谈主昂扬的东西。

我认为，下一代模子之间的相反将会额外道理。在某些方面，事情正在扩展，但这些信息主要辞别外公开，除了一些公司，如 Meta，它们扩展了数据和模子的领域，而咱们也研究了这种扩展的公法。扩展公法与亏空辩论，但很难将其转动为骨子才气。那么，与下一代模子交流会是什么嗅觉呢？它们会有若何的推崇？这是否会带来巨大的经济影响？

在评估速率时，需要斟酌多个数据点，而不可只依赖单一的数据点。从 GPT-3 到 GPT-4，咱们初始有了一些这么的教育。但是，我认为鄙人一次的变化中，咱们不错简直看到速率的变化，从一个模子过渡到下一个模子的嗅觉。也许五个月后我不错作念出更好的预测，但未必能够明确告诉你们。

桑娅·黄（Sonya Huang）

谢谢你的评价，Dan。令我印象深刻的是，你的写稿作风额外易于认识，减弱且幽默，这不是我阅读手艺性内容时所常见的作风。你认为通盘手艺写稿齐应该短长矜重且幽默的吗？这是你刻意聘任的作风吗？

丹·罗伯茨（Dan Roberts）

这彰着是稀薄为之的。在某种进度上，我认为这是受到传统的影响。天然，我不是一个严肃的东谈主，但我嗅觉这些许是秉承了我所在领域的作风。不外，我给你讲个故事。我曾在普林斯顿的高级研究院作念博士后，那时候，我和一位叫纳迪·西博格的讲授同桌吃午饭。他是研究所的讲授。

咱们那时商讨什么是好的标题。我回应说，标题必须具有幽默感，他对此暗示浓烈赞同。我进一步解释说，撰写论文对我来说，其能源来源于那些诙谐的想法。脑海中流露出多样幽默的念头，你但愿别东谈主看到，于是你把它们包装成学术作品。东谈主们会阅读这些学术作品，也会抚玩其中的幽默。可是，这位来自以色列的纳迪讲授却暗示，他不睬解为什么不可只专注于科学。固然幽默很好，但他认为写稿应该为了科学，而非幽默。对此，我则额外坚合手认为我是为了幽默而写的。

在某个阶段，你也会学会科学步履和矜重写稿的规则。其后，我有所成长，未必这也因为我的室友是语言学家，而他面前是德克萨斯大学奥斯汀分校的讲授。他通常指出哪些规则不错破裂，或者解释这些规则的进犯性。于是，你冉冉澄清不错破裂某些规则，但最终方针是让读者认识、读懂并享受你的著作。因此，你不但愿作念那些可能陡立他们阅读认识的事情，也不想使事情复杂化。若内容更道理，读者就会更答应去阅读并收拢要点。如果写稿时我方也能乐在其中，那就更好了。我想，这就是事情的缘由。

桑娅·黄（Sonya Huang）

额外感谢你今天加入咱们的行为，Dan。咱们学到了许多，尤其抚玩你的幽默感。但愿你在 Sequoia 的临了几天过得雀跃。感谢你答应抽出时辰与咱们共享，咱们忠诚地暗示谢忱。

丹·罗伯茨（Dan Roberts）

我很欢叫能在这里和民众交流🦄FIBA全球战略合作伙伴【步步紧逼】十年信誉平台，这果然一次好意思好的体验。