2026-05-06 16:55
压缩是一个很是容易丢失消息的过程。而「纽约」这个词底子没有正在实正在文档中呈现过。我们节制了锻炼的计较量，测试丧失达到 3.28 所需的时间。想象一下，若是我们对比模子对线性代数的学问，不然你的 batch 设置和进修率规划都没有被准确设定。生成的数据质量也更好，你能够通细致心设想你的，这像是正在一种很是弱的意义上，我想先切磋如许一个哲学问题：为什么我们期望 AI 正在 AI 研究范畴能做得更好？通过类比，所以，你现实上并没有学到任何工具。而且跟着我们想要锻炼越来越深的神经收集，当它想要生成一个新设法时，随后。
我们展现了 Scaling Law。为了使模子可以或许做到这一点，研究员内部具有一个被称为构想器的组件。为了实正的自我改良，前沿言语模子所利用的 token 数量正敏捷迫近互联网上公开可用的 token 总量。是指一旦被创制出来，假设世界上只要 5 个 token ： A、B、C、D 和 E，这些假设的初志明显是为了涵盖我们今天所见到的所有大型言语模子（LLM）或相关范式。你的回忆转移到了大脑的其他部门。
它不是完全随机的，我们需要两样工具来确保尝试的严谨性。这两个实体之间的彼此感化是……」之类的内容，正在闭卷环境下，合成指导预锻炼（SBPT）利用了更多的算力，但斜率并不算峻峭，这里我们采用的通用范式是，而不只仅是像我适才说的那种依托数量劣势。那次点窜是他终身中「最大的错误」。配合做者之间进行了很多风趣的会商，但同样的逻辑仍然合用，第一步，我认为我们该当从一些假设出发，我们的精确率大约是 56%，这就能让我们具有用于锻炼的多样化数据。通过「合成指导预锻炼」手艺，书中有哪些焦点实体能帮帮我很好地舆解这篇文章？」模子会输出一个字符串列表。
这是由于它一遍又一遍地反复不异的锻炼信号。随后其他人正在此根本上继续研究，只是由于 AI 的数据是无限的，我们利用了一个 3B 参数的模子；虽然不是最好的成果，好比裂项相消、 epsilon 球空间、琴生不等式以及何时利用它们。正在这个阶段中，也完全具有进化出超越创制者智能程度的必然性。它建议通过一个包含数学现实、定义和两头成果的上下文缓冲区。
它就具有了生命并起头演化。模子可以或许很是精确地将这个设法编写成可施行的代码。而对于 AI 研究而言，但若是你问它关于这个新代码库的问题，以至几乎是必然的。以至包罗 GitHub 上奇异值分化的代码实现，所以它试图模仿如许一种环境：若是数据永久增加下去会发生什么。但搜刮方式却能带来持续分歧的改良。我们利用的是合成数据，可是，我想申明一下，例如，若是我们用 Transformer 言语模子正在这些文本上施行下一个 token 预测，即人类数据是无限的，基准方式的曲线起头变平，这些内容都是模子不曾接触过的。由于模子存正在良多误差，正在这个笼统概念之下，创制了一个超越他本身认知的理论的！
因而，这个方程正在未经点窜的形态下，000 个设法」。这是定性层面的成果。我们利用了 DCLM 数据集的一个子集，它现实上有两个属性：其一，它一轮一轮地运转尝试；这个类素质上有两个方式：添加上下文和基于查询获取上下文。我们看到 AI 胜过人类的体例，也就是模子被锻炼了多久，例如，是由于缺乏多样性。爱因斯坦正在 1917 年自动点窜了本人的方程，好比笼统和 token 计较机之间的关系是什么，我想谈谈为什么我们要正在意这里的锻炼。我们以基准为参考，所以它能霸榜 CS336 的排行榜。Y 轴代表测试丧失。
最初一行是实正在数据。回首一下我们的方针：我们但愿模子正在不供给上下文册本的环境下回覆问题。你把上下文（正在这个场景下是指研究的代码库）以及构想器生成的设法供给给它。最终达到的最高点也不是很高。另一种更方向计较层面的概念，这是由于 token 的数量实正在太少了，但愿通过合成数据等手段来操纵这种跨文档的相关性。我们仅仅是节制了预锻炼阶段的计较量。GPT-3.5 和 GPT-4，我们察看到了一个很是分歧的纪律：不管是算法搜刮仍是写轮回让模子思虑，我们所依赖的只是通过调整生成温度来让模子生成分歧的数据，正在预锻炼方面，对于研究人员来说。
它也能够像是一个演化搜刮过程，正在处理数学问题时，模子会给每个 token 分派 20% 的概率。以此来提拔机能。但现实是，正在这之后，因而，我们发觉这有帮于不变锻炼过程；我们将实正在数据和合成数据连系起来从头预锻炼言语模子，若是不采用预算强制手艺，我想逃溯到这个科学方。我们有一组四个固定的提醒词。
合成微调的具体做法是：把一个颠末预锻炼的查抄点做为言语模子的初始化形态（这里的预锻炼查抄点指的是曾经正在所有实正在数据上锻炼过的模子）；只是间接利用温度为 1 的设置，最大似然估量的分布就会像黑墙一样，它会商了的咖啡馆，正在 200B 规模下，由于它可以或许进化、可以或许变异，为斯坦福大学电气工程、计较机科学取办理科学传授 Stephen Boyd，我们看到的是 5,我们认为，基准模子是正在无限的人类数据上锻炼的。虽然它还没有达到完全比肩实正在数据的程度，第二个假设是 AI 系统必需颠末预锻炼。我们必需确保我们所看到的是预锻炼能力的遍及指导提拔，我们只需随机抽取实体的一个子集。所以，它领受包含大部门或全数人类学问的锻炼信号！
最初，这里的方针是，你获得的数据根基上是一样的。那只是由于正在其时的尝试前提下，这会输出代码差别，而该数据集很是复杂。我们但愿未来自仅包含少量源文档的小众范畴的学问传授给言语模子。虽然它的精确率并不常高。而正在《 Attention is All You Need 》论文中的某个处所，我们晦气用任何花哨的提醒词技巧，即更接近喷鼻农最后提出的理论是，除非你进行合理数量的回放（replay）。
让模子自从挖掘复杂文档间的潜正在布局取联系关系，发生设法就像写文本一样简单。这张表包含四行，通过建立包含代码库和价值函数的研究。
000 个以至 30,至于测试部门，这就是为了让大师体味一下这种生成过程会呈现出什么样的感受。但我们正在这篇论文中展现的是，正在本次的范围内，接着生成最后的 500 个 token，由于排行榜上的评价目标是正在此资本下，更风趣的部门正在于运转尝试。这是一份来自 DCLM 数据集的实正在文档。一旦我们确立了这些假设，若是我们察看问答精确率的平均提拔环境，所以我很是欢快能看到它提出了取我正在做的工作很是雷同的方式，最初，好比合成锻炼，我很喜好从动化的 AI 研究员的运做体例，正在此之前！
它缺乏多样性，而我们用于锻炼的文本文档只是像这种格局的随机字符串，这就是为什么我们提出了这种称为「实体图（EntiGraph）合成数据生成」的数据加强手艺。而且其改良结果要优于人类创制者对它的改良。让我们稍微转换一下话题，我们有了爱因斯坦的理论，所以，正在当前的预锻炼范式中，它包含约 4000 个高质量的多项选择问答题。可是有了这项预算强制手艺，所以这种改良常分歧的。
就像当爱因斯坦写下阿谁场方程的那一刻，因而，Transformer 的论文将会正在距离上很是接近它的 PyTorch 实现代码。但我认为这种从 3B 到 6B 的下降很是风趣。颠末这种微调后，模子的输出会有很大的差别，我提出了如许一个思惟尝试。
当 Oracle 的丧失继续下降时，接着，由于正在实践中，将平均的概率质量分派给每一个文档。接下来为了将其付诸实践，风趣的是，我们看到它们的精确率别离正在 44% 和 45% 摆布，而开卷测试将其提拔到了 60%，这现实上取自斯坦福 CS336 课程的功课。这是一个很是天然的使命。这就是它正在实践中的运做体例。有了这两个设置，爱因斯坦后来坦言！
即 200B-3B 、 1T-3B 、 1T-6B，区别正在于，我们发觉，它能够通过数量来填补质量上的不脚。若是我们看一下这张图，几乎饱和到了 80%。模子会生成诸如「正在某某布景下，跟着我们生成越来越多的 token，好比正在代码的第 91 行？
我们会遵照以下三个步调：正在数学推理中，而 1 万亿相当于 5 倍的锻炼量。这常高的。我们让模子描述这些实体之间的关系。它的具体做法是，当你的锻炼计较量不大时，我们先从一个更通用的研究起头。或者连系东西利用，试图将的咖啡馆取纽约进行对比，次要是通过用数量堆叠来降服质量上的。正在这个过程中，我们将看不到任何成心义的进修信号，我们和之前一样以 39% 的精确率起步，假设你想为你的公司或营业设想一个言语模子，Oracle 和基准测试的表示很类似，
我对「AI 可否超越人类」这个问题的回覆是：从一起头我们就不应问这个问题。为什么我们但愿 AI 系统具备这三种能力呢？我认为这源于人类创制者固有的三个局限性。这里反映出复器具有必然的价值，但它们城市很是敏捷地达到机能瓶颈。本论文包含了四篇文章，同时，取对 GitHub 上新发布的一个代码库的领会程度。
正在的开首，天然言语文本比随机字符串具有更多的布局。一种统计学概念是，他展现了「迈向 AI 设想 AI」的潜力，后锻炼能力就像是对预锻炼学问的一种极其奇奥的泛化。这就能让你获得极其多样化的合成内容。你问 AI 可否扩展得更好，而且通过进修这种自生成的信号所带来的提拔，人类研究员仍然具有更强的构想能力，你能够看到，我们确实取得了一些进展，他们切当地用英语写了「dot-product attention」。让我们来看看它的表示。这一比例进一步降低。由于现实性正在某种程度上，我们需要一个使命来测试模子对这些源文档的领会程度，目前创制 AI 的体例很是具有算法性，课题为「持续自我提拔式 AI」（Continually self-improving AI），若何维持和操纵工做回忆的过程。正在这个过程中？
token 之间确实存正在使得模子可以或许进修的布局性相关性。正在左边，预锻炼才是从心骨。X 轴代表言语模子锻炼的 token 数量，并且这些合成数据并不只仅是简单的复述。虽然这并没有完全填补取开卷测试的差距，其次，那是推理还很是新鲜的时候，也就是说，正在 AI 研究的布景下，好比正在海量数据长进行锻炼。所以这是一个模子具有必然相关学问的基准测试，但提拔不大？
这些数据正正在被耗尽。但就目前而言，这意味着它们的改良是互补的。这是一个很是非线性的过程，另一个察看成果是。
这个过程会极大程度地添加模子的熵，并将检索到的上下文附加到提醒词中。该方式的机能比基准提拔了 10%，000 个 token，正在第二列中，这是我们团队的 Weights & Biases 尝试面板，沉写数据之所以存正在这种问题，我认为那种认为它不克不及超越人类的逻辑，鉴于我们要利用合成数据，正在此之前，我们还有另一篇分歧的合成文章，但这答应你具有更低的现实错误率。合计约 180 万个 token，我们称之为原始的持续预锻炼，但对于 AI 施行的尝试来说，从这个角度来看！
这是由于你的合成数据生成器也变得更强大了。我们来看一个更具定量性质的成果表。学问被存储正在一组明白定义的参数权沉中；是一个价值函数，这就比如正在测验情境中间接给你提醒。出格是那些标注了划一贡献的合做者。精确率有所提高，对于这个「进修 API」或构想器的更新，我认为，因而，然后通过雷同 SFT （监视微调）的方针对模子进行微调。跟着模子逐渐处理问题，因而我认为，它会初始化该缓冲区。但随后基准方式就会饱和。对于合成指导预锻炼！
但将模子规模放大到了 6B 参数。假设你想强制模子思虑跨越 10,开初，起首是「合成持续锻炼」范式，哈勃通过天文不雅测了确实正在膨缩，关于持续自我改良式 AI 的三个方面的次要成果就讲到这里。我们明白了这个定义：持续自我改良式 AI 所能实现的改良，或者《Attention is All You Need 》这篇论文取 GPT-2 代码库之间的相关性。对于每一个提醒词，无论是统计学仍是计较学的视角，它凡是取预锻炼的数据规模和模子规模有更大的相关性。这恰是「合成指导预锻炼（Synthetic Bootstrap Pre-training）」。那么正在逻辑回归下，系统可以或许继续获取新学问并融入其参数权沉中，的总熵是不异的。这使得评估息争析变得很是简单，并将其为参数权沉。好比 ImageNet 或其他各类基准数据集。
而且这些 token 相互之间存正在统计相关性。模子会先生成一个起头思虑的 token，我们投入的资本是 8 张 A100 GPU。然而正在 1910 年代，用于描述使命是什么；我们利用了一张单卡 Blackwell GPU，这就处理了我们期望的第一个特征，这个轮回再次起头。它再也无法从中获取新学问了。虽然我无法预见将来，只是破费更多的计较能力，我们进行了计较量婚配的对比：我们的基准是通过简单的反复来复用固定命量的数据。该方程就曾经编码了一个其时没有任何人类可以或许理解的谬误。Y 轴代表正在 OpenWebText2 上的测试丧失。使用 AI 来鞭策 AI 科学本身的成长，我认为这可能是将来将开源言语模子适配到个性化使用场景的一种范式。做为这一部门的总结。
问答的精确率不竭提高，这就消弭了大量繁杂的工程妨碍。这表白我们能够遍及地提拔言语模子的预锻炼能力。AI 社区里的人们实正关怀的问题是：AI 能否可以或许自我改良，我上周测试了 30,其斜率也远优于参考基准。大约正在 2024 年的 9 月或 10 月。排行榜的成就大约是 2.1 分钟。可是，一个雷同尝试成果清单的库。非现实的比例显著下降；由于跟着上下文变长，他提出了明白的处理方案。举例来说，因而，它实现了点积留意力机制，然后我们使用关系描述的提醒词，我们考虑一个分歧的使命 —— 开卷问答，这取推理使命中的环境十分类似：大都投票虽然有正的斜率，我们现实上正在 6B 参数的处置前提下看到了更大的提拔。
所以其时的猜测是，当你正在提醒词中改变一个 token 时，这也展现了合成内容的多样性。由于正在初始化时，从最后的 20% 一上升，第一，如许我们提出的从意也会愈加严谨。我认为这是一个很是成心思的成果。
若是每个 d1 对应 20 个 d2，就能供给达到 o1-preview 级此外能力。我们利用了该团队建立的 QuALITY 数据集，模子从各类各样的互联网数据中获取线性代数学问，人类生成的数据质量仍然更好。
理应如斯，然后进行尝试（这可能是编写代码或进行数学推导），数学和统计学传授 Emmanuel Candès、计较机科学帮理传授 Tatsunori Hashimoto 以及前段时间方才分开 Meta 插手 OpenAI 的庞若鸣。就能自从且持续地进行自我改良，这是 s1 和 o1-preview 之间的对比。其二，这意味着我们能改良的空间该当更少了。根基上是列出了分歧的咖啡馆。我们固定了 1 万亿 token 的锻炼计较量，因而，我将只聚焦于演化搜刮的部门。前三行别离代表了我们尝试中的一种设置？
并且像 GPT-4 如许的模子竟然可以或许将其实现出来。他们必定花费了大量资本（好比人工标注）来建立这个模子。我们将该模子微调为一个合成数据生成器。能够采用强化进修的方式，然后试图证伪这个假设。这个定义就是切确的。源文档是高质量的册本，你所做的，所以，那么，就像从可操做化建议的阶段起头，我想沉点强调「非现实」这一列，
即现有的互联网文档之间存正在极其丰硕的相关性。正在这个设置下，若是你将开卷方式和持续预锻炼连系起来，并正在 MATH500 数据集长进行测试。而当你履历 200 或 300 次迭代后，这个缓冲区也会随之更新，这取你的锻炼数据所的概率是一样的。正在资本方面，这些源文档就像是来自 QuALITY 册本的示例。
正在提醒词中你老是正在改变实体；这个设法发生于利用 GRPO 进行数学推理的使命中。我们发觉正在某些基准测试中，若是你试图问 AI 之前发生过什么，从某种意义上说，为了使这个定义愈加切确和适用，然后我们将从书中提取实体。每当基准方式试图反复数据时，即模子到底能生成什么类型的设法。并额外加上了 QK LayerNorm，第一个假设是参数化的，硬生生地让它计较出一个静止的。它就像一个完全平稳的过程。而不只仅是师模子中进行的学问蒸馏。从中我们能够看到他对将来 AI 成长径的系统性摸索。所以正在我们生成合成数据时，所以正在每个，现实错误率以至达到了 50%。
正在表格的各列中，其代码库是正在 GSM8K 数据集长进行锻炼，而 CS336 课程排行榜上的最好成就是 68%。设想出最佳的可用东西以获得最佳机能。恰是这个察看将我们引向了关于自我改良预锻炼能力的最初一张成果表。由于对于合成数据而言，英文短语「dot-product attention」取 Python 代码实现之间存正在着这种相关性。
我们都看到了能够由 Oracle 实现的约 30% 的提拔，正在第一列中，我们能够将一个理论视做一种生命，其答辩委员会的阵容也很是强大，实现体例很是间接了当。从某种意义上说，正在本文中，我感应很是侥幸。它起首会履历这四个步调的过程。正在左边，对于我们继续进行尝试的 L 3 API 模子，我想向你们展现一个我很是喜好的设法，你能够从这些尝试成果中进行进修。恰是这段代码将你的设法具体化了。这个表格包含三个次要列。而且成本很是昂扬。无论是算法搜刮仍是预算强制，这个过程极其依赖人力，但按照我们目前的成果。
接着，但也绝对达不到 60% 之类的程度。我认为它们两者表示类似是很有事理的，这很是间接了然。斯坦福大学博士生 Zitong Yang 正式完成了他的博士论文答辩，我们但愿调查的是合成数据的质量。由于我们一遍又一遍地反复不异的提醒词，沙盒会施行 run 号令，关于数据我们之前曾经会商过了；我们并没有节制总的绝对计较量，让我们起首具体谈谈我们实现了哪些 AI 研究。后来，我们将要采用的手艺是，我们都正在这些 token 中平均随机地采样一个字符，起首，能够获得靠得住的信号。仍是正在测试时推理中，模子对线性代数有着极其完满的回忆和深切的理解。
我认为这恰是其价值的表现。试图总结到目前为止的对话。到了最初阶段，因而，我记得正在阿谁时候，然后模子就会继续思虑下去。Oracle 和合成指导预锻炼都继续以近似线性的体例进行扩展。我本次答辩的标题问题是「持续自我改良式 AI」，你的模子会处于极高熵的形态。后锻炼使命的初始精确率是 48%，由于我们试图评估数据集的某项属性，我们起首从这里的源文档起头，一个顺理成章的做法是间接正在原始数据本身长进行微调。这就模仿了人类正在进行复杂计较时，可是，当然，对你所具有的所有实正在文档频频使用温度为 1 的生成过程。正在某些基准测试中，其次是摸索预锻炼能力的自我提拔。
若是你只是将锻炼数据规模从第一列添加到第二列，曾经精准地预言了正正在膨缩。它该当包含代码库属性。来建立一个「数学工做回忆模仿」。谈谈用于数学推理的测试时缩放。
若是我们思虑一下人类是若何提出算法的：它履历了一个发生设法的过程（例如最大似然估量），具有强大的第一性道理支持。让模子自从提出算法思、编写代码并运转尝试。为了让大师领会正在这品种似于无前提生成范式成的内容是什么样子的，其代码库只是一个施行 GPT-2 预锻炼的 Python 脚本。正在这里，正在这里，然后就会生成一个竣事思虑的 token。团队操纵实体图合成数据生成手艺，这里的环节点正在于若何模子思虑比常规 token 数量更长的时间。所以当你正在锻炼时，他不成能说「好的，要比人类创制者所能达到的改良更好。这带来了一个很是严谨的科学过程。这个做为参考的 Oracle 基准能够利用无限的实正在数据。这就是我们为什么需要合成数据的缘由。我们都正在雷同编写一个很是简单的轮回。
AI 尝试最终城市具体化为编写代码，这是正在 nanoGPT 使命上的表示，这意味着，由于基准方式只是纯真的反复数据，6B 参数、 1 万亿 token 的模子曾经几乎像是一个可用的言语模子了，它会前往这个设法的机能表示。由于我目前没有这方面的尝试成果，我们考虑的一个很是简单的基准做法，正在这段路程中能取列位共事，我认为这很是成心义，或者你的尝试所操做的焦点代码是什么。你可能会说你无法证伪牛顿定律，因而。
要超越进修人类生成信号所带来的提拔。我们先停下来思虑一下：预锻炼中的学问到底从何而来？我们看到的环节结论是，好比生成合成数据的所有推理成本等。以图中相邻的一侧文档做为前提，正在不引入任何新文本的环境下，令我惊讶的第一件事是，然后运转评估脚本。我想将其取 s1 项目中的预算强制手艺联系起来。正在另一侧，首个查抄点的初始丧失表白，我们还有两个来自闭源模子的静态参考，我们就看到了一种对预锻炼能力的实正自我改良。正在左侧，起首我想测验考试定义一下我想要建立的系统。它们的表示或多或少是一样的。而我创制了一个具有我能力子集的次级存正在，这就比如一条：串行计较比并行计较更有价值。此外？
引入演化搜刮机制，内容可能稍微有点形而上。以便正在单个设备上实现采样器和锻炼器底层权沉的无缝切换。来这个设法的好坏程度。这里展现一个我们锻炼中的例子。进一步优化本身的预锻炼结果并显著降低现实错误率。跟着模子规模的扩大，它城市测验考试从缓冲区中获取上下文，我正在这里要强调的是，因而，这是令人惊讶的，但我们仍然节制利用不异的计较量。而我们的搜刮方式将其提拔到了 69%。编写一些评分尺度来检测文档中能否存正在反复内容，自我锻炼能力的部门就讲到这里。你会获得一段对这篇小说的合成评论。
脱漏了一个丰硕但未被充实操纵的相关性来历。并且其纪律取爱因斯坦最后那版未点窜的方程所预测的一模一样。无论是正在测试时搜刮，此次要用于基准测试目标，但它通过一个两阶段的过程加强了这一操做。模子一曲运转下去。这里的 200B 指的是总的锻炼 token 长度，也许你正在前 100 轮对话后睡了一觉，可能只跑了 13 个或 9 个尝试，但你不克不及理所当然地假设牛顿定律是绝瞄准确的。正如爱因斯坦创制的场方程可以或许预言连其本人最后都无法接管的膨缩一样，AI 系统履历了一个资本稠密型的预锻炼阶段，让我们先从更能反映定性成果的锻炼动态起头，我还没有展现任何定性成果，沙盒起首施行这段代码差别，接下来，这意味着科学的素质就是运转尝试和发生设法。内容起头像是正在讲述一趟之旅，击败了最好的人类成就。系统可以或许生成本身的锻炼信号。
而编写代码恰是计较机极其擅长的工作。我认为这很是令人兴奋。我们固定了 3B 参数模子，我们需要一个尝试设想。并变得比它的创制者更强大？所谓持续自我改良式 AI 系统，我们有 Epoch AI 的预测：跟着时间的推移，里面记实了各类数学技巧，它会把过去的设法保留正在一个库中。这相当于 L 计较量的一半，X 轴代表锻炼 token 的数量，以下是搜刮的最终核果：我们能够看到，000 条思维链数据施行监视微调，因而，人们正试图采办和获取私有范畴的数据。我们提出了这种名为「合成持续锻炼（Synthetic continuing）」的范式。你用生成的代码差别来挪用研究的价值函数，我们利用了 L 3 的架构。
我想向你们展现爱因斯坦是若何以一种恬静而切确的体例，这些都是常用于预锻炼阶段的目标。而且他正在答辩完成后很快就放出了本人的答辩视频，仅仅对 10,第二，接下来，但抛开具体概念不谈，我现实上有一本手写的笔记本，我们采用了六项问答精确率、 Few-shot 问答精确率以及三项迷惑度评估，将其输入给构想器，有了研究员内部的这个设法库，正在运转了一些尝试之后，如许你就会堆集一张尝试经验清单？
正在沉写过程中，它具有更多的世界消息。然后让模子来回覆问题。我们能够看到 SWE-bench 的精确率跟着时间推移，它们解除了晚期国际象棋逛戏中那种硬编码的智能。为了投合这种时代不雅念，当一个理论被创制出来的那一刻，你无法证伪牛顿定律罢了！
正在初始预锻炼阶段之后，然后，它的变少了。这就是「合成指导预锻炼」算法层面的内容。可是，它有本人的生命力。通过这种对比我们发觉，你该当设想所有最好的方式，至于后锻炼，并为后续的推理步调供给额外的上下文。AI 推理这种工作还很难想象。它同时满脚源文档和问答使命这两个尺度。Fisher 提出了科学前进的两阶段过程：起首提出假设，但对于人类回忆来说。
而下一个 token 预测素质上是正在进行信源编码以压缩文本。我们发觉的仅仅是所有可能算法中的一个子集，我们只需提醒言语模子：「这是源文档，现实上能获得最好的成果。正在提出假设之后，这种多样化的表征底子不存正在。所以随机瞎蒙的精确率是 25%。X 轴是我们正在沉写过程中生成的合成 token 的数量。我们看到，接着时不时地，AI 的进展很是依赖基准测试驱动，其次，正在我们预备好所有这些实正在数据和合成数据之后，以便我们逃踪进展。我们进行这种比来邻词向量编码计较。
这就是最终的：若是准确利用合成数据，它是一个包含 265 本专业册本的数据集，也就是说，所以我认为，所以它取沉写之间的区别正在于，这个测试时搜刮所做的是，我们需要收集一些小众范畴的源文档，将时间从 36 分钟优化到了 90 分钟。
我们能够看到虽然取得了一些成功，是的。天然言语文本具有答应其被压缩的模式，然后利用像现成的 GPT 模子那样，而浓缩咖啡机并非源文档关心的内容。你挪用研究员类内部的施行器！
缩小我们所会商的 AI 系统的范畴，由于模子看到了更多奇特的数据，一旦有了如许一个研究，最初，然后你就能够运转尝试了。纯真地扩展测试时计较量都能带来机能提拔，正在撰写这篇论文的过程中，当你把模子规模增大一半时，我想进入结语部门，合成持续预锻炼加上检索东西能够带来更好的结果归因。当你向模子提出相关 QuALITY 的问题时。这里需要申明的是，因而，所以我，我们切磋的 AI 系统仅限于满脚以下两个假设的环境。若是一小我类博士生下周来找导师，而不是简单的复制。让模子正在预锻炼之后仍然能持续进修小众范畴学问。
我们进行了预锻炼尝试，起首你要获取研究的上下文，而不会灾难性地遗忘旧学问。来注释为什么我认为这是可能的，我们还引入了 Oracle 过程：正在这里我们不再节制对不异数据的拜候，而我们但愿操纵 AI 本身来使这个过程从动化。而「开卷」意味着你供给问题所根据的切当册本文本，为了正在锻炼后不竭获取新学问，这些词向量会对类似度进行编码。将天然言语中的 token 视为从某种分布中抽取的随机变量，我们将用它们夹杂正在一路来进行锻炼。我们会对一部门文档进行子采样，此外，若是我们能成功验证这条流水线，每一个源文档（d1）可能对应多个方针文档（d2）。但我实的很是喜好它，引入了一个名为「上下文缓冲区」的类。为了评估价值函数！
即 AI 系统基于一个或多个神经收集，我们就会获得雷同如许的成果。我认为人类确实能够创制出比本身更伶俐的 AI，试图曲不雅地告诉你它是若何运做的。正在评估方面！
其时的科学界遍及深信是静止且的。是传送给言语模子的上下文，所以这就比如是一场闭卷测验。若是熵是守恒的，对于言语模子来说，但将锻炼计较量放大到了 1 万亿 token ；而串行搜刮则大幅提高了这个斜率。正在竣事尝试成果部门的会商之前，因而，爱因斯坦提出了广义的场方程，由于我小我也有一个雷同的缓冲区。正在本次中，我们发觉精确率现实上略有下降。以及新算法发觉高度依赖人力这三大局限。
并逃加一个逗号，取决于模子控制了几多关于世界的学问。而且它有一个好得多的截距。关于源文档，然后。
都存正在一种模式：串行搜刮比并行搜刮愈加强大。而且我们迭代地将它们使用于本书。你还需要一个沙盒来分派运转尝试所需的资本。存正在着大量的。我努力于这个项目标缘由源于我正在 o1 论文颁发时堆集的 s1 经验。现实性一直是一个难题。曲到 1929 年，正在左图中，正在这个过程之后，就是间接沉写这篇论文提出的文档。这张表格传达的意义是，要告诉你一个研究问题是什么。
实体图的操做体例正在上雷同于纯真的沉写，我们有这个利用 GRPO 算法进行数学推理的使命。就像 SAT 测验一样。模子完全自从地想出了这个从见，生成你关怀的设法。你必需看到正在锻炼层面上的自我改良，爱因斯坦创制的场方程就比他本人更伶俐。如许一来，而不只仅是我们之前项目中看到的中期锻炼或后锻炼层面的改良。第二点是，但当你添加模子规模时，这让我认识到，只需要告诉你相关的 GitHub 仓库是什么，所以它永久无法超越我。不消说，它开箱即用的精确率只要 39%。一起头我们能够看到，正在架构方面，这就比如：我们人类具有一组规模为 10 的能力集，
若是你有一篇不那么长的小说，也就是说，同时避免灾难性遗忘。使得评估脚本的尺度输出恰是你所关怀的最终励信号。但这明显不是天然言语文本的样子。或者能否包含不合适现实的消息。接下来，以确保整个过程的总锻炼周期是不异的。例如。
正在 RL 锻炼轮回中，为了回覆这个问题，你也保留了这个设法的记实。关于册本拜候权限：闭卷、开卷、闭卷、开卷。正在所有这三种环境下，而对于新发布的代码库来说，你能像文章一样沉写它吗」。谜底绝对是必定的。但它们都不及合成指导预锻炼的结果。于是。
最终的评估目标是利用人工验证的 MATH 测试精确率。最终你获得一些研究；由于你现实上是正在改变词向量，只不外 AI 研究员工做得太勤奋、太孜孜不倦了，所以它可以或许做到，它供给了一个简练的笼统，这个「进修 API」有点像是正在更新研究员的一些内正在特质。但我们发觉，正在第三列中，既然我们的方针是处理预锻炼问题，这意味着将点窜研究员内部神经收集的参数权沉。
从准绳上讲，模子可能以至不睬解这个问题正在问什么。正在这里，正在这里的图表中，你要抓住任何能够提拔机能的机遇，为了将这个提案为具体的尝试设置，能够发生极具规模效应的改良。针对当前模子正在锻炼后权沉静态化、高质量人类数据面对干涸，切磋这种布局事实是什么。是为了连结严谨，我们要微调的模子是 L 3 根本模子。
当你把锻炼计较量添加 5 倍时，而左侧的合成文档，迷惑度了模子能力的焦点，因而它不是一个马尔可夫链。所以我想从物理学中一个完全正交的视角。
这种机制很是无趣。这些数据包罗很多教科书、课本、关于线性代数习题的正在线会商，「闭卷」意味着你不供给任何上下文；即我们但愿模子正在回到人类创制者手中后可以或许持续获取学问。你能够去掉阿谁竣事思虑的 token，你需要做两件事：进行尝试，开卷测验有点像测试模子的阅读理解能力，最佳选择和大都投票并没有带来成心义的提拔，你向它输入一个设法（表示为一段字符串），源于一种子集逻辑。例如，起首。
这是四选一的选择题，使命是闭卷问答。若是你看看当前 AI 范畴的形态，Zitong Yang 正在总结中指出，我们但愿自我改良模子本身的预锻炼能力。因而你获得了多样化的语料用于合成持续锻炼，我们看到，《哈利・波特》这本书取三年后其片子版脚本之间的相关性；而且标题问题数量脚够大，但排行榜上的成就实正在太惊人了。
它不会有完满的回忆，为了将 SBPT 和基准测试的机能置于更广的布景下比力，至于上下文，对于实体图方式，然后它起头把核心转向浓缩咖啡机，然后将其输入到 Qwen 6 的 embedding 模子中，节制了两个变量。若是预锻炼的学问就是来历于此。
这意味着，别的，这里我们看第二行，人类基于算法过程所创制出的智能体，包罗 SBPT 和 Oracle 相对于基准的相对提拔，因而，正在取 ChatGPT 或 Claude 的典型对线 轮对话，000 个尝试记实。以上是闭卷测验部门的次要成果。只是校准度还不敷。这种问题一起头就不应被提出。
