<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Test-Time Compute on Miao Kong</title><link>https://miaok.ong/tags/test-time-compute/</link><description>Recent content in Test-Time Compute on Miao Kong</description><generator>Hugo</generator><language>zh</language><lastBuildDate>Sat, 02 May 2026 09:00:00 +0800</lastBuildDate><atom:link href="https://miaok.ong/tags/test-time-compute/index.xml" rel="self" type="application/rss+xml"/><item><title>递归推理：AI 的下一个 Scaling Law，不是更大，而是更深</title><link>https://miaok.ong/posts/2026-05-02-recursive-reasoning-scaling-law/</link><pubDate>Sat, 02 May 2026 09:00:00 +0800</pubDate><guid>https://miaok.ong/posts/2026-05-02-recursive-reasoning-scaling-law/</guid><description>&lt;blockquote&gt;
&lt;p&gt;&lt;strong&gt;核心判断&lt;/strong&gt;：当预训练的边际收益递减，AI 的下一个数量级突破将来自&amp;quot;推理时的自我迭代&amp;quot;，而非&amp;quot;参数量的暴力堆砌&amp;quot;。&lt;/p&gt;
&lt;/blockquote&gt;
&lt;hr&gt;
&lt;h2 id="一最大的突破不是来自更大的模型"&gt;
 一、最大的突破，不是来自更大的模型
 &lt;a class="heading-link" href="#%e4%b8%80%e6%9c%80%e5%a4%a7%e7%9a%84%e7%aa%81%e7%a0%b4%e4%b8%8d%e6%98%af%e6%9d%a5%e8%87%aa%e6%9b%b4%e5%a4%a7%e7%9a%84%e6%a8%a1%e5%9e%8b"&gt;
 &lt;i class="fa-solid fa-link" aria-hidden="true" title="链接到标题"&gt;&lt;/i&gt;
 &lt;span class="sr-only"&gt;链接到标题&lt;/span&gt;
 &lt;/a&gt;
&lt;/h2&gt;
&lt;p&gt;YC Podcast 上，投资人 Peter Steinberger 说了一句让全场安静的话：&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;&amp;ldquo;The real breakthrough isn&amp;rsquo;t making models bigger, it&amp;rsquo;s making them think longer at test time.&amp;rdquo;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;翻译过来就是：&lt;strong&gt;真正改变游戏规则的，不是把模型造得更大，而是让模型在推理时想得更久、更深。&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;这句话的冲击力在于，它直接挑战了过去三年 AI 行业最根深蒂固的信仰——Scaling Law。我们习惯了这样的叙事：只要堆更多参数、喂更多数据、烧更多 GPU，模型就会自然变聪明。GPT-3 到 GPT-4 的跃迁似乎证明了这一点。&lt;/p&gt;
&lt;p&gt;但 2025 年的信号越来越清晰：&lt;strong&gt;预训练的边际收益正在递减&lt;/strong&gt;。同样的算力投入，带来的能力提升曲线正在变平。当行业还在争论&amp;quot;下一个万亿参数模型什么时候来&amp;quot;时，一条新的曲线已经悄然上升——&lt;strong&gt;测试时计算扩展（Test-Time Compute Scaling）&lt;/strong&gt;，或者说，&lt;strong&gt;递归推理&lt;/strong&gt;。&lt;/p&gt;
&lt;p&gt;如果堆参数不是答案，那什么是？&lt;/p&gt;
&lt;p&gt;答案是：&lt;strong&gt;让模型在推理时调用自身，像人类一样反复思考。&lt;/strong&gt;&lt;/p&gt;
&lt;hr&gt;
&lt;h2 id="二递归推理不是-cot-的改良而是范式跃迁"&gt;
 二、递归推理：不是 CoT 的改良，而是范式跃迁
 &lt;a class="heading-link" href="#%e4%ba%8c%e9%80%92%e5%bd%92%e6%8e%a8%e7%90%86%e4%b8%8d%e6%98%af-cot-%e7%9a%84%e6%94%b9%e8%89%af%e8%80%8c%e6%98%af%e8%8c%83%e5%bc%8f%e8%b7%83%e8%bf%81"&gt;
 &lt;i class="fa-solid fa-link" aria-hidden="true" title="链接到标题"&gt;&lt;/i&gt;
 &lt;span class="sr-only"&gt;链接到标题&lt;/span&gt;
 &lt;/a&gt;
&lt;/h2&gt;
&lt;p&gt;要理解递归推理，得先看清它不是什么。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;思维链（Chain of Thought, CoT）&lt;/strong&gt; 是第一步突破。它让模型把推理过程&amp;quot;说出来&amp;quot;，像解数学题时写下步骤一样。但 CoT 有个根本限制：它是&lt;strong&gt;线性的、单次的、不可回头的&lt;/strong&gt;。模型从左写到右，一旦某个中间步骤出错，整个推理就可能崩塌。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;递归推理&lt;/strong&gt; 走的完全是另一条路。&lt;/p&gt;
&lt;p&gt;2025 年 2 月，一篇题为 &lt;em&gt;Scaling up test-time compute with latent reasoning: A recurrent depth approach&lt;/em&gt; 的论文（arXiv:2502.05171）提出了一个关键洞察：&lt;strong&gt;真正高效的推理，发生在模型的隐藏状态空间里，而不是 token 空间里。&lt;/strong&gt;&lt;/p&gt;</description></item></channel></rss>