Mark Chen的观点是，虽然的确在预训练方面遇到一些瓶颈，但OpenAI内部的观点是，已经有了两种非常活跃的范式，让人生成无限希望。

他们探索了一系列模型的测试时Scaling范式，发现它们真的在迅速发展！

在推理模型的Scaling上，也没有同样的障碍。

其实，从早期入职OpenAI后，研究者就一直遇到多个技术挑战。现在这些挑战已经非常具体，在Mark Chen看来，没有什么是完全无法应对的。

在OpenAI内部，大家经常说推理范式已经达到了一定的成熟度。有些产品已经有了与市场的契合点，虽然进展仍然非常缓慢。

过去几周内，最令人惊讶的使用场景，莫过于和o1进行头脑风暴了。

o1和GPT-4的对比，让人感受到了全新的深度：人类仿佛终于有了一个真正能互动的陪练伙伴，而非仅仅对自己的想法进行评论。

它仿佛一个真正的实体，非常有参与感。

o1的推理直觉，是如何产生的

OpenAI的研究者，是如何想到o1中的推理直觉的呢？

这是一个集体努力的结果，不过他们也进行了很长时间的工作，进行了一些探索性的重点尝试。

在两年前，他们就觉得，AI虽然非常聪明，但在某些方面是不足的。不知为什么，总是感觉不太像AGI。

当时他们假设，原因在于，这是因为AI被要求立即做出回应。

就算我们要求一个人类立即做出回应，ta也未必能给出最好的答案。

一个人可能会说，我需要思考一会，或者我需要做一些研究，明天再答复你。

就在这里，OpenAI研究者发现了亮点！

其实这里缺少的，是连接系统一和系统二之间的鸿沟。

快速思考有，知识也有，但却没有慢速思考，核心假设就在这里。

研究者做了许多不同尝试，来解决这个挑战。

一群非常具有探索精神的研究者，获得了一些生命迹象。

围绕这些迹象，他们组建了研究团队，扩大的项目规模，投入了大量的数据生成工作。

从快速进展中获取预测结果，是整个案例中最难的部分。

开始时，就像登月计划一样，会遭遇很多失败。

有三四个月，他们完全没取得多少有意义的进展。

好在最终，总会有人获得重大突破。这也就给了他们足够的动力来投入更多资源，往前推动一点。

从o1推出几个月后，OpenAI和许多外部合作伙伴进行了交流。

最酷的一件事就是，他们发现它比使用微调方法要好得多——它已经不太容易被问题难倒了。

很多应用已经超出了研究者之前关注的数学和科学领域。当看到AI的推理能力能泛化到这些领域，真的令人惊喜。

比如在医学领域，模型在医学症状的判断上，涉及形成假设、验证，随后再形成新的假设。

即使在研究者没有特别关注的领域，模型也进展得很快，比如医学、法律推理。

而他们也确信，在未来还会有其他还未测试过的领域，AI会有重大进展。

OpenAI仍然注重安全

Mark Chen肯定地说，目前OpenAI仍然像早期那样，致力于研究和安全。

为此， 他 管理着一个非常庞大的研究项目组合。并且 一直在思考着应该分配多少资源和力量来进行探索性研究，而不是短期的即时项目。

不过，在这方面，OpenAI和很多大型基础实验室不同。

这些大实验室有很多优秀的研究者，可以没有方向地进行研究，自由地去做任何事。

但对OpenAI来说，他们比这些实验室的规模都要小，因此需要更有方向性。

他们选择了一些非常有信心的探索性项目，在这些领域内，给了研究者很大的自由度。

也就是说，OpenAI并不会进行毫无目标的探索，而且充分利用了自己规模小的优势。

现在是AI创业的好时机

OpenAI的研究者也认为，现在是基于AI创立初创公司的好时机。

基础模型的玩家专注的是通用性。

但像OpenAI这样的公司，不可能涉足每一个垂直领域。

在特定领域定制一个模型，有很多空间和可能性。

现在，我们已经可以看到一个丰富的初创企业生态系统，这些企业在OpenAI的基础上构建了各种类型的应用。

通常情况下，初创企业之所以能够成功，是因为他们知道并坚信某个秘密，而市场上的其他人并不知道这个秘密。

在AI领域，实际上就是在一个不断变化的技术栈上进行构建，我们无法预测下一个模型会何时出现。

表现最好的初创企业，就是那些有直觉，在刚刚开发发挥作用的边缘技术上进行构建的企业，它们有一种生命力。