微软AI主管探讨AI趋势：大小模型齐头并进，规模法则尚未极限

一方面，大型模型的规模化竞赛仍将持续，并融入更多模态的数据，例如视频、图像等。另一方面，利用大型模型训练小型模型的技术（如蒸馏）兴起，高效的小型模型将在特定场景中发挥巨大作用。Suleyman补充称，未来，知识将被浓缩到更小、更便宜的模型中，嵌入各种设备，实现真正的环境感知革命。

对于创业者而言，Suleyman认为，理解并利用提示工程至关重要。通过提供高质量的指令集，创业者可以引导预训练模型，使其符合自身品牌价值观，打造独特产品。此外，小型模型蕴藏着巨大机会，创业者可以利用其低成本和高效性，开发针对特定用例的应用。

采访中，Suleyman还强调了数据整合的重要性。合成数据将成为训练模型的关键，但如何获取、整合这些数据仍需深入探讨。

此外，这位微软AI主管还谈到了新模式的加入，例如视频和图像的整合，以及跨复杂数字界面的动作轨迹的理解和数据收集。他认为，这将带来许多令人印象深刻的结果。对于企业家来说，如何利用这些新趋势和技术进行创新，将是未来成功的关键。

以下为全文内容，大家enjoy~ ✌️（为增加可读性，我们对原文进行了简要编辑）

Q：未来几年，在不断发展的模型 (models) 格局中，有哪些事情值得关注？

A：模型的规模既在变大，也在变小，这种趋势几乎肯定会继续下去。

去年开始流行一种新方法，称为蒸馏。这类方法利用大型、高成本模型来训练小型模型。这种监督效果相当不错，目前已有充分的证据支持这一点。

因此，规模仍然是这场竞争中的关键因素，未来还有很大的发展空间，数据量也将持续增长。

至少在接下来的两三年内，“规模法则”在提供超预期表现方面的进度不会有任何放缓。

Q: 还有哪些新的模式可以加入？

A:人们也在考虑将视频、图像以及跨复杂数字界面的动作轨迹等新的模态融入模型中。

但我们真正感兴趣的是跨复杂数字界面的动作轨迹，比如从浏览器跳到桌面。再转移到手机，从不同的生态系统中切换，无论是在封闭的花园还是开放的网络中。

我们试图理解这些轨迹，收集大量数据，使用监督学习和微调等方法。我认为这将带来许多令人印象深刻的结果。

Q: 在数据方面，人们在哪些方面思考得不够多？

A:数据的讨论角度很多，经典的问题是哪些数据可以使用及其质量。我认为网上已经有大量讨论。

但人们没有花足够时间思考新数据的来源，以及如何整合这些数据。

例如，合成数据是一个有趣的领域，如果我们有这样的数据，可以训练出更好的小模型和大模型。如何获取这些数据并确保其整合是一个关键问题。但是如何获取这些数据并确保它们被整合起来，这一点还没有得到足够的讨论。

Q：在处理模型时，提示 (prompt) 和问题 (question) 之间有什么区别？

A：提示不仅仅是你问聊天机器人的问题。当你问聊天机器人一个问题，那是一个问题；当你写一个三页的风格指南并附上模仿的例子，那是一个提示。

提示是你的高质量指令集，指导预训练模型以特定方式行为。令人惊讶的是，模型只需几页指令就能表现得非常不同。

为了让模型表现出细微、精准和符合品牌价值的行为，你需要展示成千上万个良好行为的例子，并将这些例子微调到模型中。这是预训练过程的延续，使用高质量且准确的数据。

好消息是，成千上万个例子对许多细分领域或特定垂直领域来说是非常容易获得的。这是一个优势，初创公司在高质量微调预训练模型方面有很大的空间。

Q：小模型会带来哪些机会？创业者如何利用它们做一些有趣且独特的事情？

A：小模型无疑代表着未来。

大型模型在处理查询时会激活数十亿个不相关的神经表示，尽管它们非常高效地进行搜索和引用数亿个节点，但并不总是必要的。

我们将把知识浓缩到更小、更便宜的模型中，这些模型可以驻留在各种设备上，如耳塞、可穿戴设备、耳环、植物或传感器。

这场环境感知革命长期以来一直被人们所期待，它将带来功能性设备。例如一个冰箱磁铁，冰箱磁铁是我能想到的最小的数字设备。它可以在早上迎接你，告诉你天气情况，告诉你冰箱里可能有什么或没有什么，并提醒你查看日历。

它可以在早上欢迎你，告诉你天气，告诉你冰箱里可能有什么或没有什么，并提醒你查看日历。

这种模型可能只有几千万个参数。虽然目前还没有人真正推动这一点，但任何两人团队都可以探索这一领域。

Q：人们在接下来的两天里应该思考什么问题？

A：问题是，技术人员需要为设计一个更加人性化的未来做些什么。

这包括思考技术如何进化人类，以及我们的情感、激情和同情心如何通过我们与技术不断变化的关系来表达。

Q：为什么说这是一个转型时刻？

A：我们有足够的证据表明，过去五十年的大技术转型重塑了事物的结构。

我认为这是一个创办公司、扩展公司、甚至转变职业的时刻。即使你不是企业家，无论你是活动家、组织者还是学者，现在是关注的时刻。

到2050年，列车将离站，情况会大不相同。我们现在有机会共同塑造和影响未来，没有什么是预定的。我们非常幸运能在这个时刻活着，这既是巨大的责任，也是令人振奋的机会。

本文来自华尔街见闻，欢迎下载APP查看更多