微软声称其轻量级 Phi-3 Mini AI 模型的最新版本可以与 GPT-3.5 等竞争对手相媲美，同时体积小到足以部署在手机上。
Phi-3 Mini 是一个拥有 3.8 亿参数的语言模型，在 3.3 万亿个代币上进行训练。这个数字高于 Phi-2.7 的 2 亿个参数，微软 介绍 在十二月2023。
重点不是将尽可能多的内容塞进训练模型中，而是放在推理上。微软表示：“举个例子，英超联赛某一天的比赛结果可能是前沿模型的良好训练数据，但我们需要删除这些信息，为迷你尺寸模型留下更多的‘推理’能力” ”。
微软声称，这种有针对性的方法意味着，虽然 Phi-3 可能不具备其竞争对手那样广泛的知识，但在推理方面，它至少同样好，甚至更好。在一个 研究报告 [PDF]，微软指出，这使得它的小语言模型“达到了 GPT-3.5 或 Mixtral 等高性能模型的水平，总参数只有 3.8B（而 Mixtral 的总参数为 45B）。”
该研究还指出，使用的培训数据包括“来自各种开放互联网来源的经过严格过滤的网络数据”和法学硕士生成的数据。用于培训法学硕士的数据源是 几宗诉讼.
据我们所知，Phi-3 Mini 的小尺寸意味着它可以在智能手机上离线运行。研究人员表示，它可以占用大约 1.8 GB 的内存，并在配备 A14 仿生芯片的 iPhone 16 上进行离线测试。在论文中，研究人员展示了 Phi-3 Mini 写一首诗并建议在休斯顿要做的事情的屏幕截图。
研究人员还强调了专注于语言理解和推理的固有缺点。 “该模型根本没有能力存储太多的‘事实知识’”，通过使用搜索引擎来增强它可以在一定程度上缓解这一问题。然而，这将破坏能够离线运行它的意义。
目前语言主要限于英语，大多数法学硕士固有的问题——幻觉、偏见放大和不适当内容的生成——也可以在 Phi-3 Mini 中找到。
研究人员在论文中表示：“要充分应对这些挑战，还有大量工作要做。”
相对而言，更大的模型也以 Phi-3 Small 和 Phi-3 Medium 的形式发布，分别具有 7 和 14 亿个参数。
Victor Botev，首席技术官兼联合创始人 鸢尾花，告诉我们：“微软发布的 Phi-3 模型代表了人工智能发展的持续趋势。微软并没有追求更大的模型，而是正在开发具有更精心策划的数据和专门培训的工具。这可以提高性能和推理能力，而无需花费数万亿参数的模型的大量计算成本。实现这一承诺意味着为寻求人工智能解决方案的企业消除巨大的采用障碍。
“微软明智地超越了‘越大越好’的思维模式。对于广泛的商业和消费者人工智能应用来说，可行性和特异性比大量参数更重要。像 Phi-3 这样的模型清楚地表明，通过正确的数据和训练方法，先进的人工智能功能不需要构建更大的模型——这对于成本质量比至关重要的企业来说是一个决定因素。” ®
