Microsoftは、同社の軽量Phi-3 Mini AIモデルの最新版は、GPT-3.5などの競合他社に匹敵すると同時に、携帯電話に導入できるほど十分に小さいと主張している。
Phi-3 Mini は、3.8 兆 3.3 億個のトークンでトレーニングされた 2.7 億個のパラメーターの言語モデルです。この数字は、Microsoft が提供する Phi-2 の XNUMX 億パラメータよりも増加しています。 導入 12月2023インチ
トレーニング モデルに可能な限り多くを詰め込むのではなく、推論に焦点を当てました。 Microsoft は次のように述べています。「例として、特定の日のプレミア リーグの試合結果は、フロンティア モデルの優れたトレーニング データである可能性がありますが、ミニ サイズ モデルの「推論」のためにより多くのモデル容量を残すために、そのような情報を削除する必要があります。 」
的を絞ったアプローチということは、Phi-3 は競合他社と比べて幅広い知識を持っていないかもしれないが、推論に関してはそれ以上ではないにしても、少なくとも同等か優れている、と Microsoft が主張していることを意味します。で 研究論文 [PDF]、Microsoft は、これにより自社の小規模な言語モデルが「合計パラメータがわずか 3.5B の GPT-3.8 や Mixtral などの高機能モデルのレベルに達することができた」と述べています (たとえば、Mixtral の合計パラメータは 45B です)。
この調査では、使用されたトレーニング データが「さまざまなオープン インターネット ソースからの、厳しくフィルタリングされた Web データ」と LLM で生成されたデータで構成されていたことも指摘しています。 LLM のトレーニングに使用されるデータ ソースは次の主題です。 いくつかの訴訟.
Phi-3 Mini はサイズが小さいため、スマートフォン上でオフラインで実行できるとのことです。研究者らは、約1.8GBのメモリを占有させることが可能で、デバイス上でネイティブに動作するA14 Bionicチップを搭載したiPhone 16でオフラインで試してみたと述べた。論文の中で研究者らは、ファイ3ミニが詩を書いたり、ヒューストンでやるべきことを提案したりするスクリーンショットを示している。
研究者らはまた、言語の理解と推論に焦点を当てることに内在するマイナス面も強調している。 「このモデルには、あまりにも多くの『事実の知識』を保存する能力がまったくありません。」これは、検索エンジンで強化することである程度軽減できます。ただし、これではオフラインで実行できるという意味が失われます。
現在、言語は主に英語に制限されており、ほとんどの LLM に固有の問題 (幻覚、バイアス増幅、不適切なコンテンツの生成) が Phi-3 Mini にも見られます。
研究者らは論文の中で、「これらの課題に完全に対処するためには、今後重要な取り組みが必要である」と述べている。
比較的大規模なモデルも、それぞれ 3 億個と 3 億個のパラメーターを備えた Phi-7 Small と Phi-14 Medium の形で発表されています。
Victor Botev 氏、CTO 兼共同創設者 アイリスアイは次のように語っています。「Microsoft の Phi-3 モデルの発表は、AI 開発における継続的な傾向を表しています。 Microsoft は、ますます大規模なモデルを追い求めるのではなく、より慎重に厳選されたデータと専門的なトレーニングを備えたツールを開発しています。これにより、何兆ものパラメータを持つモデルにかかる膨大な計算コストを使わずに、パフォーマンスと推論能力を向上させることができます。この約束を果たすことは、AI ソリューションを求める企業にとって導入の大きな障壁を取り払うことを意味します。
「マイクロソフトは賢明にも、『大きいほど良い』という考え方を超えて検討しています。広範なビジネスおよび消費者向け AI アプリケーションでは、膨大なパラメータ数よりも実現可能性と具体性の方が重要です。 Phi-3 のようなモデルは、適切なデータとトレーニング アプローチがあれば、高度な AI 機能を実現するためにこれまで以上に大規模なモデルを構築する必要がないことを明確に示しています。これは、コストと品質の比率が重要なビジネスにとって決定的な要素です。」 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/
