今日のマイクロソフト 主張した 「利用可能な中で最も機能的でコスト効率の高い小型言語モデル（SLM）」をリリースしたと述べた。 ファイ-3—その 3 回目の反復 小言語モデルの Phi ファミリー (SLM) - 同等のサイズのモデルやいくつかのより大きなモデルよりも優れたパフォーマンスを発揮します。
Small Language Model (SLM) は、特定の言語関連のタスクを非常に効率的に実行できるように設計された AI モデルの一種です。広範囲の汎用タスクに適した大規模言語モデル (LLM) とは異なり、SLM は小規模なデータセットに基づいて構築されており、特定のユースケースでの効率とコスト効率が向上します。
Phi-3にはさまざまなバージョンがあり、最小のものはPhi-3 Miniで、3.8兆3.3億のトークンでトレーニングされた3億のパラメータモデルであるとMicrosoftは説明した。比較的小さいサイズにもかかわらず、ラマ XNUMX のコーパスは重量を超えています 15兆 データのトークン - Phi-3 Mini は、依然として 128K のコンテキスト トークンを処理できます。これにより、GPT-4 に匹敵し、トークン容量の点で Llama-3 や Mistral Large を上回ります。
言い換えれば、Meta.ai の Llama-3 や Mistral Large のような巨大 AI は、この軽量モデルが苦戦し始めるかなり前に、長時間のチャットやプロンプトの後に崩壊する可能性があります。
Phi-3 Mini の最も重要な利点の 14 つは、一般的なスマートフォンに適合して実行できることです。 Microsoft はこのモデルを iPhone 14 でテストしましたが、問題なく動作し、3 秒あたり 1.8 個のトークンが生成されました。 Phi-XNUMX Mini の実行には XNUMXGB の VRAM しか必要とせず、より集中的な要件を持つユーザーにとって軽量で効率的な代替手段となります。
Phi-3 Mini は、ハイエンドのプログラマーや広範な要件を持つユーザーにはあまり適していないかもしれませんが、特定のニーズを持つユーザーにとっては効果的な代替手段となる可能性があります。たとえば、チャットボットを必要とするスタートアップや、データ分析に LLM を活用している人々は、データの整理、情報の抽出、数的推論、エージェントの構築などのタスクに Phi-3 Mini を使用できます。モデルにインターネット アクセスが与えられると、モデルは非常に強力になり、リアルタイム情報による機能の不足を補うことができます。
Phi-3 Mini は、Microsoft が可能な限り最も有用な情報を含むデータセットを厳選することに重点を置いているため、高いテスト スコアを達成しています。実際、より広範なファイファミリーは、事実の知識を必要とするタスクには適していませんが、高い推論スキルにより、主要な競合他社よりも優れています。 Phi-3 Medium (14 億パラメータ モデル) は、GPT-3.5 (ChatGPT の無料バージョンを強化する LLM) のような強力な LLM を一貫して上回り、Mini バージョンは合成ベンチマークの大部分で Mixtral-8x7B のような強力なモデルを上回ります。
ただし、Phi-3 は、その前身である Phi-2 とは異なり、オープンソースではないことに注意してください。代わりに、それは モデルを開くつまり、アクセス可能で使用可能ですが、より広範な使用と商用アプリケーションを可能にする Phi-2 と同じオープンソース ライセンスはありません。
Microsoftは今後数週間のうちに、Phi-3 Small（3億パラメータ）や前述のPhi-7 Mediumを含む、Phi-3ファミリーのさらに多くのモデルをリリースすると発表した。
Microsoft は、Phi-3 Mini を Azure AI Studio、Hugging Face、および Ollama で利用できるようにしました。このモデルは、Windows DirectML をサポートするとともに、さまざまな GPU、CPU、さらにはモバイル ハードウェアにわたるクロスプラットフォーム サポートを備え、ONNX ランタイム向けに命令が調整および最適化されています。
暗号ニュースを常に把握し、受信トレイで毎日更新を入手してください。
