Microsoft hoje afirmou que lançou “os modelos de linguagem pequena (SLMs) mais capazes e econômicos disponíveis”, afirmando Phi-3—a terceira iteração de seu Família Phi de modelos de linguagem pequena (SLMs) – supera modelos de tamanhos comparáveis ​​e alguns modelos maiores.

Um Small Language Model (SLM) é um tipo de modelo de IA projetado para ser extremamente eficiente na execução de tarefas específicas relacionadas ao idioma. Ao contrário dos Large Language Models (LLMs), que são adequados para uma ampla gama de tarefas genéricas, os SLMs são construídos com base em um conjunto de dados menor para torná-los mais eficientes e econômicos para casos de uso específicos.

O Phi-3 vem em diferentes versões, explicou a Microsoft, sendo o menor o Phi-3 Mini, um modelo de 3.8 bilhões de parâmetros treinado em 3.3 trilhões de tokens. Apesar de seu tamanho comparativamente pequeno, o corpus do Llama-3 pesa mais de 15 trilhão tokens de dados – o Phi-3 Mini ainda é capaz de lidar com 128 mil tokens de contexto. Isso o torna comparável ao GPT-4 e supera o Llama-3 e o Mistral Large em termos de capacidade de token.

Em outras palavras, gigantes da IA ​​​​como Llama-3 no Meta.ai e Mistral Large podem entrar em colapso após um longo bate-papo ou avisar bem antes que este modelo leve comece a apresentar problemas.

Uma das vantagens mais significativas do Phi-3 Mini é a capacidade de caber e funcionar em um smartphone típico. A Microsoft testou o modelo em um iPhone 14 e funcionou sem problemas, gerando 14 tokens por segundo. A execução do Phi-3 Mini requer apenas 1.8 GB de VRAM, tornando-o uma alternativa leve e eficiente para usuários com requisitos mais específicos.

Embora o Phi-3 Mini possa não ser tão adequado para codificadores de última geração ou pessoas com requisitos amplos, pode ser uma alternativa eficaz para usuários com necessidades específicas. Por exemplo, startups que precisam de um chatbot ou pessoas que aproveitam LLMs para análise de dados podem usar o Phi-3 Mini para tarefas como organização de dados, extração de informações, raciocínio matemático e construção de agentes. Se o modelo tiver acesso à Internet, ele pode se tornar bastante poderoso, compensando sua falta de recursos com informações em tempo real.

Phi-3 Mini alcança altas pontuações em testes devido ao foco da Microsoft em organizar seu conjunto de dados com as informações mais úteis possíveis. A família Phi mais ampla, na verdade, não é boa para tarefas que exigem conhecimento factual, mas elevadas habilidades de raciocínio os posicionam acima dos principais concorrentes. Phi-3 Medium (um modelo de 14 bilhões de parâmetros) supera consistentemente LLMs poderosos como GPT-3.5 – o LLM que alimenta a versão gratuita do ChatGPT – e a versão Mini supera modelos poderosos como Mixtral-8x7B na maioria dos benchmarks sintéticos.

É importante notar, entretanto, que o Phi-3 não é de código aberto como seu antecessor, Phi-2. Em vez disso, é um modelo aberto, o que significa que é acessível e disponível para uso, mas não possui o mesmo licenciamento de código aberto que o Phi-2, o que permite um uso mais amplo e aplicações comerciais.

Nas próximas semanas, a Microsoft disse que lançará mais modelos da família Phi-3, incluindo Phi-3 Small (7 bilhões de parâmetros) e o já mencionado Phi-3 Medium.

A Microsoft disponibilizou Phi-3 Mini no Azure AI Studio, Hugging Face e Ollama. O modelo é ajustado por instrução e otimizado para ONNX Runtime com suporte para Windows DirectML, bem como suporte multiplataforma em diferentes GPU, CPU e até mesmo hardware móvel.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://decrypt.co/227974/microsoft-phi-3-mini-small-ai-language-model