ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਦਾਅਵਾ ਕੀਤਾ ਹੈ ਕਿ ਇਸਦੇ ਹਲਕੇ ਭਾਰ ਵਾਲੇ Phi-3 ਮਿੰਨੀ AI ਮਾਡਲ ਦੇ ਪ੍ਰਤੀਯੋਗੀ ਮੁਕਾਬਲੇਬਾਜ਼ਾਂ ਜਿਵੇਂ ਕਿ GPT-3.5 ਇੱਕ ਫੋਨ 'ਤੇ ਤਾਇਨਾਤ ਕੀਤੇ ਜਾਣ ਲਈ ਕਾਫੀ ਛੋਟਾ ਹੈ।
ਫਾਈ-3 ਮਿੰਨੀ 3.8 ਟ੍ਰਿਲੀਅਨ ਟੋਕਨਾਂ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਇੱਕ 3.3 ਬਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਭਾਸ਼ਾ ਮਾਡਲ ਹੈ। ਇਹ ਅੰਕੜਾ ਫਾਈ-2.7 ਦੇ 2 ਬਿਲੀਅਨ ਮਾਪਦੰਡਾਂ ਤੋਂ ਉੱਪਰ ਹੈ, ਜੋ ਕਿ ਮਾਈਕ੍ਰੋਸਾਫਟ ਪੇਸ਼ ਕੀਤਾ ਦਸੰਬਰ 2023 ਵਿੱਚ.
ਸਿਖਲਾਈ ਦੇ ਮਾਡਲਾਂ ਵਿੱਚ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਢਾਲਣ ਦੀ ਬਜਾਏ, ਧਿਆਨ ਤਰਕ 'ਤੇ ਸੀ। ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਕਿਹਾ: "ਉਦਾਹਰਣ ਵਜੋਂ, ਕਿਸੇ ਖਾਸ ਦਿਨ ਵਿੱਚ ਪ੍ਰੀਮੀਅਰ ਲੀਗ ਵਿੱਚ ਇੱਕ ਖੇਡ ਦਾ ਨਤੀਜਾ ਫਰੰਟੀਅਰ ਮਾਡਲਾਂ ਲਈ ਵਧੀਆ ਸਿਖਲਾਈ ਡੇਟਾ ਹੋ ਸਕਦਾ ਹੈ, ਪਰ ਸਾਨੂੰ ਮਿੰਨੀ ਆਕਾਰ ਦੇ ਮਾਡਲਾਂ ਲਈ 'ਤਰਕ' ਲਈ ਹੋਰ ਮਾਡਲ ਸਮਰੱਥਾ ਛੱਡਣ ਲਈ ਅਜਿਹੀ ਜਾਣਕਾਰੀ ਨੂੰ ਹਟਾਉਣ ਦੀ ਲੋੜ ਹੈ। "
ਟਾਰਗੇਟਡ ਪਹੁੰਚ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਜਦੋਂ ਕਿ ਫਾਈ-3 ਕੋਲ ਆਪਣੇ ਪ੍ਰਤੀਯੋਗੀਆਂ ਦੇ ਗਿਆਨ ਦੀ ਪੂਰੀ ਚੌੜਾਈ ਨਹੀਂ ਹੋ ਸਕਦੀ, ਇਹ ਘੱਟੋ ਘੱਟ ਓਨਾ ਹੀ ਚੰਗਾ ਹੈ, ਜੇ ਬਿਹਤਰ ਨਹੀਂ, ਜਦੋਂ ਇਹ ਤਰਕ ਦੀ ਗੱਲ ਆਉਂਦੀ ਹੈ, ਜਾਂ ਮਾਈਕ੍ਰੋਸਾਫਟ ਦਾ ਦਾਅਵਾ ਕਰਦਾ ਹੈ। ਵਿੱਚ ਇੱਕ ਖੋਜ ਪੇਪਰ [PDF], ਮਾਈਕਰੋਸਾਫਟ ਨੋਟ ਕਰਦਾ ਹੈ ਕਿ ਇਸਨੇ ਇਸਦੇ ਛੋਟੇ ਭਾਸ਼ਾ ਮਾਡਲ ਨੂੰ "ਉੱਚ ਸਮਰੱਥਾ ਵਾਲੇ ਮਾਡਲਾਂ ਜਿਵੇਂ ਕਿ GPT-3.5 ਜਾਂ Mixtral ਦੇ ਪੱਧਰ ਤੱਕ ਪਹੁੰਚਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਹੈ ਜਿਸ ਵਿੱਚ ਸਿਰਫ਼ 3.8B ਕੁੱਲ ਪੈਰਾਮੀਟਰ ਹਨ (ਜਦੋਂ ਕਿ Mixtral ਵਿੱਚ 45B ਕੁੱਲ ਮਾਪਦੰਡ ਹਨ)।"
ਖੋਜ ਵਿੱਚ ਇਹ ਵੀ ਨੋਟ ਕੀਤਾ ਗਿਆ ਹੈ ਕਿ ਵਰਤੇ ਗਏ ਸਿਖਲਾਈ ਡੇਟਾ ਵਿੱਚ "ਭਾਰੀ ਤੌਰ 'ਤੇ ਫਿਲਟਰ ਕੀਤੇ ਵੈੱਬ ਡੇਟਾ ... ਵੱਖ-ਵੱਖ ਖੁੱਲੇ ਇੰਟਰਨੈਟ ਸਰੋਤਾਂ ਤੋਂ" ਅਤੇ LLM ਦੁਆਰਾ ਤਿਆਰ ਡੇਟਾ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ। LLM ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤੇ ਜਾਣ ਵਾਲੇ ਡੇਟਾ ਸਰੋਤਾਂ ਦਾ ਵਿਸ਼ਾ ਹੈ ਕਈ ਮੁਕੱਦਮੇ.
Phi-3 Mini ਦੇ ਛੋਟੇ ਆਕਾਰ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇਹ ਸਮਾਰਟਫੋਨ 'ਤੇ ਔਫਲਾਈਨ ਚੱਲ ਸਕਦਾ ਹੈ, ਸਾਨੂੰ ਦੱਸਿਆ ਗਿਆ ਹੈ। ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਕਿਹਾ ਕਿ ਇਸਨੂੰ ਲਗਭਗ 1.8 GB ਮੈਮੋਰੀ 'ਤੇ ਕਬਜ਼ਾ ਕਰਨ ਲਈ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਆਈਫੋਨ 14 'ਤੇ ਇੱਕ A16 ਬਾਇਓਨਿਕ ਚਿੱਪ ਦੇ ਨਾਲ ਔਫਲਾਈਨ ਅਜ਼ਮਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ਜੋ ਇੱਕ ਡਿਵਾਈਸ 'ਤੇ ਨੇਟਿਵ ਤੌਰ 'ਤੇ ਚੱਲਦਾ ਹੈ। ਪੇਪਰ ਵਿੱਚ, ਖੋਜਕਰਤਾ ਫਾਈ-3 ਮਿੰਨੀ ਦੇ ਸਕਰੀਨਸ਼ਾਟ ਦਿਖਾਉਂਦੇ ਹਨ ਜੋ ਇੱਕ ਕਵਿਤਾ ਲਿਖਦੇ ਹਨ ਅਤੇ ਹਿਊਸਟਨ ਵਿੱਚ ਕਰਨ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਦਾ ਸੁਝਾਅ ਦਿੰਦੇ ਹਨ।
ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਭਾਸ਼ਾ ਦੀ ਸਮਝ ਅਤੇ ਤਰਕ 'ਤੇ ਧਿਆਨ ਕੇਂਦ੍ਰਤ ਕਰਨ ਵਿੱਚ ਮੌਜੂਦ ਨਨੁਕਸਾਨਾਂ ਨੂੰ ਵੀ ਉਜਾਗਰ ਕੀਤਾ। "ਮਾਡਲ ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ 'ਤੱਥੀ ਗਿਆਨ' ਨੂੰ ਸਟੋਰ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਨਹੀਂ ਹੈ," ਕੋਈ ਚੀਜ਼ ਜਿਸ ਨੂੰ ਖੋਜ ਇੰਜਣ ਨਾਲ ਵਧਾ ਕੇ ਕੁਝ ਹੱਦ ਤੱਕ ਘਟਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਇਹ ਇਸਨੂੰ ਔਫਲਾਈਨ ਚਲਾਉਣ ਦੇ ਯੋਗ ਹੋਣ ਦੇ ਬਿੰਦੂ ਨੂੰ ਹਰਾ ਦੇਵੇਗਾ.
ਵਰਤਮਾਨ ਵਿੱਚ ਭਾਸ਼ਾ ਜਿਆਦਾਤਰ ਅੰਗ੍ਰੇਜ਼ੀ ਤੱਕ ਸੀਮਤ ਹੈ, ਅਤੇ ਜ਼ਿਆਦਾਤਰ LLM ਵਿੱਚ ਨਿਹਿਤ ਸਮੱਸਿਆਵਾਂ - ਭਰਮ, ਪੱਖਪਾਤ, ਅਤੇ ਅਣਉਚਿਤ ਸਮੱਗਰੀ ਦੀ ਉਤਪੱਤੀ - ਵੀ ਫਾਈ-3 ਮਿੰਨੀ ਵਿੱਚ ਲੱਭੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ।
ਖੋਜਕਰਤਾ ਪੇਪਰ ਵਿੱਚ ਕਹਿੰਦੇ ਹਨ: "ਇਨ੍ਹਾਂ ਚੁਣੌਤੀਆਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਹੱਲ ਕਰਨ ਲਈ ਮਹੱਤਵਪੂਰਨ ਕੰਮ ਅੱਗੇ ਹੈ।"
ਵੱਡੇ ਮਾਡਲਾਂ - ਮੁਕਾਬਲਤਨ ਤੌਰ 'ਤੇ ਬੋਲਦੇ ਹੋਏ - ਕ੍ਰਮਵਾਰ 3 ਅਤੇ 3 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਨਾਲ ਫਾਈ-7 ਸਮਾਲ ਅਤੇ ਫਾਈ-14 ਮੀਡੀਅਮ ਦੇ ਰੂਪ ਵਿੱਚ ਘੋਸ਼ਿਤ ਕੀਤੇ ਗਏ ਹਨ।
ਵਿਕਟਰ ਬੋਟੇਵ, ਸੀਟੀਓ ਅਤੇ ਸਹਿ-ਸੰਸਥਾਪਕ ਵਿਖੇ ਆਈਰਿਸ.ਆਈ, ਨੇ ਸਾਨੂੰ ਦੱਸਿਆ: “Microsoft ਦੀ Phi-3 ਮਾਡਲ ਦੀ ਘੋਸ਼ਣਾ AI ਵਿਕਾਸ ਵਿੱਚ ਇੱਕ ਨਿਰੰਤਰ ਰੁਝਾਨ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਕਦੇ-ਵੱਡੇ ਮਾਡਲਾਂ ਦਾ ਪਿੱਛਾ ਕਰਨ ਦੀ ਬਜਾਏ, ਮਾਈਕ੍ਰੋਸਾਫਟ ਵਧੇਰੇ ਧਿਆਨ ਨਾਲ ਕਿਉਰੇਟ ਕੀਤੇ ਡੇਟਾ ਅਤੇ ਵਿਸ਼ੇਸ਼ ਸਿਖਲਾਈ ਦੇ ਨਾਲ ਟੂਲ ਵਿਕਸਿਤ ਕਰ ਰਿਹਾ ਹੈ। ਇਹ ਖਰਬਾਂ ਦੇ ਪੈਰਾਮੀਟਰਾਂ ਵਾਲੇ ਮਾਡਲਾਂ ਦੇ ਵੱਡੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਖਰਚਿਆਂ ਤੋਂ ਬਿਨਾਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਤਰਕ ਕਰਨ ਦੀਆਂ ਯੋਗਤਾਵਾਂ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਇਸ ਵਾਅਦੇ ਨੂੰ ਪੂਰਾ ਕਰਨ ਦਾ ਮਤਲਬ AI ਹੱਲਾਂ ਦੀ ਤਲਾਸ਼ ਕਰ ਰਹੇ ਕਾਰੋਬਾਰਾਂ ਲਈ ਗੋਦ ਲੈਣ ਦੀ ਵੱਡੀ ਰੁਕਾਵਟ ਨੂੰ ਤੋੜਨਾ ਹੋਵੇਗਾ।
“Microsoft ਸਮਝਦਾਰੀ ਨਾਲ 'ਵੱਡਾ ਬਿਹਤਰ ਹੈ' ਮਾਨਸਿਕਤਾ ਤੋਂ ਪਰੇ ਦੇਖ ਰਿਹਾ ਹੈ। ਵਿਆਪਕ ਵਪਾਰ ਅਤੇ ਖਪਤਕਾਰ AI ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ, ਵਿਵਹਾਰਕਤਾ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਵੱਡੇ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਿਣਤੀ ਨਾਲੋਂ ਵਧੇਰੇ ਮਹੱਤਵਪੂਰਨ ਹਨ। Phi-3 ਵਰਗੇ ਮਾਡਲ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ ਸਹੀ ਡੇਟਾ ਅਤੇ ਸਿਖਲਾਈ ਪਹੁੰਚ ਦੇ ਨਾਲ, ਉੱਨਤ AI ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਕਦੇ-ਵੱਡੇ ਮਾਡਲ ਬਣਾਉਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ - ਕਾਰੋਬਾਰਾਂ ਲਈ ਇੱਕ ਨਿਰਣਾਇਕ ਕਾਰਕ ਜਿੱਥੇ ਲਾਗਤ-ਤੋਂ-ਗੁਣਵੱਤਾ ਅਨੁਪਾਤ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦਾ ਹੈ। ®
- ਐਸਈਓ ਦੁਆਰਾ ਸੰਚਾਲਿਤ ਸਮੱਗਰੀ ਅਤੇ PR ਵੰਡ. ਅੱਜ ਹੀ ਵਧਾਓ।
- PlatoData.Network ਵਰਟੀਕਲ ਜਨਰੇਟਿਵ ਏ.ਆਈ. ਆਪਣੇ ਆਪ ਨੂੰ ਸਮਰੱਥ ਬਣਾਓ। ਇੱਥੇ ਪਹੁੰਚ ਕਰੋ।
- ਪਲੈਟੋਏਆਈਸਟ੍ਰੀਮ। Web3 ਇੰਟੈਲੀਜੈਂਸ। ਗਿਆਨ ਵਧਾਇਆ। ਇੱਥੇ ਪਹੁੰਚ ਕਰੋ।
- ਪਲੇਟੋਈਐਸਜੀ. ਕਾਰਬਨ, ਕਲੀਨਟੈਕ, ਊਰਜਾ, ਵਾਤਾਵਰਨ, ਸੂਰਜੀ, ਕੂੜਾ ਕਰਕਟ ਪ੍ਰਬੰਧਨ. ਇੱਥੇ ਪਹੁੰਚ ਕਰੋ।
- ਪਲੈਟੋ ਹੈਲਥ। ਬਾਇਓਟੈਕ ਅਤੇ ਕਲੀਨਿਕਲ ਟਰਾਇਲ ਇੰਟੈਲੀਜੈਂਸ। ਇੱਥੇ ਪਹੁੰਚ ਕਰੋ।
- ਸਰੋਤ: https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/
