ਜਨਰੇਟਿਵ ਡਾਟਾ ਇੰਟੈਲੀਜੈਂਸ

ਕਲਾਉਡ 3 ਓਪਸ ਚੈਟਬੋਟ ਰੈਂਕਿੰਗ 'ਤੇ ਚੋਟੀ ਦੇ ਸਥਾਨ 'ਤੇ ਹੈ

ਤਾਰੀਖ:

ਐਂਥਰੋਪਿਕ ਦੀ ਅਗਲੀ ਪੀੜ੍ਹੀ ਦੇ AI ਮਾਡਲ ਕਲਾਉਡ 3 ਓਪਸ ਨੇ ਚੈਟਬੋਟ ਅਰੇਨਾ ਲੀਡਰਬੋਰਡ 'ਤੇ ਪੋਲ ਪੋਜੀਸ਼ਨ ਲੈ ਲਈ ਹੈ, ਜਿਸ ਨਾਲ OpenAI ਦੇ GPT-4 ਨੂੰ ਦੂਜੇ ਸਭ ਤੋਂ ਵਧੀਆ ਸਥਾਨ 'ਤੇ ਧੱਕ ਦਿੱਤਾ ਗਿਆ ਹੈ।

ਕਿਉਂਕਿ ਇਹ ਪਿਛਲੇ ਸਾਲ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ਸੀ, ਇਹ ਪਹਿਲੀ ਵਾਰ ਹੈ ਜਦੋਂ ਕਲਾਉਡ 3 ਓਪਸ ਮਾਡਲ ਚੈਟਬੋਟ ਅਰੇਨਾ ਸੂਚੀ ਵਿੱਚ ਸਿਖਰ 'ਤੇ ਆਇਆ ਹੈ, ਜਿਸ ਵਿੱਚ ਸਾਰੇ ਤਿੰਨ ਕਲੌਡ 3 ਸੰਸਕਰਣ ਚੋਟੀ ਦੇ 10 ਵਿੱਚ ਹਨ।

ਕਲਾਉਡ 3 ਮਾਡਲ ਇੱਕ ਨਿਸ਼ਾਨ ਬਣਾਉਂਦੇ ਹਨ

LMSYS ਚੈਟਬੋਟ ਅਰੇਨਾ ਦਰਜਾਬੰਦੀ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਕਲਾਉਡ 3 ਸਨੇਟ ਨੇ ਜੇਮਿਨੀ ਪ੍ਰੋ ਦੇ ਨਾਲ ਸਾਂਝੇ ਚੌਥੇ ਸਥਾਨ 'ਤੇ ਕਬਜ਼ਾ ਕੀਤਾ ਹੈ ਜਦੋਂ ਕਿ ਕਲਾਉਡ 3 ਹਾਇਕੂ, ਜੋ ਇਸ ਸਾਲ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ਸੀ, GPT-4 ਦੇ ਪੁਰਾਣੇ ਸੰਸਕਰਣ ਦੇ ਨਾਲ ਛੇਵੇਂ ਸਥਾਨ 'ਤੇ ਹੈ।

ਪਰ ਕਲਾਊਡ 3 ਹਾਇਕੂ ਸੋਨੈੱਟ ਜਾਂ ਓਪਸ ਜਿੰਨਾ ਬੁੱਧੀਮਾਨ ਨਹੀਂ ਹੋ ਸਕਦਾ, ਮਾਡਲ ਤੇਜ਼ ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ ਸਸਤਾ ਹੈ, ਫਿਰ ਵੀ ਇਹ "ਅੰਨ੍ਹੇ ਟੈਸਟਾਂ 'ਤੇ ਬਹੁਤ ਵੱਡੇ ਮਾਡਲਾਂ ਜਿੰਨਾ ਵਧੀਆ ਹੈ," ਜਿਵੇਂ ਕਿ ਅਖਾੜੇ ਦੇ ਨਤੀਜੇ ਪ੍ਰਗਟ ਕਰਦੇ ਹਨ।

“ਕਲਾਡ 3 ਹਾਇਕੂ ਨੇ ਸਭ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕੀਤਾ ਹੈ, ਇੱਥੋਂ ਤੱਕ ਕਿ ਸਾਡੀ ਉਪਭੋਗਤਾ ਤਰਜੀਹ ਦੁਆਰਾ GPT-4 ਪੱਧਰ ਤੱਕ ਪਹੁੰਚਣਾ! ਇਸਦੀ ਗਤੀ, ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਸੰਦਰਭ ਦੀ ਲੰਬਾਈ ਹੁਣ ਮਾਰਕੀਟ ਵਿੱਚ ਬੇਮਿਸਾਲ ਹੈ, ”LMSYS ਨੇ ਸਮਝਾਇਆ।

ਟੌਮਜ਼ ਗਾਈਡ ਦੇ ਅਨੁਸਾਰ, ਜੋ ਚੀਜ਼ ਹਾਇਕੂ ਨੂੰ ਵਧੇਰੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਬਣਾਉਂਦੀ ਹੈ ਉਹ ਇਹ ਹੈ ਕਿ ਇਹ "ਜੇਮਿਨੀ ਨੈਨੋ ਦੇ ਮੁਕਾਬਲੇ ਸਥਾਨਕ ਆਕਾਰ ਦਾ ਮਾਡਲ" ਹੈ। ਹੋ ਸਕਦਾ ਹੈ ਜਾਣਕਾਰੀ-ਸੰਘਣੀ ਖੋਜ ਨੂੰ ਪੜ੍ਹੋ ਅਤੇ ਪ੍ਰਕਿਰਿਆ ਕਰੋ ਤਿੰਨ ਸਕਿੰਟਾਂ ਤੋਂ ਵੀ ਘੱਟ ਸਮੇਂ ਵਿੱਚ ਪੇਪਰ।

ਮਾਡਲ ਓਪਸ ਦੇ ਟ੍ਰਿਲੀਅਨ ਪਲੱਸ ਪੈਰਾਮੀਟਰ ਸਕੇਲ ਜਾਂ GPT-4-ਕਲਾਸ ਦੇ ਕਿਸੇ ਵੀ ਮਾਡਲ ਤੋਂ ਬਿਨਾਂ ਵੀ ਵਧੀਆ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰ ਰਿਹਾ ਹੈ।

ਕੀ ਇਹ ਥੋੜ੍ਹੇ ਸਮੇਂ ਦੀ ਸਫਲਤਾ ਹੋ ਸਕਦੀ ਹੈ?

ਦੂਜੇ ਸਥਾਨ 'ਤੇ ਧੱਕੇ ਜਾਣ ਦੇ ਬਾਵਜੂਦ, ਓਪਨਏਆਈ ਦੇ GPT-4 ਸੰਸਕਰਣ ਅਜੇ ਵੀ ਚਾਰ ਸੰਸਕਰਣਾਂ ਦੇ ਨਾਲ ਸੂਚੀ ਵਿੱਚ ਚੋਟੀ ਦੇ 10 ਵਿੱਚ ਹਾਵੀ ਹਨ।

ਇਸਦੇ ਅਨੁਸਾਰ ਟੌਮ ਦੀ ਗਾਈਡ, ਓਪਨਏਆਈ ਦੇ GPT-4 ਸੰਸਕਰਣਾਂ ਨੇ ਆਪਣੇ ਵੱਖ-ਵੱਖ ਰੂਪਾਂ ਵਿੱਚ "ਇੰਨੇ ਲੰਬੇ ਸਮੇਂ ਲਈ ਚੋਟੀ ਦਾ ਸਥਾਨ ਰੱਖਿਆ ਹੈ ਕਿ ਇਸਦੇ ਮਾਪਦੰਡਾਂ ਦੇ ਨੇੜੇ ਆਉਣ ਵਾਲੇ ਕਿਸੇ ਵੀ ਹੋਰ ਮਾਡਲ ਨੂੰ GPT-4-ਕਲਾਸ ਮਾਡਲ ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ।"

ਇਸ ਸਾਲ ਦੇ ਕੁਝ ਸਮੇਂ ਲਈ ਇੱਕ "ਨਿਸ਼ਾਨਤ ਤੌਰ 'ਤੇ ਵੱਖਰੇ" GPT-5 ਦੇ ਨਾਲ, ਐਂਥਰੋਪਿਕ ਸ਼ਾਇਦ ਉਸ ਸਥਿਤੀ ਨੂੰ ਬਹੁਤ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਨਹੀਂ ਰੱਖੇਗਾ, ਕਿਉਂਕਿ ਕਲਾਉਡ 3 ਓਪਸ ਅਤੇ GPT-4 ਵਿਚਕਾਰ ਸਕੋਰਾਂ ਵਿੱਚ ਅੰਤਰ ਘੱਟ ਹੈ।

ਹਾਲਾਂਕਿ ਓਪਨਏਆਈ ਇਸ ਦੀ ਅਸਲ ਰਿਲੀਜ਼ 'ਤੇ ਤੰਗ-ਬੁੱਲ੍ਹੀ ਰਹੀ ਹੈ GPT-5, ਬਜ਼ਾਰ ਇਸਦੀ ਸ਼ੁਰੂਆਤ ਦੀ ਬਹੁਤ ਉਮੀਦ ਕਰਦਾ ਹੈ। ਮਾਡਲ ਕਥਿਤ ਤੌਰ 'ਤੇ ਕੁਝ ਤੋਂ ਗੁਜ਼ਰ ਰਿਹਾ ਹੈ "ਸਖ਼ਤ ਸੁਰੱਖਿਆ ਜਾਂਚ” ਅਤੇ ਸਿਮੂਲੇਟਡ ਹਮਲੇ ਜੋ ਰਿਲੀਜ਼ ਤੋਂ ਪਹਿਲਾਂ ਮਹੱਤਵਪੂਰਨ ਹਨ।

LMSYS ਚੈਟਬੋਟ ਅਰੇਨਾ

ਇਹ ਦਰਜਾਬੰਦੀ ਮਨੁੱਖੀ ਵੋਟਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ AI ਮਾਡਲਾਂ ਲਈ ਬੈਂਚਮਾਰਕਿੰਗ ਦੇ ਹੋਰ ਰੂਪਾਂ ਦੇ ਉਲਟ। ਇਸ ਨਾਲ, ਲੋਕ ਦੋ ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਦੇ ਆਉਟਪੁੱਟ ਨੂੰ ਉਸੇ ਪ੍ਰੋਂਪਟ 'ਤੇ ਅੰਨ੍ਹੇ-ਰੈਂਕ ਕਰਦੇ ਹਨ।

ਚੈਟਬੋਟ ਅਰੇਨਾ LMSYS ਦੁਆਰਾ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਇਸ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਦੀ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ ਜੋ "ਅਗਿਆਤ ਬੇਤਰਤੀਬ ਲੜਾਈਆਂ" ਵਿੱਚ ਇਸ ਨਾਲ ਲੜ ਰਹੇ ਹਨ।

ਇਹ ਪਹਿਲੀ ਵਾਰ ਪਿਛਲੇ ਮਈ ਵਿੱਚ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ ਇਸ ਨੇ ਉਹਨਾਂ ਉਪਭੋਗਤਾਵਾਂ ਤੋਂ 400,000 ਤੋਂ ਵੱਧ ਵੋਟਾਂ ਇਕੱਠੀਆਂ ਕੀਤੀਆਂ ਹਨ ਜਿਨ੍ਹਾਂ ਕੋਲ ਗੂਗਲ, ​​ਐਂਥਰੋਪਿਕ ਅਤੇ ਏਆਈ ਮਾਡਲ ਹਨ ਓਪਨਏਆਈ.

“LMSYS ਚੈਟਬੋਟ ਅਰੇਨਾ LLM ਈਵਲਸ ਲਈ ਇੱਕ ਭੀੜ ਸਰੋਤ ਖੁੱਲਾ ਪਲੇਟਫਾਰਮ ਹੈ। ਅਸੀਂ Elo ਰੈਂਕਿੰਗ ਸਿਸਟਮ ਨਾਲ LLM ਨੂੰ ਰੈਂਕ ਦੇਣ ਲਈ 400,000 ਤੋਂ ਵੱਧ ਮਨੁੱਖੀ ਤਰਜੀਹਾਂ ਦੀਆਂ ਵੋਟਾਂ ਇਕੱਠੀਆਂ ਕੀਤੀਆਂ ਹਨ," LMSYS ਨੇ ਕਿਹਾ।

Elo ਸਿਸਟਮ ਜਿਆਦਾਤਰ ਸ਼ਤਰੰਜ ਵਰਗੀਆਂ ਖੇਡਾਂ ਵਿੱਚ ਇੱਕ ਖਿਡਾਰੀ ਦੇ ਰਿਸ਼ਤੇਦਾਰ ਹੁਨਰ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਪਰ ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਰੈਂਕਿੰਗ ਚੈਟਬੋਟ 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ ਅਤੇ "ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਮਨੁੱਖ ਨਹੀਂ।"

ਇਹ ਵੀ ਪੜ੍ਹੋ: ਮਾਈਕ੍ਰੋਸਾਫਟ ਨੇ ਕੋਪਾਇਲਟ ਏਆਈ ਬਟਨ ਦੇ ਨਾਲ 'ਪਹਿਲੇ' ਸਰਫੇਸ ਪੀਸੀ ਦਾ ਖੁਲਾਸਾ ਕੀਤਾ

ਕਮੀਆਂ

ਚੈਟਬੋਟ ਅਰੇਨਾ ਰੈਂਕਿੰਗ ਵਿੱਚ ਕਮੀਆਂ ਨਹੀਂ ਹਨ। ਟੌਮਜ਼ ਗਾਈਡ ਦੇ ਅਨੁਸਾਰ, ਇਸ ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤੇ ਗਏ ਮਾਡਲਾਂ ਦੇ ਸਾਰੇ ਮਾਡਲ ਜਾਂ ਸੰਸਕਰਣ ਸ਼ਾਮਲ ਨਹੀਂ ਹੁੰਦੇ ਹਨ ਜਦੋਂ ਕਿ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਕਈ ਵਾਰ GPT-4 ਲੋਡ ਕਰਨ ਵਿੱਚ ਅਸਫਲ ਹੋਣ ਦੇ ਨਾਲ ਮਾੜੇ ਅਨੁਭਵ ਹੁੰਦੇ ਹਨ। ਇਹ ਕੁਝ ਮਾਡਲਾਂ ਦਾ ਵੀ ਸਮਰਥਨ ਕਰ ਸਕਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਕੋਲ ਲਾਈਵ ਇੰਟਰਨੈਟ ਪਹੁੰਚ ਹੈ, ਉਦਾਹਰਨ ਲਈ Google Gemini Pro।

ਜਦੋਂ ਕਿ ਹੋਰ ਮਾਡਲਾਂ ਜਿਵੇਂ ਕਿ ਫ੍ਰੈਂਚ AI ਸਟਾਰਟਅੱਪ ਤੋਂ ਮਿਸਟਰਲ ਅਤੇ ਅਲੀਬਾਬਾ ਵਰਗੀਆਂ ਚੀਨੀ ਫਰਮਾਂ ਨੇ ਹਾਲ ਹੀ ਵਿੱਚ ਓਪਨ-ਸੋਰਸ ਮਾਡਲਾਂ ਤੋਂ ਇਲਾਵਾ ਅਖਾੜੇ 'ਤੇ ਚੋਟੀ ਦੇ ਸਥਾਨਾਂ 'ਤੇ ਆਪਣਾ ਰਸਤਾ ਬਣਾਇਆ ਹੈ, ਅਖਾੜਾ ਅਜੇ ਵੀ ਕੁਝ ਉੱਚ ਪ੍ਰੋਫਾਈਲ ਮਾਡਲਾਂ ਤੋਂ ਖੁੰਝਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਇਸ ਵਿੱਚ ਗੂਗਲ ਦੇ ਜੈਮਿਨੀ ਪ੍ਰੋ 1.5 ਵਰਗੇ ਮਾਡਲਾਂ ਦੀ ਕਮੀ ਹੈ

ਸਪਾਟ_ਮਿਗ

ਨਵੀਨਤਮ ਖੁਫੀਆ ਜਾਣਕਾਰੀ

ਸਪਾਟ_ਮਿਗ