Meta推出開(kāi)源大模型Llama 3

從剛發(fā)出的博客來(lái)看，Llama 3已幫Meta重奪開(kāi)源大模型的魁首，并無(wú)限接近或者超過(guò)GPT、Gemini和Claude等閉源大模型。

這個(gè)消息的振奮程度，對(duì)于AI圈來(lái)說(shuō)，甚至不亞于所謂的GPT4.5。畢竟，meta 才是真正的那個(gè)"OpenAI。有多少大模型的生態(tài)，是建立在Llama上的，大家都懂。

這次還是meta的老規(guī)矩，雖然寫的是特定條件下商業(yè)使用，但是基本等于完全免費(fèi)商用了。而且這次開(kāi)源了2個(gè)模型，8B和70B。我看網(wǎng)上博客里的評(píng)測(cè)結(jié)果顯示：8B版本優(yōu)于Mistral 7B和Gemma 7B，70B版本優(yōu)于Gemini Pro 1.5和Claude 3 Sonnet。

不過(guò)Llama 3也存在兩個(gè)可提升的點(diǎn)，一個(gè)是知識(shí)庫(kù)時(shí)間，一個(gè)是上下文長(zhǎng)度。知識(shí)庫(kù)這塊，8B只到2023年3月，70B到了2023年12月。而上下文長(zhǎng)度更是只有8K。知識(shí)庫(kù)的時(shí)間還好說(shuō)，但是這個(gè)上下文長(zhǎng)度，在現(xiàn)在動(dòng)不動(dòng)200k的時(shí)代里，屬實(shí)是有點(diǎn)不夠了。

不過(guò)，瑕不掩瑜，估計(jì)接下來(lái)學(xué)術(shù)界做模型訓(xùn)練相關(guān)的實(shí)驗(yàn)大多會(huì)切換到Llama 3的8B版本，而等400B版本出來(lái)后如果效果接近甚至超過(guò)GPT-4，大家在數(shù)據(jù)標(biāo)注和評(píng)測(cè)等難任務(wù)上也會(huì)逐漸倒向免費(fèi)的Llama系列。讓子彈再飛一會(huì)兒。