Meta發(fā)布Llama 4系列，強(qiáng)調(diào)多模態(tài)和超長(zhǎng)上下文窗口，部分模型將開源。OpenAI確認(rèn)O3和O4-mini即將上線，GPT-5推遲發(fā)布但將免費(fèi)。DeepSeek與清華發(fā)布新論文，提出SPCT方法和元獎(jiǎng)勵(lì)模型，顯著提升推理擴(kuò)展性能。

本周全球被關(guān)稅議題占據(jù)頭條，但科技界的目光卻聚焦在AI領(lǐng)域的密集動(dòng)作上。

周末，Meta深夜突襲發(fā)布Llama 4系列，號(hào)稱“原生多模態(tài)+千萬(wàn)級(jí)上下文窗口”，并首次披露單卡H100可運(yùn)行的輕量化版本。此前OpenAI則宣布O3和O4-mini模型即將在幾周內(nèi)上線，同時(shí)確認(rèn)GPT-5因技術(shù)整合和算力部署問題推遲數(shù)月。

DeepSeek則與清華大學(xué)的研究團(tuán)隊(duì)本周聯(lián)合發(fā)布了一篇關(guān)于推理時(shí)Scaling的新論文，提出了一種名為自我原則點(diǎn)評(píng)調(diào)優(yōu)的學(xué)習(xí)方法，并構(gòu)建了DeepSeek-GRM系列模型。結(jié)合元獎(jiǎng)勵(lì)模型實(shí)現(xiàn)推理時(shí)擴(kuò)展，性能接近671B大模型，暗示DeepSeek R2臨近。

Meta強(qiáng)勢(shì)推出Llama 4

多模態(tài)與超長(zhǎng)上下文成亮點(diǎn)

周六，Meta正式發(fā)布了Llama 4系列模型，Llama 4全系采用混合專家架構(gòu)，并實(shí)現(xiàn)了原生多模態(tài)訓(xùn)練，徹底告別了Llama 3純文本模型的時(shí)代。此次發(fā)布的模型包括:

Llama 4 Scout；

Llama 4 Maverick；

以及強(qiáng)大的 Llama 4 Behemoth 預(yù)覽。

此次公布的Llama 4 Maverick 和 Llama 4 Scout 將是開源軟件。然而，Llama 4 的新許可證對(duì)使用有一定限制，例如月活用戶超 7 億的公司需申請(qǐng)?zhí)厥庠S可，且使用時(shí)需遵守多項(xiàng)品牌和歸屬要求。

前kaggle總裁，fast AI 創(chuàng)始人Jeremy Howard表示，雖然感謝開源，但Llama 4 Scout 和 Maverick 都是大型 MoE 模型，即使量化后也無(wú)法在消費(fèi)級(jí) GPU 上運(yùn)行，這對(duì)開源社區(qū)的可及性來(lái)說是個(gè)不小的損失

Meta強(qiáng)調(diào)，Llama 4 Scout 和 Llama 4 Maverick 是其“迄今為止最 先進(jìn)的型號(hào)”，也是“同類產(chǎn)品中多模態(tài)性最 好的版本”。

Scout亮點(diǎn)

:速度極快，原生支持多模態(tài)，擁有業(yè)界領(lǐng) 先的 1000 萬(wàn)+ Token 多模態(tài)上下文窗口，并且能在單張 H100 GPU 上運(yùn)行(Int4 量化后)

Maverick性能

:在多個(gè)主流基準(zhǔn)測(cè)試中擊敗了 GPT-4o 和 Gemini 2.0 Flash，推理和編碼能力與新發(fā)布的 DeepSeek v3 相當(dāng)，但激活參數(shù)量不到后者一半

X網(wǎng)友也對(duì)Scout模型的性能感到震驚，尤其是其在單GPU上運(yùn)行并支持超長(zhǎng)上下文窗口的能力。

最令人矚目的是Llama 4 Behemoth。目前Behemoth仍處訓(xùn)練中，不過Meta將其定位為“世界上最智能的 LLM 之一”。這個(gè)擁有288B激活參數(shù)和2萬(wàn)億總參數(shù)量的“巨獸”，在32000塊GPU上訓(xùn)練了30萬(wàn)億多模態(tài)Token，展現(xiàn)了Meta在AI領(lǐng)域的雄厚實(shí)力。

有X網(wǎng)友指出了Behemoth訓(xùn)練的性能潛力，強(qiáng)調(diào)了它在階段就已經(jīng)表現(xiàn)出超越多個(gè)最 高 級(jí)模型的能力，例如Claude 3.7 和Gemini 2.0 Pro。

還有X網(wǎng)友調(diào)侃了 Meta 的“燒錢”策略，同時(shí)對(duì) Llama 4 的參數(shù)規(guī)模表示驚訝。

此前《The Information》周五報(bào)道稱，在投資者向大型科技公司施壓，要求其展示投資回報(bào)的情況下，Meta 計(jì)劃今年投入高達(dá)650 億美元來(lái)擴(kuò)展其 AI 基礎(chǔ)設(shè)施。

Open AI確認(rèn)O3和O4-mini即將上線

GPT-5免費(fèi)策略引轟動(dòng)

在Llama 4發(fā)布的同時(shí)，OpenAI首席執(zhí)行官Sam Altman則在社交媒體上確認(rèn)，O3和O4-mini將在未來(lái)幾周內(nèi)發(fā)布，而GPT-5則將在未來(lái)幾個(gè)月與公眾見面。

盡管沒有更多關(guān)于o3和o4mini的細(xì)節(jié)內(nèi)容，但是Altman表示，OpenAI在很多方面真正改進(jìn)了o3模型，一定會(huì)讓用戶大為滿意。

實(shí)際上GPT-5的功能和發(fā)布時(shí)間才是市場(chǎng)關(guān)注的重點(diǎn)。據(jù)Altman透露，GPT-5將整合語(yǔ)音、Canvas、搜索、Deep Research等多項(xiàng)功能，成為OpenAI統(tǒng)一模型戰(zhàn)略的核心。

這意味著GPT-5將不再是一個(gè)單一的模型，而是一個(gè)集成了多種工具和功能的綜合系統(tǒng)。通過這種整合，GPT-5將能夠自主使用工具，判斷何時(shí)需要深入思考、何時(shí)可以快速響應(yīng)，從而勝任各類復(fù)雜任務(wù)。OpenAI的這一舉措旨在簡(jiǎn)化內(nèi)部模型和產(chǎn)品體系，讓AI真正實(shí)現(xiàn)隨開隨用的便捷性。

更令人興奮的是，GPT-5將對(duì)免費(fèi)用戶開放無(wú)限使用權(quán)限，而付費(fèi)用戶則能體驗(yàn)到更高智力水平的版本。此前，奧特曼在和硅谷知名分析師Ben Thompson的深度對(duì)談中，表示因?yàn)镈eepSeek 的影響， GPT-5將考慮讓用戶免費(fèi)使用。

不過對(duì)于GPT-5的發(fā)布時(shí)間反復(fù)推遲，有網(wǎng)友做出了下面這個(gè)時(shí)間表來(lái)調(diào)侃。

DeepSeek攜手清華發(fā)布新論文

DeepSeek與清華大學(xué)的研究團(tuán)隊(duì)本周聯(lián)合發(fā)布了一篇關(guān)于推理時(shí)Scaling的新論文，提出了一種名為自我原則點(diǎn)評(píng)調(diào)優(yōu)的學(xué)習(xí)方法，并構(gòu)建了DeepSeek-GRM系列模型。這一方法通過在線強(qiáng)化學(xué)習(xí)(RL)動(dòng)態(tài)生成評(píng)判原則和點(diǎn)評(píng)內(nèi)容，顯著提升了通用獎(jiǎng)勵(lì)建模(RM)在推理階段的可擴(kuò)展性，并引入元獎(jiǎng)勵(lì)模型(meta RM)進(jìn)一步優(yōu)化擴(kuò)展性能。

SPCT方法的核心在于將“原則”從傳統(tǒng)的理解過程轉(zhuǎn)變?yōu)楠?jiǎng)勵(lì)生成的一部分，使模型能夠根據(jù)輸入問題及其回答內(nèi)容動(dòng)態(tài)生成高質(zhì)量的原則和點(diǎn)評(píng)。這種方法包括兩個(gè)階段:

拒絕式微調(diào)作為冷啟動(dòng)階段，幫助模型適應(yīng)不同輸入類型；

基于規(guī)則的在線強(qiáng)化學(xué)習(xí)則進(jìn)一步優(yōu)化生成內(nèi)容，提升獎(jiǎng)勵(lì)質(zhì)量和推理擴(kuò)展性。

為了優(yōu)化投票過程，研究團(tuán)隊(duì)引入了元獎(jiǎng)勵(lì)模型。該模型通過判斷生成原則和評(píng)論的正確性，過濾掉低質(zhì)量樣本，從而提升最終輸出的準(zhǔn)確性和可靠性。

實(shí)驗(yàn)結(jié)果顯示，DeepSeek-GRM-27B在多個(gè)RM基準(zhǔn)測(cè)試中顯著優(yōu)于現(xiàn)有方法和模型，尤其是在推理時(shí)擴(kuò)展性方面表現(xiàn)出色。通過增加推理計(jì)算資源，DeepSeek-GRM-27B展現(xiàn)了強(qiáng)大的性能提升潛力，證明了推理階段擴(kuò)展策略的優(yōu)勢(shì)。

這一成果不僅推動(dòng)了通用獎(jiǎng)勵(lì)建模的發(fā)展，也為AI模型在復(fù)雜任務(wù)中的應(yīng)用提供了新的技術(shù)路徑，甚至可能在DeepSeek R2上能看到該成果的展示。

有海外論壇網(wǎng)友調(diào)侃道，DeepSeek一貫是“論文后發(fā)模型”的節(jié)奏，競(jìng)爭(zhēng)對(duì)手Llama-4可能因此受壓。