OX Alpha 匿名拿下 DeepSWE 80%，樣本只有 10 題。本週三件事，差別在誰肯讓你驗證

本週有三則新聞都在報數字，但這三個數字的可信度不在同一個層級。一個是 10 題跑出來的 benchmark，一個是濕實驗室裡 354 個真的黏上去的分子，一個是「請相信我沒看」的承諾。

OX Alpha：80% 的分母是 10

8 月 20 日，一個叫 Ox Alpha 的模型出現在 OpenRouter 上。沒有發布會，沒有 model card，沒有人認領。規格是 1,048,576 token context、多模態推理、一週免費預覽。

開發者 Ben Davis 拿它跑 DeepSWE，一個 long-horizon 軟體工程 benchmark，Pass@1 大約 80%。同一份測試裡的對照組：

• Claude Fable 5：65%

• GLM-5.3：62%

• GPT-5.6 Sol：52%

Kingbench 上它拿 87.5%，第二名。前面是 GLM 5.3 的 91.25%，後面是 Qwen 3.8 Max 的 81.25% 與 Opus 4.8 的 80%。

數字很好看。但 Davis 跑的是 10 題。

三個反對意見在同一天浮出來：

• DeepSWE 的 harness 只支援 bash。工具面窄，等於只測了軟體工程的一個切面。

• 10 題的樣本，一題就是 10 個百分點。80% 和 70% 之間差的是一題，不是能力。

• 有人拿它跑簡單的真實任務，結果輸給體積小很多的 Muse Spark。benchmark 高、日常任務差，這個組合有名字，叫 benchmaxxing。

匿名不代表查不出來。前四個用同樣方式悄悄上架的模型，最後全部被中國實驗室認領：智譜的 GLM-5、小米的 MiMo-V2-Pro、螞蟻的 Lingxi Ling-2.6-flash、美團的 LongCat-2.0。

這次的指紋比較具體。video encoder 的 token 計數與 tokenizer 詞表都對得上 GLM 5.3 與 GLM 5V Turbo，做比對的人給的信心水準大約 90%，指向智譜下一代的統一多模態 GLM。仍未證實。

同一週 Anthropic 發表了一份性質完全不同的結果。

Claude Opus 4.8 與 Mythos Preview 針對 15 個生物標靶，自主設計了 1,320 個 de novo minibinder 候選。接著由 Adaptyv Bio 與 Twist Bioscience 獨立合成，送進濕實驗室測。

• 354 個設計真的結合到標靶上

• 15 個標靶命中 14 個

• 依操作設定不同，hit rate 落在 22.6% 到 35.1%，業界一般的 campaign 是 10% 到 15%

• 至少 6 個標靶拿到高親和力 binder，至少 4 個達到或超過已發表的最佳親和力

這裡的關鍵字不是 hit rate，是「濕實驗室」。蛋白質黏不黏得住不是模型自評，是分子在試管裡的行為。它可以被別人重跑，也可以被推翻。

8 月 19 日，OpenAI 對部分客戶預覽 Private Safety Processing。

它做的是跨對話的長程安全監控，評估多段 conversation 的輸入與輸出，抓出把惡意請求拆散到不同 session 以規避偵測的模式。宣稱的特點是全自動、沒有人工閱讀、不保留客戶資料。命中時只送出一個範圍明確定義的訊號，OpenAI 再判斷要不要處置，客戶想補脈絡可以自願提供。

對照組寫得很明白。Anthropic 在 covered models（含 Mythos 級）上保留客戶資料 30 天做安全分析，人工審查走受控存取路徑，每一次審查都留在無法竄改的紀錄裡。

兩套設計的取捨剛好相反。OpenAI 賣的是資料不落地，Anthropic 賣的是每一次看都留痕。前者要你相信一件無法從外部觀察的事，後者把可稽核性做成產品。

三件事擺在一起，可以收成選型時的一句話：這個數字，誰能推翻它？

• OX Alpha 的免費預覽只有一週，這幾天拿你自己的東西去跑。 不要用別人 10 題的 80% 做決策。跑完你手上會有一份針對自家 repo 的評測，那個數字才跟你有關。

• 看到 SOTA 宣稱，先問分母。 10 題不是評測，是抽樣。這一題適用於所有模型，不是只針對匿名的那個。

• 可稽核性正在變成賣點。 OpenAI 與 Anthropic 這次把兩種安全設計攤開互打，代表企業客戶已經開始為這件事付錢。如果你在做需要送審的系統，現在是把「我們怎麼證明沒看過」寫進架構的時候，不是稽核前一晚。

• 模型跨出軟體之後，驗證會變硬。 蛋白質那份結果份量不同，是因為驗收不在模型手上。這大概會是接下來幾年判斷 AI 成果的分水嶺：宣稱能被誰重跑。