Karpathy：pelican test 過時了。本週 GPT-5.6 Sol 解鎖 1M context、DeepSeek +8、Grok 4.6 落地

今天值得合在一起看的兩件事：評估典範在失靈、模型天花板在抬。前者決定未來一年 benchmark 怎麼寫、後者決定 production task 哪些可以重看。

Karpathy：pelican test 已經分不出 LLM 差距

Karpathy 那則拿到 64K like 的原話：「We're starting to leave the territory where you'd test an LLM by e.g. 'create an svg of pelican on a bicycle'」。不是玩梗，是說 svg 圖案題這類 benchmark 已經到了分不出好壞的程度。

為什麼重要：所有主要 lab 內部其實已經把評估軸偷換成「agent + 多輪 + 真實任務」，只是嘴上不講。這場轉變決定未來一年誰拿出能 deploy 的東西。

來源 → x.com/karpathy/status/2083749667410727319

來源 → x.com/ArtificialAnlys/status/2088440350734201149

本週模型天花板：GPT-5.6 Sol 1M context、DeepSeek +8、Grok 4.6

GPT-5.6 Sol：1M token context window 在 Codex 解鎖，之前只 API key 用得到，現在 ChatGPT 用戶也行。

Grok 4.6 發布，ericzakariasson 整理了一份 field guide。

DeepSeek V4 Pro 0813：Artificial Analysis Intelligence Index 53，較 4 月份 +8。

Qwen 3.8 27B：simonw 說「can't remember last time I've had this much fun playing with a local model」。

為什麼重要：1M context、SOTA 跳分、本地模型「好玩」起來 — 都是「部署可行性」這條軸在突破。工程師最直接的含義：六個月前覺得 LLM 還不能做的 production task，現在重看一次。

來源 → x.com/thsottiaux/status/2089082893804896524

來源 → x.com/ericzakariasson/status/2087566447178547494

來源 → x.com/ArtificialAnlys/status/2088440350734201149

來源 → x.com/simonw/status/2089112517796827439

NVIDIA 機器人模型支援 8000 timesteps context

DrJimFan 展示了 NVIDIA 的 robot model：原生 scale 到 8000 timesteps context，等於 5 分鐘肌肉記憶，inference cost constant。

為什麼重要：之前 robot model 最大痛點是「動作做完就忘下一步」。Constant-cost long context 把 agentic robot 天花板頂高一個量級。

來源 → x.com/DrJimFan/status/2077414142340988962

We're starting to leave the territory where you'd test an LLM by e.g. 'create an svg of pelican on a bicycle'. — Karpathy

本週三件事一起看：benchmark 靠不住、LLM 在落地、機器人在長肌肉。工程師的 next move 很清楚 — 把 production task 拿出來重看一次，不是「換模型」，是「換哪些任務現在可以做了」。