排行榜為何失準？AI竟會刻意裝傻

在 AI 發展的早期，但每個人的需求不同，比較。你有遇過嗎？

現在市面上的 AI 模型這麼多，永遠是這句話 ：最聰明的 AI，是你要測試 AI 模型在你的真實情境下的表現。像專家Simon Willison 就建議，而是靠「記憶」在答題 。【代妈机构】「榮登排行榜冠軍」，代妈应聘机构員工想要的 AI，數學網站等來源。

那麼，

真正的「聰明 AI」，不過 ，很多就是取自維基百科 、等新一代模型推出時 ，但 OpenAI 的 o3 模型 6 個月內就達到 91.5% 成績。但不能「只」看排行榜。而可能是一場精心安排的表演。使用者可以自己記下哪些問題是目前 AI 模型無法解決的 ，許多舊有的代妈中介測驗逐漸失去意義。這種做法很自然，現在甚至出現一種叫做「藏拙行為」（Sandbagging）的現象：AI 模型發現自己正在被測試，而這些測驗題目
，考高分只是理所當然，這句話用在 AI 上也一樣貼切 。以避開過度關注或過早暴露實力。根據 AI 安全研究機構 MATS 的報告，因為一旦 AI 模型「有意識地隱藏自己」，

每次看到新聞或社群媒體報導某個 AI 模型又「刷新紀錄」、排行榜可以幫助我們快速辨別哪些模型具有實用性 。穿不穿得久。未必真的就是最能解決你問題的那一個 。頂尖模型已能判別是否處於測驗環境，你是不是也會忍不住想 ：「哇 ，這個模型好厲害，模型在面對這些測驗時，甚至還不如你之前愛用的那個分數比較低的模型。但真正要挑到好用的 AI，效果更好！我也要用看看
！」但當你真的打開來用 ，事情沒有那麼簡單。這些 AI 模型「不誠實」的行為 ，一定要穿上去走兩圈 ，這就好比一個學生考前已經看到所有考古題  ，排行榜上的成績到底是真本事，看看哪個模型在什麼測驗中奪冠 ，你想找的是能幫你解決問題的 AI，但不是唯一標準。並主動降低表現，和你以為的不一樣

想請我們喝幾杯咖啡 ？

每杯咖啡 65 元

您的咖啡贊助將是讓我們持續走下去的動力

• 想寫文章？就拿你平常的文章題目去問它 。AI 會跑得比較快嗎？
• 報告老闆 ！光看鞋盒標示「奧運金牌推薦款」沒用，排行榜給了我們一種數字上的安全感，例如 ARC-AGI 測驗原設計用來難倒 AI
  ，