--- title: "GPT-6 Astra在ARC-AGI-3拿下99.9%：我們該重新思考，哪些工作可以交給AI" description: "Astra的99.9%是provider adapter harness在Semi-Private題目上的行動效率分數，不是工作成功率。它真正的用途，是重新測試你一次交給AI的工作單位可以多大。" canonical_url: https://www.datum.page/zh-tw/docs/evaluation/arc-agi-3-harness-gap site: "Datum" author: "CJ Mario" author_url: https://x.com/cjmario89 language: zh-TW published: 2026-09-15 last_updated: 2026-09-17 topic: "評估與品質" kind: concept # 概念 level: intermediate # 中級 tags: [evaluation, benchmark, arc-agi, openai, agents, context, cost] cite_as: https://www.datum.page/zh-tw/docs/evaluation/arc-agi-3-harness-gap --- # GPT-6 Astra在ARC-AGI-3拿下99.9%：我們該重新思考，哪些工作可以交給AI > Astra的99.9%是provider adapter harness在Semi-Private題目上的行動效率分數，不是工作成功率。它真正的用途，是重新測試你一次交給AI的工作單位可以多大。 當GPT-6 Astra在ARC-AGI-3拿下99.9%，最容易出現的討論是：「這是不是代表AGI已經來了？」 但對真正要使用AI的人來說，有另一個問題更重要： **如果AI面對不熟悉的環境，已經能自己探索規則、調整方法，甚至用接近或優於人類基準的行動效率完成任務，我們是不是還在用太保守的方式使用它？** 這次成績來自ARC Prize公布的半私有測試集，使用的是能保留推理狀態的Provider Adapter執行框架。它不是沒有條件的「全面接近滿分」，但確實提供了一個值得認真看待的訊號：我們評估AI的重點，不該只停留在回答品質，也該重新檢查它能承接多完整的工作（[結果頁](https://arcprize.org/results/openai-gpt-6-astra)，擷取2026-09-16）。 這不代表現在就該把所有事情交出去，而是過去那些「AI做不到，所以必須由人接手」的工作環節，值得重新測試了。 ## 這個成績重要的地方，是「不知道怎麼做時，能不能自己找到方法」 要理解99.9%的意義，先得知道ARC-AGI-3在測什麼。 它不是拿一批知識問答，檢查模型記得多少內容，而是讓AI進入陌生的互動環境。在沒有完整自然語言說明的情況下，AI必須觀察畫面、採取行動、理解回饋，逐步找出環境規則與目標，再規劃如何完成（[ARC-AGI-3](https://arcprize.org/arc-agi/3)，擷取2026-09-16）。 可以想像你第一次打開一款沒有教學的小遊戲。 畫面上有幾個物件，你不知道哪些可以移動，也不知道按下某個按鈕之後，哪些東西會改變。你得先試一下，看看結果，再判斷自己剛才的理解對不對。 這裡真正困難的，不只是想出下一步，而是讓每一次嘗試都變成下一次判斷的依據。 **知道很多答案，和能在未知情況下建立可用的方法，是兩種不同的能力。** ARC-AGI-3的評分也反映了這個差別。它同時考慮完成情況，以及AI相對於人類基準用了多少次環境互動。因此，99.9%不是一般意義上的答對率，更不能理解成「交給它的工作有99.9%會成功」。此外，模型內部花多少時間思考、消耗多少運算，並不直接算進這個行動效率指標（[ARC-AGI-3計分方法](https://docs.arcprize.org/methodology)，擷取2026-09-15）。 比較合理的解讀是：**在這類受控的陌生環境裡，Astra已經展現出很強的探索、適應與執行能力。** 這裡的「學習」，指的是在任務進行中利用新觀察調整做法；不能直接推論它永久更新了模型權重，或已經具備無限制的自我改進能力。 ## 對工作的第一個啟發：不必先把每一步都想好，才開始使用AI 假設你手上有兩份報表，訂單數對不起來。 你可以問AI：「訂單數不一致，可能有哪些原因？」它也許會列出時區、取消訂單、重複資料、篩選條件等方向。 這份回答可能有用，但接下來的工作仍然在你身上。你要打開資料、核對欄位、逐一排除原因，最後確認真正的差異。 另一種值得測試的交付方式是： > 這是兩份報表與相關原始資料。請找出訂單數不一致的原因，逐項列出差異，並提供可以重現結果的核對方式。 兩者的差別，不是後面那句提示詞比較厲害，而是**你交出去的工作單位變了**。 前者要的是建議；後者交付的是一段有明確終點的調查工作。 我認為，這是Astra成績最值得延伸到實務的地方：當模型更能處理「一開始不知道答案，也不知道完整路徑」的任務，就值得讓它承接更多中間過程，而不是只負責產生第一份草稿。 例如，工程工作可以測試它是否能從重現錯誤一路做到修正與驗證；資料分析可以測試它是否能從辨認欄位定義一路做到找出差異；研究工作則可以測試它是否能在遇到互相矛盾的資料時，主動回查來源，而不是把矛盾一起寫進結論。 這些是根據測試能力提出的應用方向，**不是ARC成績已經保證它能可靠完成上述工作**。但也正因為如此，下一步應該是設計小規模驗證，而不是只看排行榜就決定採用或放棄。 ## 同一個模型差了四十多個百分點，提醒我們不要只看模型名稱 這次結果裡，有一個比接近滿分更值得注意的細節。 在相同的**high推理強度**（reasoning effort）下，Astra使用標準執行框架時，成績是**54.82%**；使用Provider Adapter時，則是**99.95%**，也就是發布摘要所稱的99.9%結果（[結果頁](https://arcprize.org/results/openai-gpt-6-astra)，擷取2026-09-16）。 差別在哪裡？ 所謂執行框架，可以理解為模型外圍的工作系統。它決定模型每一步會看到什麼，以及前面累積的哪些內容，能被帶到下一步。 標準框架並不是完全沒有記憶，而是透過文字歷史與模型留下的可見筆記延續工作。Provider Adapter則使用供應商原生的對話與推理狀態管理，並在適用時使用原生壓縮機制。兩者使用相同的遊戲、動作、限制與評分，但資訊延續方式不同（[開源測試程式庫](https://github.com/arcprize/arc-agi-3-benchmarking)，擷取2026-09-16）。 這就像你找了一位能力很好的同事來查問題，卻要求他每查完一個檔案，就換到一個新的工作階段，只能依靠有限的交接資料繼續。 即使他很聰明，也可能重複調查、漏掉已排除的原因，或重新建立前面已經形成的理解。 因此，這次結果給開發者的提醒是： **模型能力很重要，但能不能保留有效的工作狀態，也可能決定能力發揮到什麼程度。** 這不表示供應商原生框架比較「真」，標準框架就沒有價值。前者觀察完整搭配下的表現，後者方便在一致介面下比較不同模型，回答的是不同問題（同上）。 放回實務，我會先檢查：AI是否知道目前已確認的事實？能否回查證據？是否分得清假設與結論？還是每次工具呼叫之後，都必須重新理解整件事？ 例如，比起留下「已經分析兩份報表」，更有用的工作摘要是： > 日期範圍已確認一致，重複訂單已排除。目前差異集中在取消訂單的計算方式，但尚未確認哪一份報表符合業務定義。 這份摘要讓下一步有方向，也避免把尚未確認的推測誤當成事實。 ## 提示詞的重點，也該從操作步驟轉向完成條件 如果AI能自行探索方法，我們還需要寫很長的提示詞嗎？ 我的建議是：**不要追求短，也不要追求長，而是把指令放在真正需要人決定的地方。** OpenAI在Astra的開發者文章中，也建議重新檢視既有的skills、`AGENTS.md`與提示詞。過度細化的操作配方、適用範圍不清楚的規則，以及每次都要求讀取大量文件的做法，可能增加負擔，甚至限制結果（[Rethinking skills and prompts for GPT-6 Astra](https://developers.openai.com/blog/rethinking-skills-and-prompts-for-gpt-6-astra)，擷取2026-09-16）。 但減少微觀指令，不代表只留下一句「幫我做好」。 回到報表差異的例子，我會這樣交付： > 請找出這兩份報表的訂單數為什麼不同，並交付可以重現的核對結果。 > > 你可以讀取提供的資料、進行計算，並在工作區建立分析檔案或修正版副本。不要修改原始檔案、正式資料，也不要對外傳送內容。 > > 完成條件是：每一類差異都有對應資料與解釋；核對方式可以重新執行；已確認的原因與尚未確認的假設必須分開。 > > 可以自行完成必要的分析、驗證與修正，不要停在可能原因清單。若缺少關鍵資料，或不同文件的業務定義互相衝突，請明確指出需要確認的事項，不要自行補值或替我決定規則。 這裡沒有規定它第一步一定要開哪個檔案，也沒有預先指定所有分析方法。 但目標、可用範圍、驗收方式與停止條件都很清楚。 這也呼應官方文件中的另一項提醒：Astra有時會在第一版實作後停下來等待確認，因此應事先定義任務是否包含執行、檢查結果與修正，而不是期待模型自行猜測「完成」的意思（同上）。 **好的交付方式，是讓AI有探索方法的空間，同時讓人保留決定目標與承擔風險的權力。** 提示詞也不能取代真正的權限設定。沒有取得資料，AI就無法核對；不該開放的正式系統權限，也不能只靠一句「請小心」來保護。 ## 最值得先交出去的，是能驗證、能回復的工作 看到這種成績，直接問「哪些職業會被取代」，其實跳得太遠。 我會先問：**哪一段工作需要探索，但結果仍然能被清楚檢查？** 例如，找出資料差異、在測試環境修正錯誤、整理有來源可回查的研究材料，都可以設計相對明確的完成條件。 相較之下，「幫公司找到下一個成長方向」包含目標選擇、資源取捨與不確定的市場反應，很難用單一結果判定成敗。這類工作仍然可以讓AI參與，但比較適合拆成資料整理、假設比較、方案推演等可檢查的階段，而不是把整個決策一次交出去。 這也是99.9%不能直接翻譯成AGI的原因。ARC Prize明確指出，ARC-AGI-3的環境與格式有嚴格邊界，機制與目標是確定且封閉的，並不代表真實世界的開放性與複雜度；官方沒有把飽和這項測試視為達成AGI的證明（[ARC分析文](https://arcprize.org/blog/astra)，擷取2026-09-16）。 實際導入時，我會先讓AI在副本、測試環境或草稿中完成工作，確認表現穩定後再擴大範圍。 涉及對外發布、付款、刪除或正式部署的動作，則另外設計確認機制。理由不是預設AI一定做不好，而是**判斷是否正確，和是否應該授權執行，本來就是兩件事**。 另外，也不必為了使用更強的模型，把所有固定流程改成AI代理。 我的做法會是：讓AI處理規則尚不清楚、需要調查的部分；當方法已經確認，而且可以寫成確定的計算或程式，就將它固定下來。下一次再遇到相同情況，不必重新探索。 好的系統不一定讓AI做最多事情，而是讓它做最值得使用推理能力的部分。 ## 成本應該算到工作完成，而不是算到第一個回答出現 如果AI能承接更完整的任務，我們比較成本的方法也得跟著改。 ARC官方在Astra的測試中觀察到，較高推理強度有時反而降低整體費用，因為模型使用更少的行動完成工作，減少了呼叫次數與總token。這是特定測試下的結果，不代表所有任務都該使用最高推理強度，但它提醒我們：單次思考較多，不一定等於整件事較貴（[ARC分析文](https://arcprize.org/blog/astra)，擷取2026-09-16）。 假設有兩套系統。 第一套產生答案很快，費用也低，但每次都需要人重新核對、修改，再把問題丟回去。第二套單次費用較高，卻能交付比較完整的驗證結果。 只看API帳單，第一套可能比較便宜；把人工時間算進去，結論未必相同。 因此，我會使用這個比較口徑： **每件合格成果的成本＝包含失敗與重跑在內的模型、工具及人工成本 ÷ 通過驗收的成果件數。** 這不是ARC的評分公式，而是更接近工作現場的衡量方式。 評估時，也不應只看成功案例。最好挑一批有代表性的歷史任務，事先訂好標準，再比較完成率、人工介入時間、總成本與整體耗時。OpenAI的評估指南同樣強調，測試應貼近真實任務，並用人工判斷校準自動評分，而不是依賴「看起來做得不錯」（[Evaluation best practices](https://developers.openai.com/api/docs/guides/evaluation-best-practices)，擷取2026-09-16）。 第一次可以先挑十幾件工作做探索性試驗，不必一開始就重建整個流程。但這只是找出值得深入驗證的方向，不足以證明系統已經能處理所有情況。 真正值得投入的，不是偶爾讓你驚豔的示範，而是**在一批普通、麻煩、甚至資料不完整的工作裡，仍然能穩定減少你介入時間的系統**。 ## 對使用者而言，專業能力應該放到哪裡？ 從這次結果出發，我會把學習重點放在三件事：定義問題、設計驗證，以及辨認需要人決定的取捨。 這不是說操作技能不重要，而是當你嘗試讓AI承接更多操作時，必須有能力知道它是否真的完成了工作。 以報表為例，「讓兩個數字一樣」不一定是正確目標。真正要做的，可能是確認兩份報表原本就採用了不同的訂單定義。若一開始目標設錯，即使AI執行得非常有效率，也可能只是更快產出錯誤的修正。 同樣地，工程上的「測試通過」，仍然需要確認測試有沒有涵蓋真正的需求；研究上的「每段都有來源」，也要確認來源是否支持那個結論，而不是只有形式上的引用。 因此，我不會把這次進展理解成「人不需要懂了」，而會把它當成一個重新分配精力的機會： 少花一點時間當作業的搬運者，多花一點時間決定問題是否值得解、證據是否充分，以及結果能不能被使用。 對新手來說，可以從一件自己有能力驗收的小任務開始，逐步擴大交付範圍。對資深工作者來說，則值得重新檢查那些過去因為模型能力不足，而保留在人身上的操作與協調工作。 不是每一個環節都該自動化，但也沒有必要讓舊模型的限制，永久決定新模型的用法。 ## 99.9%的真正價值，是讓我們重新測試工作的邊界 GPT-6 Astra在ARC-AGI-3的成績，不是一張可以直接貼到所有工作上的能力保證書。 它更有價值的地方，是提供了充分理由，重新檢查我們原本的使用習慣。 下一次使用AI，不妨少問一點「你會怎麼做」，改成挑一段有清楚邊界的工作，讓它在取得必要資料與工具後，實際完成調查、執行與驗證。 然後觀察：結果是否正確？證據是否充分？你少介入了多少次？整體成本是否真的下降？ **99.9%值得關注，不是因為它讓我們可以停止懷疑AI，而是因為它讓我們有理由，把測試從「回答得好不好」，推進到「究竟能替我們完成多少工作」。** --- ## 本文引用來源 - [結果頁](https://arcprize.org/results/openai-gpt-6-astra) - [ARC-AGI-3](https://arcprize.org/arc-agi/3) - [ARC-AGI-3計分方法](https://docs.arcprize.org/methodology) - [開源測試程式庫](https://github.com/arcprize/arc-agi-3-benchmarking) - [Rethinking skills and prompts for GPT-6 Astra](https://developers.openai.com/blog/rethinking-skills-and-prompts-for-gpt-6-astra) - [ARC分析文](https://arcprize.org/blog/astra) - [Evaluation best practices](https://developers.openai.com/api/docs/guides/evaluation-best-practices)