金融和法律任務全軍覆沒：拆解 GDPx 2 個案例，看 AI 爲什麼會算賬、會寫合同卻交不出合格成果

作者注：GDPx 首期評測中，金融和法律兩個領域在嚴格二元驗收下沒有任何模型完整通過。本文還原兩個公開案例的具體錯誤，說明爲什麼“會算賬、會寫合同”不等於“能交付合格成果”。

2026 年 11 月 2 日，SemiAnalysis 發佈高難度專業任務基準 GDPx v1.0。在 11 個領域中，金融和法律兩個領域按原定二元通過標準，所有測試模型均未實現完整通過。研究團隊只能改用“平均部分得分”來展示模型之間的差異。

這不是一句“AI 不行”的情緒化結論。 部分模型在法律案例中拿到了 44% 的平均部分得分，在金融案例中做對了約一半的驗收檢查。真正值得關注的問題是：做對一半，爲什麼還是不能交付？

核心價值：讀完本文，你會了解 Bellwood-QoE 金融任務和 B 輪融資章程修訂任務中的關鍵金額、失敗次數與評分口徑，也能更清楚地區分 AI 的輔助能力和可以獨立承擔責任的交付能力。

金融和法律任務全軍覆沒：GDPx 核心信息速覽

GDPx 首期覆蓋 11 個專業領域、206 項任務，默認每項任務最長 8 小時，測試的是“模型 + Agent 框架 + 工具 + 工作環境”的整體表現。綜合榜第一名 Claude Opus 5.5 的得分也只有 12.0%。在這一背景下，金融和法律是兩個最“刺眼”的領域。

閱讀這張表時需要注意兩點。第一，二元分數爲 0% 並不代表所有執行成果都沒有價值，部分得分明確不是零。第二，表中的 25 次和 20 次執行屬於單個公開案例的測試，並不是整個金融領域的 24 項任務或法律領域的 20 項任務只跑了這麼多次。

金融和法律任務爲什麼採用嚴格驗收

兩個領域的交付物都是“可以直接放進真實交易流程的文件”，而不是一段建議。在併購盡調或融資談判中，一個淨債務口徑錯誤或一條可被繞開的保護條款，都可能讓整份文件失去可用性。正因爲如此，GDPx 採用了接近專業交付的嚴格驗收方式，這也是 0% 出現的直接原因。

金融任務案例：Bellwood-QoE 如何讓 AI 算對數卻交不出合格結果

交易背景與任務要求

Living Context 把真實交易經驗改造成匿名化測試環境：私募股權基金 Bannock Capital 收購 Haverly Snack Company 約 62% 的股權，交易金額約 8.8 億美元，另有或有對價安排。整個環境約有 4000 份匿名文件，涵蓋財務總賬、銀行賬單、工資資料、應收賬款賬齡、合同往來、交易協議、歷史調整表和多方顧問工作資料。

模型要接手一份未完成的收益質量分析（QoE）工作簿。它需要識別哪些已有數據正確，修正錯誤的數字和分類，同時保留正確條目和計算結構。此外還要檢查 EBITDA 調整、對齊 12 個月營運資金、處理淨債務口徑、爲每項調整提供文件證據，並保證表格之間的引用一致。交付物是修訂後的工作簿本身。

Bellwood-QoE 實測成績

最強的幾個模型平均能做對約一半檢查，最好的一次做對了 8 項。但只要剩下的檢查裏有關鍵財務錯誤，整份工作簿就不能交付。下面三類錯誤說明了問題出在哪裏。

金融錯誤一：418 美元調整被擴大解釋

一筆已經被豁免的 418 美元保險審計調整，被部分模型理解成“此前整個工傷保險保單義務已經結束”。結果是過去 12 個月的 EBITDA 被低估了 4728 美元。在 Opus、Astra、Sol 的 15 次相關執行中，有 10 次出現了這種誤判。

這不是乘法算錯。模型把一項具體調整的會計和法律含義，擴大成了對整個歷史保險責任的判斷。4728 美元的偏差來自這一誤判造成的後果，並不是 418 美元的某個倍數。這種錯誤很難通過“反覆驗算”被發現，因爲算式本身可能是對的。

金融錯誤二：交易費用被混入淨債務

有 15 次執行把銀行家的成功費用計入了淨債務，但交易購買協議已經規定，這筆費用應作爲單獨的交易費用處理。模型能找到這筆費用，也能做對加減運算，卻沒有采用具有約束力的協議口徑。

這就是“數據存在”與“業務分類正確”之間的差距。在併購中，淨債務通常會影響買方實際支付的金額，分類錯誤的影響不只停留在表格裏。

金融錯誤三：漏掉應調整的費用

研究團隊還發現了一組更隱蔽的問題，具體如下：

• 17 次執行仍把未實際工作的家庭成員薪酬當作企業正常經營費用；
• 多數執行沒有識別只記載在總賬備忘欄裏的業主個人費用；
• 最強模型的 15 次執行中，有 10 次遺漏了一筆 9192 美元的歷史促銷費用調整，把本屬於其他期間的費用算進了當前 12 個月。

這些錯誤同時涉及會計期間、費用性質、證據來源和交易的經濟實質。收益質量分析的意義，正是要剝離這類“看起來像經營費用、其實不是”的項目。漏掉它們，EBITDA 就無法反映企業真實的盈利能力。

法律任務案例：B 輪融資章程修訂爲何 20 次全部不可用

法律任務要求

在 quillon-series-b-redline 任務中，AI 代表 B 輪融資的領投方，修改擬簽署的公司章程。輸入材料包括已簽署的投資條款清單、股權結構表、客戶郵件、章程草稿和相關交易材料。成功的標準是保護投資人的合法權益，同時不能無故改動已經談妥的商業條件。這是一項需要多文件對照的法律判斷任務，而不是文案潤色。

法律案例成績與三類關鍵失誤

需要說明的是，18% 是這一案例相關運行的平均部分得分，不是 GDPx 法律領域的整體統一得分。

錯誤一：只讀條款，不算票數。 13 次執行沒有發現其他股東擁有足夠的投票權，可以移除領投方需要的保護條款。章程裏寫着保護性條款，並不代表這項保護真的穩固。只有結合股權結構表計算投票權，才能判斷這項條款能否被推翻。

錯誤二：只改字面，不防繞行。 20 次執行全部沒有有效防止公司藉助子公司繞開章程中的投資人保護限制。條款約束的是公司本身，如果沒有覆蓋子公司，實際業務就可以換一個主體來做。理解條款的字面意思，不等於識別出規避它的現實路徑。

錯誤三：把郵件當成最終協議。 14 次執行直接採納了客戶郵件中的期望條款，卻沒有指出這些要求與已簽署的條款清單存在衝突。這樣修改，相當於單方面重新談判已確定的交易條件。合格的做法是識別衝突並提示用戶，而不是照單全收。

法律評分如何控制可靠性

Chakra 的評分設計包括：由法律專業人員制定要求，使用有效、無效和部分正確的樣本校準評分準則，人工複覈有爭議的判定，並檢查評分模型的偏差。每份輸出會被評分五次，並跟蹤各驗收項結果的一致性。不過，這屬於合作方描述的內部質量控制，不等於已有完全獨立的機構驗證了評分不存在誤判。

金融和法律任務失敗的共同原因：不是寫不出來，而是判斷不對

Living Context 把金融案例的常見錯誤歸納爲四類，這與法律案例的觀察高度吻合：

這些是研究團隊總結的失敗模式，並不是所有企業財務模型或法律文書的統一錯誤率。它們揭示的共同點是：關鍵困難往往不在於生成文本，而在於資料選擇、專業推理、隱含約束、跨文件一致性以及最終驗收。模型回答越流暢，越容易讓人忽略這些問題。

金融和法律 AI 應用影響分析：如何區分輔助與交付

對企業 AI 負責人與開發者的影響

GDPx 並沒有否定 AI 輔助專業工作的價值。部分得分說明，模型已經能完成一定比例的驗收要求。但研究沒有給出依據來證明人工參與時能節省多少時間或成本，因此不應把案例結論直接換算成 ROI。更務實的做法是按風險分級授權，可以參考下表：

這套分級與外部規範方向一致。美國律師協會（ABA）在 2024 年 7 月 29 日發佈 Formal Opinion 512，指出律師使用生成式 AI 時仍須考慮職業能力、客戶信息保密、溝通、監督和合理收費等責任，並應理解工具的能力與限制，不能未經覈查就採用輸出。美國 NIST 於 2024 年 7 月 26 日發佈的 AI RMF 生成式 AI Profile 也強調，組織應根據使用情境安排人工監督、評估、記錄與治理。需要注意，ABA 意見屬於美國律師職業道德指導，NIST 文檔也不是 GDPx 的測試結果，二者只能作爲跨領域參考。

用 API 搭建“衝突提示”型輔助流程

GDPx 法律案例中最常見的失誤之一，是沒有指出客戶郵件與已簽署條款之間的衝突。這類“找差異、提問題”的工作恰好適合 L2 級輔助，前提是輸出只作爲供人工確認的線索。下面的示例讓模型對照兩份文本，列出衝突和需要人工確認的事項：

import openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # API易 OpenAI 兼容接口
)

resp = client.chat.completions.create(
    model="claude-sonnet-4-20250514",
    messages=[{"role": "user", "content": "對照【已簽署條款清單】與【客戶郵件】，只列出衝突項和需人工確認的問題，不要直接修改條款。\n條款清單：...\n客戶郵件：..."}]
)
print(resp.choices[0].message.content)

import openai
from typing import List, Dict

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # 一個 Key 調用多家模型
)

SYSTEM = (
    "你是交易文件審查助手。你的輸出只作爲專業人員的審查線索，"
    "必須遵守：1) 已簽署文件效力優先於郵件和舊錶格；"
    "2) 發現衝突時提示，不得自行改寫商業條款；"
    "3) 每條結論標註依據的文件名和段落；"
    "4) 無法確認的事項明確寫'需人工確認'。"
)

CHECKS = [
    "客戶郵件中的要求是否與已簽署條款清單衝突",
    "結合股權結構，其他股東能否憑投票權移除保護條款",
    "保護條款是否覆蓋子公司，是否存在繞行路徑",
]

def review(docs: str, models: List[str]) -> Dict[str, str]:
    """用多個模型分別生成審查線索，便於人工交叉比對"""
    prompt = "請逐項檢查：\n" + "\n".join(f"- {c}" for c in CHECKS) + f"\n\n材料：\n{docs}"
    results = {}
    for m in models:
        try:
            r = client.chat.completions.create(
                model=m,
                messages=[{"role": "system", "content": SYSTEM},
                          {"role": "user", "content": prompt}],
                temperature=0
            )
            results[m] = r.choices[0].message.content
        except Exception as e:
            results[m] = f"調用失敗: {e}"
    return results

if __name__ == "__main__":
    out = review("條款清單：...\n股權結構表：...\n客戶郵件：...\n章程草稿：...",
                 ["claude-sonnet-4-20250514", "gpt-4o"])
    for model, text in out.items():
        print(f"===== {model} =====\n{text}\n")
    # 最終是否採納，由律師或財務專業人員按驗收清單逐項判定

🚀 快速上手建議：搭建這類輔助流程時，可以先通過 API易 apiyi.com 用同一個 API Key 接入多個主流模型，在自己的脫敏樣本上交叉比對沖突提示的召回情況。新用戶可以使用免費測試額度做小規模驗證，再決定是否進入流程試點。

對金融與法律科技行業的影響

GDPx 的結果提醒行業，評估專業 AI 產品時不能只看對話演示是否流暢，而要看最終交付物能否通過專業驗收。對於供應商來說，產品的競爭力會更多體現在“權威文件優先級”“衝突提示”“保留原有公式結構”“證據溯源”這些工程細節上。對於採購方來說，應當用接近自身業務的任務獨立測試。GDPx 本身也只公開了部分任務和執行軌跡，仍需要更多外部審查與復現。

💡 選型提示：不同模型在不同領域的表現差異明顯，單一綜合排名不能代表你的業務。建議通過 API易 apiyi.com 的統一接口，在自己的任務上並行測試多個模型，同時記錄部分得分和關鍵項通過情況，不要只看平均分。具體模型是否可用，請以平臺實時列表爲準。

常見問題 FAQ

金融和法律任務 AI 評測核心要點 Key Takeaways

• 嚴格驗收結果爲零：GDPx 金融與法律領域在二元標準下沒有任何模型完整通過。
• 部分得分並非零：金融案例最佳單次通過 8/11 項檢查，法律案例最高單次得分 57%。
• 錯誤在判斷，不在計算：418 美元調整的誤讀導致 EBITDA 被低估 4728 美元。
• 權威性優先級是關鍵：14/20 次執行把客戶郵件置於已簽署條款清單之上。
• 隱含約束最難覆蓋：子公司繞行風險在 20/20 次執行中都沒有被防住。
• 三種概念不能混用：部分得分、完整通過和生產可用需要分別評估。
• 先輔助、再試點：可以通過 API易 apiyi.com 多模型統一接口，在自有樣本上做分級驗證。

總結

GDPx 金融和法律任務的核心啓示可以歸納爲三點：

1. 流暢不等於合格：表格算得對、條款寫得順，仍可能在經濟實質、權益結構和文件衝突上出錯；
2. 專業交付靠判斷：資料權威性、二階影響、隱含約束和跨文件一致性，纔是專業工作的難點；
3. 授權要分級、驗收要清晰：參考 ABA 與 NIST 的思路，保留人工審查，把 AI 放在輔助和初稿的位置。

AI 已經能在複雜專業任務中完成一部分有價值的工作，但距離獨立承擔責任的交付還有明顯差距。如果你正在評估金融或法律場景的 AI 方案，推薦通過 API易 apiyi.com 在自己的業務樣本上對比多個模型的部分得分與關鍵項通過率，再決定授權邊界。

📚 參考資料

1. SemiAnalysis GDPx 原始報告：金融及法律章節、案例與失敗模式
2. 鏈接： newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities

3. 說明： Bellwood-QoE 與 quillon-series-b-redline 案例數據的一手來源

4. GDPx 領域說明與公開執行軌跡：任務數量、合作方與 Agent 軌跡

5. 鏈接： gdpx.semianalysis.com/domains、gdpx.semianalysis.com/rollouts

6. 說明： 可以查看部分公開任務的執行過程

7. ABA Formal Opinion 512 新聞說明：律師使用生成式 AI 的職業道德指導

8. 鏈接： americanbar.org/news/abanews/aba-news-archives/2024/07/aba-issues-first-ethics-guidance-ai-tools/

9. 說明： 適用於美國律師行業，可作爲人工審查原則的參考

10. NIST AI RMF 生成式 AI Profile：生成式 AI 風險管理框架

11. 鏈接： nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence
12. 說明： 關於人工監督、評估與治理措施的跨領域參考

作者：APIYI 技術團隊
技術交流：歡迎在 API易官網首頁聯繫我們，更多接入資料可訪問 docs.apiyi.com 文檔中心

延伸閱讀

• 榜單分數爲何不可盡信：看懂 benchmaxing 的 3 種成因，用 4 步自有任務評測選模型:解釋 benchmaxing 爲何讓公開榜單分數虛高，給出 5 項榜單可信度檢查表，以及“取樣、定驗收、跑多模型、定期更新”4 步私有題單流程，幫助開發者用自有任務評測選模型。
• OpenAI 法律版 Astra 已經能用了嗎？價格、申請資格、API 限制 4 個問題一次說清:OpenAI 官方定價頁已列出 gpt-6-astra-law，但“公佈價格”不等於“全面開放”。本文梳理法律版 Astra 的定位、價格、申請資格與 API 限制，截至 2026 年 11 月 2 日。
• 搭一個定時運行的監控摘要 Agent：4 個組成與接口選擇指南:拆解定時運行的監控摘要 Agent 的 4 個組成部分，講清模型調用層如何藉助 OpenAI 兼容接口與具體 SDK 解耦，並給出可運行的 Python 示例。