為什么測試失敗分析需要單獨成流程

很多團隊接入 Codex 后，會在測試失敗時直接復制整段日志給它。這個動作看似自然，但在真實項目里經常不好用：日志里有構建噪聲、依賴警告、重復堆棧、無關測試輸出和環境信息。模型看到的信息越雜，越容易把注意力放錯地方。

靈能API負責提供穩定的 API中轉站入口，CC Switch負責保存可復用配置，但測試失敗能不能分析清楚，關鍵在輸入質量。你要先讓 Codex 看到“失敗測試名、第一處錯誤、相關文件、最近改動、運行命令”，而不是讓它在幾千行日志里自己撈針。

• 測試失敗分析不是日志壓縮，而是把失敗證據整理成可判斷的信息包。
• 先找第一處失敗，再看連鎖失敗，不要反過來。
• 先讓 Codex 給原因假設和復測方案，再決定是否讓它修改代碼。

第一步：確認中轉站接入穩定

測試失敗分析通常比普通問答更長，因為它會包含命令輸出、錯誤棧、相關源碼和最近改動摘要。所以開始之前，先通過 https://www.lnsns.com/ 進入靈能API，確認當前賬號、*ase **L、模型權限和賬戶狀態正常。不要在連接不穩定時直接跑長日志分析。

建議先用空目錄短任務驗證一次。短任務能返回，說明基礎鏈路可用；再進入真實項目做日志分析。這樣可以避免把“中轉站未連通”和“測試本身失敗”混在一起排查。

mkdir codex-test-analysis-check
cd codex-test-analysis-check
codex "請只回復：測試分析鏈路可用。不要創建、修改或刪除文件。"

• 短任務失敗時，先檢查 *ase **L、Key、模型 ID 和**。
• 短任務通過后，再處理真實測試日志。
• 不要一開始就把完整測試輸出交給 Codex。

第二步：建立專用分析配置卡

在 CC Switch 里建議單獨建立一張“靈能API-Codex-****-Analysis”配置卡。它只用于測試失敗、錯誤棧解釋和復測建議，不和日常代碼生成、長文檔寫作、CI 預檢混用。配置卡分開后，團隊更容易管理模型選擇、任務邊界和用量。

這張卡的默認規則應該偏保守：只讀、先分析、后建議、不直接改文件。等 Codex 給出原因判斷和修復路徑后，再由開發者確認是否進入寫入階段。測試失敗場景很容易誤傷，因為一個錯誤可能由環境、數據、Mock、時區、緩存或依賴版本造成，不一定是代碼邏輯本身。

• 配置卡名稱要能看出用途，不要只寫 default 或 test。
• 備注里寫模型、用途、驗證時間和只讀邊界。
• 真實 API Key 不寫在配置卡備注和文章截圖里。

第三步：核對接口字段和模型選擇

測試失敗分析對模型能力有要求，但不代表所有失敗都要用最高能力模型。語法錯誤、斷言差異、路徑問題、環境變量缺失，通常用日常模型就能定位；跨模塊邏輯錯誤、復雜異步問題、兼容性回歸，才適合切到更強模型。

通過 https://www.lnsns.com/ 查看靈能API接入信息時，可以順手維護一份模型策略：短錯誤棧用日常卡，長日志和跨模塊失敗用增強卡，批量失敗先裁剪再決定模型。這樣既能控制成本，也能提升分析穩定性。

• 單個斷言失敗：優先日常模型，輸入保持短。
• 多個模塊連鎖失敗：先找第一處失敗，再決定是否增強模型。
• 環境類失敗：先核對命令、變量、路徑和依賴版本。

**步：收集最小失敗信息包

給 Codex 的輸入不要從完整日志開始，而是從最小失敗信息包開始。信息包建議包含五項：運行命令、失敗測試名、第一處錯誤棧、相關文件路徑、最近變更摘要。只要這五項清楚，Codex 通常就能給出第一輪判斷。

最小失敗信息包：
1. 運行命令：npm test -- user.service.spec.ts
2. 失敗測試名：should reject expired token
3. 第一處錯誤：Expected 401, received 200
4. 相關文件：src/user/user.service.ts、src/auth/token.ts
5. 最近變更：調整 token 過期判斷和 mock 時間

如果第一輪信息不足，再讓 Codex 明確提出需要補充哪段源碼或哪段日志。不要主動把整個倉庫、完整日志和所有測試文件都丟進去。好的分析流程應該是逐步補證據，而不是一次性堆材料。

• 先給第一處錯誤，不給所有重復錯誤。
• 先給相關路徑，不讓模型猜文件位置。
• 先給最近變更，幫助判斷回歸來源。

?? 第五步：錯誤棧要裁剪，不要整段復制

錯誤棧裁剪有一個簡單原則：保留第一處失敗、調用鏈核心、斷言差異、文件路徑和行號；刪除重復堆棧、安裝警告、無關模塊輸出和顏色控制字符。裁剪后的日志越干凈，Codex 越容易給出**證結論。

建議保留：
- test name
- expected / received
- error message
- file path and line num*er
- relevant stack frames

建議刪除：
- repeated stack *locks
- unrelated warnings
- full dependency install logs
- colored terminal control characters

如果你不確定怎么裁剪，可以先讓 Codex 做“日志整理員”，但仍然要限定范圍：只整理下面 200 行日志，找出第一處失敗和相關路徑，不分析業務原因。整理完成后，再開啟第二輪原因分析。

• 裁剪不是美化日志，而是保留判斷所需證據。
• 不要刪掉行號和文件路徑，它們是定位問題的關鍵。
• 重復錯誤只保留首個和一個代表樣本。

第六步：先讓 Codex 做只讀原因分析

把最小失敗信息包準備好后，第一輪只讓 Codex 做原因分析，不讓它修改文件。提示詞要寫清楚輸出格式：可能原因、證據、需要補充的信息、建議復測命令。這樣你得到的是判斷框架，而不是直接改代碼。

請只根據下面的測試失敗信息做分析，不要修改文件。
輸出格式：
1. 最可能原因
2. 證據來自哪幾行日志或哪幾個文件路徑
3. 還需要補充哪些信息
4. 建議先運行哪條復測命令
5. 如果要修復，建議從哪個文件開始看

如果 Codex 的結論沒有引用具體證據，要讓它重新回答。測試失敗分析不能只靠“可能是異步問題”“可能是 mock 不一致”這種泛泛判斷，必須回到錯誤棧、斷言差異和文件路徑。

• 第一輪只讀分析，不改文件。
• 結論必須綁定證據。
• 上下文不足時要讓 Codex 明確要哪些材料。

第七步：把修復建議拆成**證動作

原因分析之后，不要直接讓 Codex 大范圍修改。先讓它把修復建議拆成小動作：改哪個文件、改哪段邏輯、為什么這樣改、改完運行什么測試、如果失敗怎么回退。修復建議越具體，越容易人工判斷是否可靠。

對于測試失敗，最穩的修復閉環是“小改動 單測復測 相關測試復測 全量測試觀察”。如果 Codex 建議一次性重構多個模塊，要讓它先解釋為什么必須跨模塊改。很多測試失敗只需要修正 mock、時區、邊界條件或斷言，不需要動核心邏輯。

修復計劃模板：
- 修改文件：src/auth/token.ts
- 修改目標：統一 token 過期判斷邊界
- 修改理由：當前測試 expected 401 received 200，說明過期邊界未命中
- 第一條復測：npm test -- user.service.spec.ts
- 第二條復測：npm test -- auth
- 回退方式：恢復本次改動并重新查看 mock 時間

• 修復建議必須帶復測命令。
• 一次只改最小必要范圍。
• 涉及核心邏輯時先人工確認，再執行修改。

第八步：控制長日志成本和觸發頻率

測試失敗分析很容易變成高頻消耗。每次保存、每次提交、每次測試失敗都自動調用 Codex 分析完整日志，成本會很快上來。更合理的方式是：短失敗手動觸發，CI 連續失敗再觸發，長日志先裁剪后觸發。

通過靈能API查看賬戶狀態時，可以把測試分析任務單獨歸類。比如日常本地失敗由開發者手動發起，CI 主分支失敗由負責人觸發，夜間全量測試失敗只取第一處失敗樣本。這樣不會因為自動化反復重試，把額度花在重復日志上。

• 短日志可以直接分析，長日志先裁剪。
• CI 失敗不要無限重試調用 Codex。
• 批量失敗先找第一處根因，再看后續連鎖錯誤。

第九步：把分析結果沉淀成問題記錄

一次測試失敗解決后，不要只留下最終補丁。建議把 Codex 的分析結果整理成問題記錄：失敗命令、失敗現象、根因、修復動作、復測命令、是否需要補測試。這樣下次遇到類似問題時，不需要重新從日志里挖。

問題記錄里同樣不要放完整密鑰、完整生產日志或客戶數據。靈能API的接入入口和配置思路可以寫，敏感憑證不能寫。測試分析記錄應該幫助團隊復盤技術問題，而不是制造新的信息泄**。

問題記錄：
失敗命令：npm test -- user.service.spec.ts
失敗現象：過期 token 返回 200，而不是 401
根因：mock 時間和過期判斷邊界不一致
修復動作：統一邊界判斷，補充等值邊界測試
復測命令：npm test -- user.service.spec.ts && npm test -- auth
后續動作：把 token 邊界規則寫進測試說明

• 問題記錄要能讓后來的人復現。
• 根因和修復動作分開寫，不要混成一句話。
• 復測命令必須保留，方便驗證修復是否真的有效。

第十步：形成團隊版測試分析模板

當團隊多次使用 Codex 分析測試失敗后，應該把有效提示詞固定下來。模板可以按測試類型拆分：單元測試、集成測試、端到端測試、構建失敗、依賴沖突。不同類型關注點不同，不要用一個萬能模板處理所有失敗。

單元測試模板關注斷言和函數邊界，集成測試模板關注服務依賴和數據準備，端到端測試模板關注環境、瀏覽器、網絡和等待條件，構建失敗模板關注依賴版本、腳本和平臺差異。模板越貼近場景，Codex 輸出越少套話。

• 單元測試：關注輸入、輸出、邊界和 mock。
• 集成測試：關注數據庫、服務依賴、事務和清理。
• 端到端測試：關注等待條件、選擇器、網絡和環境狀態。
• 構建失敗：關注依賴版本、腳本參數和平臺差異。

? 收尾：讓測試失敗從噪聲變成證據

Codex 接入 API中轉站后，測試失敗分析的質量取決于流程，而不只是模型能力。靈能API提供穩定入口，CC Switch沉淀測試分析配置卡，最小失敗信息包和錯誤棧裁剪負責把噪聲變成證據。這樣 Codex 才能真正幫助團隊定位問題，而不是在長日志里繞圈。

建議從下一次測試失敗開始實踐：先確認靈能API鏈路可用，再收集運行命令、失敗測試名、第一處錯誤、相關文件和最近變更；讓 Codex 先做只讀原因分析，再拆修復計劃和復測命令。這個閉環跑順以后，測試失敗會從煩人的紅色輸出，變成可復盤、可沉淀、可持續優化的工程材料。