AI研究
AI 員工試用期驗收：轉正的 go/no-go 量化關卡
多數企業替 AI 員工設了試用期，期末卻只能憑感覺決定該不該轉正，而 MIT 研究顯示 95% 的生成式 AI 專案交不出可衡量成效。本文提供四道量化驗收關卡、go/no-go 決策邏輯與轉正前的簽核清單，讓你用數據而非印象決定 AI 是否上線。
AI 員工上線只是起點：不追蹤的代價
很多企業把 AI 員工導入當成一次性專案，簽核完、上線後就少有人再盯——這正是失敗的主因。RAND 訪談數十位資深資料科學家與工程師的研究指出，據估計超過八成的 AI 專案以失敗告終，約為一般 IT 專案失敗率的兩倍；MIT 2025 年研究更指出，95% 的生成式 AI 試點對損益毫無可量測影響。Gartner 也預測，到 2026 年，將有六成 AI 專案因缺乏「AI 就緒」的資料支撐而遭放棄。換句話說，決定 AI 值不值得的，往往不是上線前算得多準，而是上線後有沒有一套持續看見它「現在做得好不好」的追蹤機制。本文不談 ROI 公式，只聚焦上線後的追蹤：指標怎麼埋、資料哪裡來、告警怎麼分級、多久復盤一次。
模型會「悄悄變笨」：漂移是真實且可量測的
AI 員工與傳統軟體最大的不同，是它的輸出品質會隨資料、使用情境與模型更新而漂移，而且常常是無聲的。史丹佛與 UC Berkeley 2023 年的知名研究發現，同一個 GPT-4 在三個月內，判斷質數的正確率從 84% 掉到 51%，能直接執行的生成程式碼比例從 52% 崩到 10%——使用者甚至沒改任何一行 Prompt。這不是特例：2026 年一份針對多代理系統「agent 漂移」的模擬研究估計，長時間運行的 agent 近半數會出現行為退化，任務成功率下滑逾四成、需要人工介入的次數暴增 3.2 倍。更棘手的是這類故障對傳統延遲或 5xx 監控完全隱形：一個失控的 agent 可能在一個下午燒光一週的 token 預算、在儀表板轉紅前就已波及上千次任務。漂移看不到，不代表沒發生。
該埋哪些指標：品質、產能、成本、風險四類
一個能實際運維的儀表板，不該只放一個籠統的「準確率」，而應分成四個面向，每個面向各挑二到三個可量測的指標：
| 面向 | 代表指標 | 看什麼 |
|---|---|---|
| 品質 | 人工修正率、退件率、幻覺率 | 輸出是否可信、要不要人接手 |
| 產能 | 處理量、平均處理時間、自動完成率 | 是否真的分擔了工作量 |
| 成本 | 每次任務 token 成本、API 呼叫次數 | 用量與花費是否失控 |
| 風險 | 逾時率、錯誤中斷率、越權/敏感詞觸發 | 是否踩到安全或合規紅線 |
其中「人工修正率」通常是最早反映品質下滑的領先指標：當同仁開始頻繁改寫 AI 的輸出，代表信任正在流失，遠比等到客訴才發現來得早。成本面則建議追蹤每次任務成本的 P99 與 P50 比值——若第 99 百分位的花費遠高於中位數，通常代表某個高流量端點的 max_tokens 沒設上限，是最常見的失血點。把四類指標放在同一個畫面，決策者不必等月報就能一眼看出 AI 員工處在健康、需要關注還是該介入的狀態。
資料從哪裡來：三個埋點層
指標好不好看是其次，資料取得的可靠度才是儀表板能否長久的根本。實務上資料來自三層埋點：
- 系統日誌層：在 AI 服務的輸入輸出處，為每次任務打上唯一 trace ID，記錄時間戳、耗時、token 用量、模型版本與錯誤碼，這是產能與成本指標的來源。
- 人機互動層：用一個簡單的「採納／修正／退件」按鈕，記錄人類是否採納、修改或退回 AI 的輸出，這是品質指標的核心，也是日後評測資料集的養分。
- 業務結果層：把 AI 處理的案件與下游結果（客訴、成交、重工）關聯起來，反映真實影響。
前兩層應在系統設計時就內建，事後補埋成本很高；第三層則需與既有業務系統的識別碼打通，識別碼是否一致，往往決定第三層資料到底能不能用，值得在設計初期就先確認。
告警門檻：從「看得到」進化到「叫得動」
儀表板只是被動呈現，真正防止事故的是主動告警。Google SRE 的四大黃金訊號（延遲、流量、錯誤、飽和度）是系統健康的最低限度視圖；套到 AI 上，門檻設定的原則是分級，而非一條線：
| 等級 | 觸發範例 | 反應 |
|---|---|---|
| 觀察 | 人工修正率一週內上升 5% | 記錄，下次復盤討論 |
| 警告 | 修正率破 20% 或逾時率破 10% | 通知負責人當日查看 |
| 緊急 | 錯誤中斷率破 30% 或觸發敏感詞 | 即時通知並考慮暫停自動化 |
延遲類指標建議把 P95 與 P99 分開設門檻：P99 抓最糟的尾端、P95 更早抓到整體劣化。門檻沒有通用值，應以上線初期穩定運作一到兩週的數據為基準線，再往上抓合理容忍區間；過鬆等於沒設，過緊則會讓團隊被雜訊淹沒而開始忽略告警——這也是為什麼「觀察」級只記錄、不打擾人。
復盤節奏與逼近的法規壓力
追蹤不是設好就結束，而是一個固定節奏的循環：每週花十五分鐘掃趨勢，看四類指標有沒有緩慢劣化；每月校準告警門檻，並抽樣做人工品質確認；每季對照模型或流程的重大更動，重新評估指標是否仍對得上業務目標。這件事正從「最佳實務」變成「法律義務」：歐盟 AI 法案要求高風險 AI 系統的提供者與部署者，最遲在 2026 年 8 月 2 日前建立持續監控機制、追蹤真實環境下的表現，並在期限內通報重大事故。也難怪 Gartner 預估，LLM 可觀測性的投資佔比會從 2026 年初涵蓋 15% 的生成式 AI 部署，一路升到 2028 年的半數。把 AI 員工當成需要持續照顧的同事，退化幾乎都能在造成損害前就被攔下來。
恩梯科技如何協助
恩梯科技協助企業為上線後的 AI 員工建立可持續運維的追蹤機制：從盤點該埋哪些指標、在系統中設計三層埋點與資料管線，到規劃告警分級、黃金訊號門檻與週月季復盤節奏，讓 AI 的成效變得看得見、管得住。若你的 AI 系統已經上線卻缺乏一套清楚的監控儀表板，歡迎與我們討論。
參考資料
- RAND Corporation，《The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed》，2024。來源連結
- MIT NANDA，《The GenAI Divide: State of AI in Business 2025》，2025（Fortune 報導）。來源連結
- Gartner，《Lack of AI-Ready Data Puts AI Projects at Risk》（新聞稿），2025。來源連結
- Lingjiao Chen、Matei Zaharia、James Zou，《How Is ChatGPT's Behavior Changing over Time?》，2023。來源連結
- Abhishek Rath，《Agent Drift: Quantifying Behavioral Degradation in Multi-Agent LLM Systems Over Extended Interactions》，2026。來源連結
- Google，《Site Reliability Engineering》〈Monitoring Distributed Systems〉章，2016。來源連結
- 歐盟《人工智慧法案》第 72 條〈Post-Market Monitoring〉，2024。來源連結
- Gartner，《Gartner Predicts by 2028, Explainable AI Will Drive LLM Observability Investments to 50% for Secure GenAI Deployment》（新聞稿），2026。來源連結
