如何建立值得信任的 AI Agent 團隊?Lauren Tan 的實作經驗與管理啟示
當 AI agent 寫完程式,還需要你親自測試、找出錯誤,再把截圖與訊息貼回去請它修改,同時開更多 agents,就會有更多工作等著你檢查。
在〈Lauren Tan Reveals How to Build a 21+ Agent GrokBot Team〉這場分享中,Lauren Tan 談到自己如何從緊盯少數 agents 的每一步,逐漸讓它們在背景調查問題、修改程式,甚至自動合併修改。
這段轉變需要不少前期投入。她建立操作與驗證工具,把反覆出現的失敗整理成 skills,再透過程式架構與自動檢查,限制 agents 容易犯的錯。
影片標題雖然強調「21+ Agent 團隊」,但並未逐一介紹完整的角色編制。分享的重點,是如何建立一個讓多個 agents 可靠工作的環境。
從不放心,到逐步增加授權
Lauren 一開始面對的問題,和許多使用 coding agents 的人很相似。
Agent 經常沒有充分閱讀程式碼,就很肯定地宣稱找到問題。等到修改完成、實際執行,才發現真正的原因還沒找到。
幾次之後,人自然會懷疑它的判斷,開始檢查每一次工具呼叫、每一項修改。她將這種狀態比喻成主管對團隊進行微觀管理:不信任團隊,就只能不斷盯著工作細節。
這也限制了同時能交給 agents 的工作量。連一個 agent 的成果都無法放心,同時啟動幾十個,只會增加監督負擔。
她先密切觀察少數 agents,找出它們在哪些地方失敗,再逐步補上工具、背景與工作方法。當成果愈來愈可靠,才增加自動化程度。
先讓 Agent 自己驗證成果
Lauren 認為,使用 agents 時,最值得優先建立的能力是驗證。
Agent 應該能啟動應用程式、操作介面、重現問題,並檢查修改後的結果。依產品不同,可能需要控制瀏覽器、桌面應用程式或 iOS 模擬器,也可能需要取得效能追蹤與記憶體分析資料。
她曾在剛加入團隊、還不熟悉程式碼時處理效能問題。當時,她得自己打開開發工具、擷取效能資料,再交給 agent 分析。Agent 提出判斷,她修改並測試,結果卻不一定對。
只要驗證仍由人完成,人就得不斷參與這個循環:
- Agent 修改程式。
- 人啟動產品並測試。
- 人整理截圖、錯誤訊息與執行結果。
- Agent 根據這些資訊再次修改。
因此,她建立控制應用程式的 skill,讓 agent 能自己執行、觀察與測試。
她也特別區分,驗證能提高對程式正確運作的信心,但不能保證程式設計良好。要讓程式碼長期容易維護,仍需要架構與其他品質機制。
有操作工具,還需要功能地圖
控制工具建立後,另一個問題出現了:agent 能點擊介面,卻不知道功能在哪裡。
使用者說「側邊欄很慢」或「右邊的 PR 分頁壞了」,agent 可能花很多時間搜尋程式碼、摸索畫面,仍然不知道如何進入相關功能。
Lauren 因此加入 feature map,也就是功能地圖。這份文件記錄:
- 產品有哪些功能與子功能。
- 使用者如何進入各個功能。
- 相關操作步驟與快捷鍵。
- 自動操作時可使用的介面定位資訊。
有了這些背景,agent 才比較能把模糊回報或截圖,對應到實際的操作路徑。
她也提到,功能地圖需要隨產品更新。因此,除了建立驗證能力,也要有維護這些能力與文件的方法。
從失敗經驗累積 Skills,再用 Evals 檢查
Lauren 的 skills,是從觀察 agents 的失敗逐步累積出來的。
例如,她發現 agent 在調查 bug 時,沒有閱讀她認為應該檢查的程式碼,卻直接提出結論。她便把調查要求整理成 skill,要求它先搜尋、閱讀與查證,減少猜測。
她將 agent 比喻成一位很會寫程式,卻剛到職、完全不了解業務背景的新同事。要讓這位同事有效工作,需要提供團隊的方法、背景與判斷標準。
但 skill 寫好後,還得確認它是否有效。她使用 evals,也就是針對 agent 行為的評估測試,檢查 agent 是否真的照預期工作。
她的做法包括,由協調 agent 建立評分標準,讓多個子 agents 執行任務,再比較結果。也可以跨模型測試,或請另一種模型擔任評審,交叉檢查評分。
每次修改 skill,她都會重新評估。初期則需要仔細觀察工具呼叫、調查過程與產出,找出工作方式還缺少什麼。
從本機建立信心,再擴展到雲端
對於想建立驗證能力的人,Lauren 建議先從本機開始。這樣比較容易看見 agent 如何啟動應用程式、呼叫工具,以及操作介面。
等到這些能力可靠後,再移到雲端,讓工作可以在背景持續進行。
她介紹了一個名為 Benny 的 agent。接到 bug 回報後,它會在自己的雲端環境啟動應用程式,操作產品並嘗試重現問題。
其中一個案例是,Benny 確認使用者回報的問題已經在主分支修好,只是還沒發布新版。團隊因此知道,接下來需要的是發布,而非重新調查與修復。
這類工作即使沒有新增程式碼,也能省下不少時間。它讓團隊更快知道問題是否存在、是否已解決,以及下一步該做什麼。
不過,她不建議在驗證能力尚未成熟時,就大量啟動雲端 agents。調查與驗證不可靠,擴大規模也會放大成本。
讓程式架構限制容易犯的錯
當 agents 能持續產出程式碼,另一個挑戰是如何維持品質。
Lauren 觀察到,agents 喜歡沿用現有模式,也傾向採取最方便的解法。如果專案沒有清楚的結構與限制,短期方便的選擇會不斷累積,讓程式碼愈來愈難理解與維護。
她因此投入大量重構,建立更適合 agents 工作的架構。她的原則是:讓最容易採取的做法,同時符合品質要求。
例如,將同一功能的程式碼集中在同一目錄,讓 agent 不必四處尋找;統一功能與介面元件的建立方式,讓它能沿用可靠模式。
對 Electron 應用程式,她也透過目錄與相依檢查,限制主程序與渲染程序之間的程式碼匯入,避免耗時運算或 I/O 意外進入渲染程序,拖慢介面。
她的專案還有一些很嚴格的限制,包括禁止使用 useEffect 與程式碼註解。這些是她針對特定專案及觀察到的失敗模式所做的選擇,不能直接套用到所有團隊。
更普遍的原則是,把重要規則交給工具執行。Skills、文件與 AI review 都可能被忽略;lint、靜態分析、編譯器與 CI,則能讓不符合要求的修改無法通過檢查。
當同一類問題反覆出現在 code review,她會思考如何將它轉成自動檢查,或調整架構,減少這類錯誤發生的機會。
高產出的背後,是前期投入與成本取捨
Lauren 表示,自己曾一個月合入約 1,000 個 PR,也曾睡醒後發現 agents 已自動合入約 20 個 PR。為了建立新的架構,她也投入了超過 600 個 PR 的重構工作。
這些是講者的經驗自述。影片沒有提供獨立的品質驗證,也沒有完整交代自動合併的條件,因此不能單靠 PR 數量判斷產品價值或程式品質。
她也坦承,自己在 AI 公司工作,擁有非常充裕的 token 資源,其他團隊未必適合完全照做。
她認為,評估投入時,需要考慮這些工具與架構能否讓整個團隊受益。當工作環境足夠清楚,除了工程師,PM 與設計師也可能透過 agents 參與功能開發與修復。
她用主廚比喻工程師的角色:安排工作、設計廚房、建立標準,並對品質負責。當 agents 承擔更多實作,工程師也需要花更多心力,建立它們能可靠工作的條件。
這和我過去談的授權,有哪些相近之處?
整理這場分享時,我想到自己過去幾篇關於授權與 AI 導入的文章。Lauren 談的是 agents,我談的多半是主管與團隊,但有幾個問題很接近。
在〈老闆放不下,主管接不起:授權失敗的 5 個斷點〉中,我區分了授權與賦能:一個人取得決策權,還需要資訊、能力與支持,才有條件作出好決定。
Lauren 為 agent 建立操作工具、功能地圖與 skills,也是在補足完成工作的條件。任務交出去了,背景與工具卻沒有跟上,最後仍然需要人不斷介入。
在〈公司愈成長,老闆為什麼反而愈忙?如何畫出公司的決策權地圖?〉中,我談到從有限範圍開始,確認目的、必要資訊、權限邊界與檢查方式,再根據實際判斷品質逐步擴大授權。Lauren 從本機觀察少數 agents,到雲端平行工作,再到部分修改自動合併,也採取了相近的做法。
這裡的共同點,是讓信任有可以觀察的依據。工作能否完成、結果如何確認、出錯後能否發現與調整,都會影響下一步能交出多少權限。
這也接續了〈你的提示詞可能沒問題:先讓 AI 完成任務,再決定要開發什麼〉的討論。那篇談的是,先讓 Agent 處理真實任務,從卡住的地方找出缺少的資料與工具。Lauren 的分享進一步說明,當這些任務開始反覆交給 agents,還需要建立驗證、評估與自動檢查,才能穩定運作。
不過,人與 agent 仍有重要差異。人的授權涉及意願、關係、獎懲與責任承擔;agent 的可靠性則需要檢查模型行為、工具能力、測試結果與系統限制。兩者可以互相啟發,不能直接當成同一套管理方法。
對我而言,這場分享補上了一個具體的工程案例:要減少逐件檢查,就得先把背景、標準與回饋機制建立起來。主管或工程師仍然對整體結果負責,只是投入心力的地方,逐步從親自回答每個問題,轉向讓工作在自己不必時刻介入時,也能可靠地完成。
原始分享:Lauren Tan Reveals How to Build a 21+ Agent GrokBot Team
本文整理自影片內容;最後一節為作者連結既有文章所作的延伸解讀。
作者簡介
范育銘是 Scrum Inc. 認證培訓師及台灣敏捷協會常務理事,曾陪伴不同規模的企業推動數位與組織轉型。我協助主管對齊目標、釐清決策邊界,建立回饋與協作機制,讓主管能放心授權,團隊也能承擔決策與成果責任。
我也持續在 WeAgile 分享組織變革與敏捷實務文章,並提供公開課、企業內訓及教練顧問服務,幫助企業把自組織與自管理,從理念轉化為真正能運作的管理能力。

發佈留言