人工智慧與自動化
IBM Watson:一場著名的AI演示至今仍能教導我們哪些關於現實世界系統的知識?
2011年,IBM Watson在智力競賽節目《危險邊緣》(Jeopardy!)中擊敗了肯·詹寧斯和布拉德·魯特。這是一場名副其實的技術盛事:系統必須解讀為人類編寫的線索,進行搜尋和排名…

2011年,IBM Watson在《危險邊緣》(Jeopardy!)節目中擊敗了肯·詹寧斯和布拉德·魯特。這是一場名副其實的技術盛事:系統必須解讀為人類編寫的線索,搜尋並排序可能的答案,評估置信度,並決定何時搶答。 IBM本身的歷史記錄保留了比賽的基本事實。但電視上的勝利從來都不是智能的普遍證明,也不是之後所有以Watson之名售出的系統的保證。 IBM對這場比賽的記錄之所以有價值,恰恰在於它讓我們能夠從真正的成就出發,而不是從圍繞它而產生的種種神話中尋找答案。
每當一項技術宣稱以熟悉的形式出現時,這種區別就顯得尤為重要:引人注目的演示、令人印象深刻的模型評分、自信滿滿的產品展示,以及由此得出的「日常工作因此得以解決」的結論。真正有用的問題不在於演示是否“真實”,而在於:它實際實現了什麼功能,在什麼條件下實現的,以及在用戶實際應用場景中還有哪些功能需要驗證?
沃森(Watson)是一個特別好的例子,因為它的名字涵蓋了一個著名的研究系統、一系列商業服務、一家醫療保健企業,以及最近推出的新一代IBM人工智慧產品。追蹤這段演變歷程並非企業考古學,而是一種更不容易被錯誤證據蒙蔽,也更容易辨識真正系統化所需證據的方法。
《危險邊緣》的勝利究竟證明了什麼,又沒有證明什麼?
《危險邊緣》的挑戰難度高。線索運用了間接表達、雙關語、文化典故,以及一種反轉形式──參賽者必須以問句的形式作答。一個系統不能只依賴找出同時出現的字詞來取得成功。它必須產生合理的候選答案,權衡各種證據,並迅速做出反應,使信心真正轉化為實際行動,而不僅僅是停留在理論層面。
因此,沃森的勝利證明了一個重要的事實:當機器經過精心設計,符合特定規則,並配備相關語料庫,且在公開環境下獲得明確評分後,它就能以極高的水平完成一項要求非常嚴格的問答任務。 IBM 將該計畫稱為 DeepQA;其研究人員也發表了一篇關於比賽策略的論文。這篇關於沃森在 Jeopardy 比賽中策略的研究論文比比賽本身更清晰地闡明了這一點:成功源於特定的問題定義和一系列相互作用的方法,而不是源於某種名為“理解”的神奇開關。
這比標題版本更令人印象深刻,但也更具限制。問答節目系統可以根據答案、時間和比賽結果來評判。而工作場所繫統可能需要解讀不完整的記錄、處理人與人之間的溝通、向責任人傳達不確定性、應對政策變化、維護機密性,並在出錯時妥善補救。這些都是不同的任務。它們可能使用相同的技術,但相同的標籤並不意味著它們的證據可以互換。
反覆出現的問題值得我們深思:沃森時刻究竟證明了什麼?它證明了針對特定公共挑戰,可以建立高效能的問答系統。但它並沒有證明模型可以在所有領域安全地做出決策,理解推薦的社會和製度意義,或在沒有精心設計的外部工作流程的情況下創造價值。
這並非反人工智慧的結論,而是基於工程學的結論。演示只有在與實際演示任務規模相符的情況下才能發揮其最大效力。人們想要擴大演示規模的衝動是可以理解的。糾正方法很簡單:在藉用其影響力之前,先先明確其邊界。
電視設定之所以重要,還有另一個原因。它使評估過程清晰易懂。觀眾可以看到相同的線索、答案、得分和最終結果。在許多實際場景中,結果並非如此顯而易見。一項建議可能因為聽起來合理而被採納,但卻沒有人記錄它是否準確、用戶是否需要糾正,或者是否遺漏了重要的例外情況。挑戰不僅在於技術評估,還在於如何建立工作流程,留下足夠的證據以便從錯誤中學習。
這種工作流程改變了「信心」的涵義。在遊戲中,信心可以用來決定是否按下按鈕。但在實際的工作流程中,內部信心評估並不能自動成為人類可信賴的訊號。它可能沒有針對最重要的案例進行校準,精心設計的介面可能會讓初步的答案看起來像是最終結果。負責任的設計會思考如何以使用者能理解的方式表達不確定性:例如,提供來源連結、醒目的缺失資料提示、升級路徑,或禁止單獨使用該結果執行特定操作。
這種區分也有助於保護優秀的工作免受不公平期望的影響。一個團隊如果開發了一個用於檢索特定政策的輔助工具,就不應該被要求證明它已經開發了一個通用的分析工具。它只需要證明該輔助工具能夠檢索到正確的政策版本,展示其依據,並且能夠以足夠安全的方式處理不確定性,從而勝任其既定任務。明確的主張可以進行誠實的檢驗,而廣泛的主張往往難以驗證,因此也難以管理。
為什麼問答系統不能作為通用決策工具
問答任務乍看之下與許多類型的工作極為相似。有人提出問題;系統產生答案;人採取行動。但這過程背後隱藏著決定答案是有用還是危險的選擇。
首先,必須有人確定真正要問的是什麼問題。在智力競賽節目《危險邊緣》(Jeopardy!)中,遊戲會明確目標:提供與線索相符的答案。在組織中,諸如「哪個供應商最好?」之類的問題可能掩蓋了相互衝突的考慮因素:成本、可靠性、合約承諾、環境風險、本地知識以及延誤的後果。系統可以在不解決這些衝突的情況下檢索或產生相關資料。如果沒有人為負責人決定如何權衡這些因素,那麼答案可能看起來斬釘截鐵,但實際上卻僅僅反映了一個未經檢驗的假設。
其次,證據環境會改變。問答節目的語料庫可以預先準備,其範圍也易於理解。而商業或公共服務環境則包含即時更新的文件、權限設定、重複記錄、缺失的上下文信息,以及僅因與特定案例相關而具有意義的事實。關鍵問題不僅在於系統能否找到文本,更在於它能否向決策者展示其使用了哪些信息、無法獲取哪些信息,以及其置信度應止於何處。
第三,任何決策都包含後果。就像智力競賽節目《危險邊緣》中,如果答案錯誤,得分就會改變。同樣,如果一項建議會影響到患者診療流程、福利申請、招聘決策、安全響應或合同,即使答案聽起來合情合理,也可能造成損害。但這並不意味著軟體在影響重大的工作中毫無用處。而是意味著應用程式的設計必須圍繞審查、升級、可審計性和明確的責任劃分。
這種區別很容易被忽略,因為流暢的語言掩蓋了它。一個系統可能會用結論的語法形式給出答案。但這並不能告訴我們它是否經過實際決策的檢驗,數據是否具有代表性,或者人是否能夠及時修正它。優秀的評估者會將這些層面區分開來:
- 系統所展現的能力;
- 實際環境中所提出的任務;
- 那裡可獲得的證據和數據;
- 失敗成本;
- 行動之前仍然存在的人類權威。
一旦這些層面清晰可見,問題就從意識形態層面轉向了實際層面。不適用於自主審查的工具,或許仍可用於總結文件、尋找政策、撰寫內部備忘錄或標記待審核案例。一個在受控試點中表現良好的工具,一旦輸入發生變化,可能仍然需要不同的衡量標準和安全措施。關鍵在於使工具的功能與任務相匹配,而不是強迫每個任務都去驗證或推翻某種宏大的人工智慧理論。
沃森的經驗在這裡成為一個有用的警示
《危險邊緣》之後的人工智慧發展史,要么被描述為人工智慧凱旋的勝利故事,要么被簡單地歸結為炒作和失敗。這兩種說法都不夠全面。一個名字的影響力可能遠超過任何特定係統所承載的證據,一家公司可以重組、收購產品、停止服務或改變策略,但這並不意味著之前的每一項技術成果都一定是騙局或命中註定。
更重要的教訓在於轉化。從演示到日常應用並非無關緊要的最後一步。在這個階段,必須明確目標任務,規範來源材料,重新設計工作流程,培訓用戶,調查錯誤,並以對受影響人群真正重要的指標來衡量成功。如果這些要素模糊不清,一個引人注目的演示就可能促使專案跳過那些真正能檢驗其有效性的關鍵步驟。
醫療保健產業尤其凸顯了這一教訓,因為該領域事關重大,證據標準也很高。 IBM 於 2022 年宣布,已達成協議,將其 Watson Health 業務的部分資產出售給 Francisco Partners。 IBM的公告記錄了這筆交易;它並不能證明整個領域都不可能成功,也不能對所有相關產品或機構做出評判。它所揭示的是,品牌故事無法取代針對特定版本、系統預期用途、驗證、治理和實際效果的證據。
正是在這一點上,事後諸葛亮式的確定性變成了另一種形式的神話。在策略改變之後,人們很容易聲稱成功或失敗從一開始就顯而易見。但事實並非如此。負責任的評估會保留當時存在的模糊性:究竟要解決什麼問題?誰會依賴最終成果?有哪些證據可用?有哪些限制?什麼樣的結果才算是進步?
對於正在決定如何從沃森(Watson)中學習的讀者來說,警告並非“永遠不要相信演示”,而是“不要跳過中間環節,將演示結果直接轉化為結論”。中間環節是組織判斷系統是否適用於實際任務的關鍵。同時,組織也需要在這個環節發現,所承諾的收益是否能夠在不掩蓋錯誤成本、額外審查、資料準備或工作變更成本的情況下得到衡量。
缺失的中間環節往往是人為因素而非演算法因素。人們必須決定是否信任某個資訊來源,何時否決某個建議,以及如何向他人解釋結果。工具可以改變團隊的注意力分配:它或許能加快日常工作的速度,但同時也能提升剩餘特殊情況的重要性。如果實現方式將人視為被動的答案接收者,那麼它將錯過許多確保工作流程可靠性所需的知識。
資料準備是翻譯過程中另一個不起眼的環節。如果提供的是精心挑選、格式統一的素材,系統看起來或許功能強大。但實際記錄中可能包含縮寫、過時版本、複製文字、資訊缺失、權限因人而異等情況。任務不僅僅是將模型連接到儲存庫,更重要的是確定哪個資料來源具有權威性、如何顯示衝突、誰負責更新,以及在沒有可靠答案時應該如何處理。這些決策之所以不引人注目,正是因為正是它們讓真正有用的系統負起責任。
不應僅以用戶是否喜歡來評判一款試點產品。使用者採納可能表示該工具便捷、新穎或行銷得當,但本身並不能證明其正確性或安全性。反之,最初的抵觸情緒可能反映出訓練或工作流程的問題,而非功能本身無用。讀者應關注的是一份平衡的描述:測試了哪些內容,做了哪些更改,誰擁有最終決定權,以及評估過程中考慮了哪些成本或失敗。
當前企業人工智慧如何改變這個問題
如今,企業人工智慧的討論通常圍繞著生成模型、私有知識檢索、助手、代理、治理工具和基礎模型。 IBM 目前的WatsonX 概述描述了一套用於在商業環境中建置和管理人工智慧的產品組合。這只是廠商的描述,並不能獨立證明特定部署的有效性或適用性。但這確實反映了評估內容的重要轉變。
最初的沃森演示提出了一個直觀的性能問題:這個系統能否在這個遊戲中獲勝?而當代系統則提出了一個更分散的問題:模型、檢索、權限、提示、工作流程、審查和監控的組合能否在不引入不可接受的錯誤或風險的情況下支援特定任務?模型固然重要,但它很少能代表整個系統。
設想一個幫助員工解答內部政策問題的助手。它的有效運作不僅取決於流暢的文字輸出。來源檔案是否為最新版本?它能否區分具有約束力的政策和過時的版本?它是否遵循存取控制?使用者能否查看相關證據?當答案缺失時,它會如何處理?是否鼓勵員工將它的輸出視為草稿、解釋或指示?每一個答案都會影響風險。
這就是為什麼「人工智慧」這個詞通常過於粗略,不足以做出決策。模型基準測試可以說明模型在測試協議下的表現,但它無法告訴我們特定組織的文檔是否井然有序,集成是否會洩露機密信息,用戶界面是否能清晰地呈現不確定性,或者擬議的流程是否給予用戶足夠的時間和權限來糾正錯誤結果。
因此,華生故事的持久價值不在於新舊產品的比較,而在於一種分解分析的方法。要探究每個組件的具體功能,探究每個組件背後的證據,探究最終結果中哪些部分仍屬於資料管理、營運設計和人為判斷的範疇。當一個論斷經得起這種分解分析後,它就變得更加可信──並非失去吸引力,而是更精準。
負責任的評估是什麼樣的?
負責任的評估始於大規模推廣之前,結束於精心製作的演示之後。它使小的主張能夠在真正重要的情境中進行驗證。第一步是用簡單易懂的語言描述任務。 「使用人工智慧進行客戶服務」並非一項任務。 「幫助受過訓練的員工為來電者尋找目前的退貨政策條款,同時顯示來源並回報異常情況」則更接近於一項任務。
然後定義反事實。與目前的哪個流程相比?新系統或許能更快產生草稿,但同時也會增加校對的負擔。它或許能讓常規案例處理得更順暢,但同時也會讓異常案例更難辨識。它或許能減少一種錯誤,但同時也會引入另一種錯誤。如果沒有基準線,表面上的改進可能會掩蓋其他方面的成本。
接下來,測試具有代表性的案例,包括最有可能暴露系統缺陷的案例。一個僅使用清晰、熟悉的輸入進行評估的系統,可能表現良好,但在遇到歧義、過時資訊、多語言請求、來源衝突或權限敏感問題時卻會失效。我們的目標並非故意讓系統失效,而是為了找出負責任的使用者應該依賴、驗證或避免使用系統的特定條件。
衡量標準不僅需要單一準確度的數值。根據任務的不同,有用的證據可能包括完整性、不確定性校準、來源可追溯性、審核人員發現錯誤所需的時間、升級頻率、跨組或跨案例的一致性、隱私洩露以及故障的影響。衡量標準應與決策相符。起草一份無關緊要的內部備忘錄的系統,與優先考慮重要服務的人員的系統,其衡量標準應該有所不同。
最後,明確所有權。必須有人擁有來源資料的所有權,決定係統何時可以更新,接收故障報告,並有權暫停或更改工作流程。治理有時被描述為創新之後增加的額外開銷。但在實踐中,它是確保一項功能足夠安全,能夠長期發揮作用的機制的一部分。
評估也應考察使用者遇到答案時的提示、介面和順序。同一個底層模型既可以鼓勵使用者進行驗證,也可以悄悄抑制驗證。提供來源、日期以及對其局限性的簡明解釋的回复,與聽起來很肯定的回復相比,對判斷的影響截然不同。當使用者忙碌時,這種差異尤其重要。人們通常不會對每一句話都進行同等的仔細審查;工作流程必須引導使用者註意那些最需要核實的時刻。
這就是為什麼小型測試集應該包含更多類型的問題,而不僅僅是那些已知答案的問題。測試集應該包含不完整的請求、兩個已批准來源答案不一致的請求、因存取規則而應被拒絕的請求,以及明顯需要人工進行上下文判斷的請求。不僅要記錄系統是否給出了可接受的答案,還要記錄系統是否適當地標明了邊界。一個自信但缺乏依據的答案可能比明確的「我無法從已批准的材料中確定這一點」更具破壞性,因為後者為人工調查保留了機會。
將通常被混為一談的四個結果區分開來是有益的。一個系統可能在技術上可用、易於使用、在特定測試中準確,並且在工作流程中真正有益。每個結果都值得衡量,但它們之間並無必然關聯。可用性是指系統能夠運作。易用性是指人們能夠操作它。任務表現是指系統能夠處理所評估的案例。效益是指在考慮成本和風險後,流程的改變能夠產生有價值的結果。最有力的論點應該等待最有力的證據。
這種框架也使得適時停損成為可能。一些試驗表明,數據過於不一致,審查負擔仍然過重,或者任務範圍無法在不喪失其真正價值的前提下加以限定。終止或縮小這項工作並不一定是失敗。這是一個經過深思熟慮的決定,旨在防止一項極具吸引力的能力承擔其不應承擔的責任。如果一種文化無法認識到這一點,它往往會不斷擴大自身職能,直到現實迫使其做出調整。
對領導者而言,實際問題在於所提出的授權是否有足夠的證據支持。起草輔助工具可能只需要審閱者和來源控制。優先處理案件的系統可能需要對誤差分佈進行嚴格的測試,並明確責任歸屬。而一個影響重大決策的系統則需要更多。關鍵不在於讓每個項目都官僚化,而是使證據的多寡與出錯的後果成正比。
這些問題並非IBM或生成式人工智慧獨有。它們旨在區分關於技術的論點和圍繞該技術開展的工作的論點。前者可以透過演示來佐證,而後者則需要來自實際系統的證據。
簡潔的評估紀錄可以讓這套方法重複使用。它無需是一個龐大的管理體系。例如,針對某個應用場景,記錄使用者、任務邊界、允許的來源、禁止的來源、預期輸出、審查負責人、基準、測試案例和終止條件。然後,保留成功和失敗的案例。這樣就形成了一個回饋循環,既足夠具體以改善實際工作流程,又足夠簡潔以便根據情況變化進行調整。
例如,內部知識助理可能只能根據已批准的政策文件作答,並且必須引用所用段落。審核人員可以抽查常規答案,並檢查每一次升級處理。如果遇到文件衝突的情況,助理可能需要說明無法解決衝突。這些並非表面功夫,而是評估行為中可觀察的一部分。如果沒有這些措施,就很難判斷流暢的回答究竟是提供了有用的幫助,還是掩蓋了舊錯誤。
同樣的方法也有助於區分能力和權限。一個系統可以提出分類建議,但未必有權做出最終決定;它可以撰寫訊息,但未必是發送者;它可以列出候選對象,但未必設定優先級。明確界定這一界限對用戶更友好,否則用戶只能從一個看似可靠的介面中推斷出哪些資訊是可信的。這也有助於領導者做出更清晰的決策:只有當證據支持擴大相關控制措施時,才能擴展系統的角色。
一開始就縮小範圍還有另一個好處:它有利於比較。如果試點計畫同時改變任務、介面、資料和人員職責,就很難確定是哪項改變導致了哪項結果。分階段的方法可以逐一解決這些問題。例如,從精心整理的政策集中檢索資訊是否有助於審查人員找到證據?摘要能否在不遺漏必要例外情況的前提下減少閱讀時間?草擬的回覆是否會造成大量返工,而這些返工帶來的成本又超過了最初的速度優勢?每個問題的答案都可以影響下一個版本,而無需對整個變革過程進行全面描述。
文件應該讓承擔風險的人員都能理解,而不僅僅是技術專家。對於實際操作使用者而言,與其聲稱系統“可靠”或“企業級”,不如簡要說明任務邊界、來源、升級規則和已知故障模式更有用。這些標籤可以描述一種願景,但當回應不完整或與使用者本身掌握的證據相衝突時,它們並不能告訴使用者該如何應對。
這是將歷史經驗轉化為當代實踐的常規方法。華生並不能解決當今關於模型、檢索或智能體的問題。它確實表明,公開演示既可能真實存在,也可能不足以全面展現。要將這兩者之間的差距視為有益的。團隊可以利用這一點來決定下一步測試方向,而不是糾結於人工智慧在抽象層面上是否令人印象深刻。
最後一點差異可以避免常見的部署錯誤:平均效能資料並不能免除探究錯誤責任歸屬的必要性。一個系統整體效能可能良好,但在特定文件類型、語言、案例或使用者群體上發生故障的頻率可能更高。相關的問題不僅是“故障發生的頻率如何?”,而是“哪些故障集中發生?誰注意到了這些故障?在故障得到糾正之前發生了什麼?”這是一個工作流程層面的公平性和可靠性問題,而不是聲稱每個系統都會產生相同的故障模式。
正確的做法並非假裝小型試點計畫就能解答未來所有問題,而是要維持那些促成學習的條件:保留版本記錄、維護具有代表性的測試案例、密切關注輸入或策略的變化,並在任務擴展時重新評估其邊界。系統會改變;來源材料會改變;人們會學習使用工具的新方法。某一時刻的結果只是寶貴的證據,而非永久免於評估的保障。
這聽起來可能比推出一項全面的功能要慢,但在關鍵方面,它可能更快。一個範圍明確、證據充分的系統可以贏得信任並穩步改進。而一個模糊的轉型主張可能會耗費大量時間為自己辯護,因為沒有人就任務、指標或責任人達成一致。沃森的實際經驗教訓不是降低目標,而是讓目標可驗證。
這也是為什麼對限制保持透明是成熟的標誌,而非軟弱的表現。一個能夠明確說明「此助手可處理這些請求,使用這些已批准的來源,並且必須在這些情況下進行檢查」的團隊,比那些泛泛提供資訊的人更能為用戶提供可靠的承諾。這種較小的承諾可以進行評估、改進,並在必要時撤回,而不會讓用戶猜測哪裡出了問題。
選擇最小且負責任的下一步
如果您正在評估人工智慧提案,請克制住一開始就做出平台決策的壓力。先從一個建議的行動方案入手,並詢問以下四個問題:具體的任務內容、涉及的資源和權限、最重要的失敗案例,以及證明擬議工作流程優於現有工作流程的證據。
如果這些答案含糊不清,負責任的下一步通常不是進行更大規模的實驗,而是縮小問題範圍。選擇一個後果較小的應用場景,確保產出結果可驗證,相關證據可關聯,並且最終行動已由人負責。在賦予系統更廣泛的職責之前,先了解它如何處理實際輸入。
沃森在2011年的成功之所以值得銘記,是因為它展現了人工智慧一項複雜能力的潛力。但它更重要的意義卻不那麼戲劇化:它提醒我們,一個令人印象深刻的答案只是嚴肅問題的開始。任務是什麼?有哪些證據可用?一個錯誤會造成什麼後果?誰仍然需要為此負責?這些問題將一個著名的AI故事轉化為評判下一個AI故事的標準方法。
來源和限制
本文使用IBM官方記錄的2011年競標過程以及IBM公開的產品和公司歷史資料。產品頁面僅介紹IBM的產品,並非獨立評估其效能、適用性、顧客效益或比較優勢。本文僅提供編輯綜合分析,不構成購買建議,也不對任何組織的最終結果做出任何聲明。