Anthropic 新聞來源摘要
本文目錄:這則更新發生了甚麼及何時公布 | 已確認事實與尚未確認事項 | 這則更新會影響誰、影響甚麼決定 | 現在可以採取的核對步驟 | 文章參考資料
這則更新發生了甚麼及何時公布
Anthropic 於 2026 年 11 月 13 日在官方研究頻道發布 Building strong safety evaluations。頁面標示 Published Nov 13, 2026。這不是一款新模型的上市公告,而是一份面向「建立或依賴人工智能安全評估」讀者的方法建議,並以該公司系統卡中的例子作為說明。
原文開首寫明,安全評估會影響一些後果重大的決定:模型是否已準備好部署、會一併推出哪些保障措施,以及下一輪安全訓練與研究應聚焦何處。官方接著指出,當有人說模型「比前代更安全」,其含義是它在某套由人設計的評估上獲得較高分數;但安全聲稱只與評估本身的健全程度相當,而高質素的評估並不容易建立。
文章把安全評估界定為:量度模型造成或助長傷害的傾向、其回覆會使傷害更可能或更不可能發生,以及該傷害的嚴重程度,而不是量度某項特定能力。它要回答的問題是:給定特定輸入,模型有沒有做對的事。官方並提醒,研究者已多次發現人工智能評估容易被鑽空子、不一定量度到所宣稱的構念,而且文件不足以致難以重現;題型是選擇題還是開放題,甚至答案選項的順序,都可能改變結果。
在此背景下,文章借鏡心理學界在再現性問題之後推動的改革,例如預先註冊、更好的測量與更嚴謹的統計,並結合 Anthropic 自身建立評估的經驗,整理出一套建議。後文分別處理團隊組成與安全地執行評估、如何對準要測量的構念、如何讓結果較能推廣到真實使用、如何維持內部效度與評分器品質、如何預先註冊與完整報告,以及如何負責任地披露已部署系統的嚴重缺陷。
已確認事實與尚未確認事項
已可由原文核對的事實包括:公布日期為 2026 年 11 月 13 日;文章主題是安全評估的方法建議,而不是宣布某項產品已通過外部認證。官方建議包括:同時具備方法與領域專長的團隊;在受控、可即時中斷的環境執行評估,因為部分評估會在關閉標準保障下運行以了解基線;先釐清要回答的問題,再選擇觀察性或因果設計;測量真正要量的構念——拒絕率並不總是正確指標,對部分情境應改看整段對話是否都符合該風險領域評量表的「適當回應率」;同時檢視對有害請求的應對,以及對良性請求的過度拒絕;以多輪、較接近真實使用的情境補充單輪提示;避免訓練資料污染與評分捷徑,並校正任務難度。
原文也寫明若干該公司就其評估的數字,但都有明確範圍,不能外推成普遍成績。例如:在其 API 上,近期模型於單輪評估的合計無害回應率介乎約 94% 至 98%,因此單輪任務主要用作已知失敗模式的迴歸檢查;複雜多輪評估的樣本下限被寫成 100 題,較簡單的單輪則為 1,000 題;系統卡會為分數附上信賴區間,多輪評估在 API 上的區間可超過正負 10 個百分點;測試 Claude Fable 5.1 時,API(原始模型)與 claude.ai(加上系統提示)兩種配置,在其多輪安全評估的適當回應率差異可高達 34 個百分點。官方亦舉出,在 claude.ai 上一項以愛情詐騙 為焦點的多輪評估中,Claude Opus 5 與 Opus 5.5 相差數個百分點,但該差異並不具備統計顯著性,因而不能據此斷定何者較佳。
原文建議,若使用模型作為評分器,應讓標準盡量具體,並以人類標註加以驗證;評分器故障時應明確失敗,而不是默默給分;亦應避免只用被測模型自己擔任唯一評分器而不加檢查。報告時應拆分類別、呈現不確定性,並記錄配置,且不要比較來自不同評分器的分數。工具方面,文章提到可使用英國 AI Security Institute 的開源 Inspect 框架,以及建於其上、用於多輪行為測試的 Petri 工具組。若只做三件事,官方的總結是:在收集數據前寫下要測量的構念、在採信評分器分數前先對照人類判斷,以及報告不確定性,讓讀者分辨訊號與噪音。
尚未能只憑這篇文章確認的事項包括:其他開發者是否已採用同一套做法、個別數字在更新後是否仍然成立,以及這些建議是否成為任何司法管轄區的強制標準。原文提到該公司近月因自身事故而強化評估環境、暫時停止許多需連接互聯網的評估,並對必須使用網絡搜尋的評估實施即時監控,但並沒有把事故細節寫成可公開核對的完整報告。對於已部署系統的嚴重缺陷,官方只提出負責任披露原則——先通知開發者並給予修復時間再公開——本文亦不轉述任何缺陷內容。
這則更新會影響誰、影響甚麼決定
若你負責模型採購、安全審查、風險報告或內部使用守則,這則更新的價值在於一份可引用的官方說明:不要只記住一個「更安全」的總體百分比。閱讀系統卡或第三方評估時,應同時查看測量的是甚麼構念、樣本與配置是甚麼、信賴區間有多寬,以及評分是否經過人類核對。點估計上的差距,若區間重疊或並不具備統計顯著性,便不足以支持「新版本明顯更安全」的結論。
對香港的企業、公營機構或教育單位而言,原文並未授權把這些建議理解成本地已經生效的法律或認證要求,也沒有提供可直接套用的合規清單。較務實的做法,是把它當作閱讀安全聲稱時的核對框架,再另行對照機構政策、行業指引與適用的本地規定。任何把生成式工具用於涉及個人資料、受管制內容或高風險決策的場景,仍應先完成內部審查,而不是只轉述一則方法文章。
若團隊希望把「如何閱讀模型安全聲稱、如何避免把評估分數當成保證」寫成可重複的學習內容,可參考 企業 AI 培訓 或 香港 AI 課程總覽,而不是把這篇文章當成已完成的安全保證。
現在可以採取的核對步驟
- 閱讀 Anthropic 原文,核對公布日期、安全評估的定義,以及「安全聲稱只與評估健全程度相當」的表述,並與二手轉述分開存檔。
- 若要引用文中數字,須一併記下其適用範圍(例如哪一種評估、哪一種產品配置、是否具統計顯著性),不要把單輪約 94% 至 98% 或個別配置差異寫成所有模型、所有場景的總體安全分數。
- 閱讀其他系統卡或供應商安全聲明時,至少核對三項:要測量的構念是否寫清、評分是否對照過人類判斷,以及是否報告不確定性;不要只比較一個總體百分比。
- 需要把人工智能治理與評估解讀寫進內部培訓時,可由 企業 AI 培訓 或 香港 AI 課程總覽 開始,並諮詢機構自身的法律或合規責任人,而不是把這則研究文章當成法律意見。
官方來源:Anthropic:Building strong safety evaluations(2026-11-13)。延伸學習可參考 企業 AI 培訓 與 香港 AI 課程總覽。
文章參考資料
以上公開資料於 2026 年 11 月 16 日查閱;事實以 Anthropic 官方原文為準。評估方法、系統卡數字與相關工具可能變更。本文只報道高層建議,不提供任何攻擊、規避或傷害相關的操作說明。
本頁僅供一般資訊與學習用途,不構成法律、醫療、臨床、投資、採購或專業意見。
學習 AI,保護你的未來。