功能安全來自火星，AI來自金星

傳統說法是，AI可以轉化為安全工具，用于檢測異常和識別工作場所的危險。然而，AI硬件和軟件的功能安全仍是未知數。制定ISO 26262的工程團隊正在接受這一挑戰。

(資料圖片僅供參考)

AI已經被應用于安全關鍵（safety-critical）的應用，如自動駕駛車輛或ADAS系統。那么，在AI驅動的車輛上路測試之前，AI E/E系統的設計者和AI組件的開發者如何驗證功能安全呢？

汽車芯片行業一直使用ISO 26262功能安全標準作為指導，對其芯片的安全性有很大信心。但AI芯片的設計者（GPU、SoC和AI加速器）一直處于黑暗中，因為AI從未在ISO 26262的范圍內。

這一切即將發生改變。

ISO 26262功能安全標準的制定者們已將焦點轉向AI，制定了針對汽車的ISO安全相關AI/ML功能指南，稱為ISO PAS 8800。其任務是定義合適的安全原則、方法和證據，以滿足ISO 26262（功能安全）和ISO 21448（預期功能安全）的目標。

PAS 8800現在正在作為CD（Committee Draft）在團隊成員間傳閱，計劃在10月分發意見。

到目前為止，業界對PAS 8800的意見似乎非常分裂。例如，該團隊中很少有計算機科學家，這說明缺少AI方面的專業知識。

一些行業人員表示有點失望，因為新標準雖為AI提供了一個框架，但只是非常粗略的。該標準沒有提供工具來評估芯片設計者在優化AI芯片過程中必須做的權衡。

同樣受到質疑的是該團隊試圖將AI的驗證納入經典V模型。

他們懷疑這種方法是否行得通。批評者說，問題根源在于AI的黑盒性質。

在V模型下，要求和規格堆疊在V的左側。右側顯示要遵循的步驟，以驗證（我們設計得對嗎？）和確認（我們設計的東西是正確的東西嗎？）?；赩模型的測試無法證明安全性，但它可以檢查設計和實施中是否準確執行了要求和規格。

V模型適用于測試非AI芯片的工程嚴謹性。但適用于AI處理器嗎？

芯片設計師可以提供給AI處理器輸入（神經網絡模型），并獲得輸出，但AI的內部工作仍然是不可見的。因此，幾乎不可能對AI算法背后的邏輯進行檢查。

向前邁出的一步???????

不論PAS 8800如何，AI系統測試所面臨的挑戰可能仍會存在。但由于AI的功能安全是每個人都非常關心的話題，所以目前業界還在繼續做著努力。

CMU的副教授Phil Koopman表示：“目前還沒有這樣的ISO標準。我很高興看到這個團隊向前邁出了一步?！?/p>

Untether AI的產品總監Eric Zhang稱PAS 8800是一個良好的開端，因為在過去，AI算法的邏輯在ISO 26262中從未被提及。Zhang認為把AI視為一個系統問題來解決非常有價值。

他很高興PAS 8800至少在宏觀層面上涵蓋了從訓練神經網絡和創建模型，到微調直到部署的整個過程。

一個巨大的鴻溝??

然而，上層（神經網絡開發）與下層（芯片設計）之間存在著明顯的鴻溝。

Zhang觀察到，行業知道如何訓練一個優秀的（大語言）模型，并且對如何設計符合ISO 26262標準的非AI芯片有很好的了解。然而，與AI相關的，造成所謂鴻溝的問題是一個開發神經網絡模型固有的迭代過程，以及軟件和硬件開發之間相當長的延遲。Zhang解釋說，優化AI硬件到某個模型可能需要很長時間。優化過程包括在量化、稀疏性和剪枝等方面進行調整。

通常情況下，當硬件優化完成時，軟件可能已經轉向了一種算法，而這種算法在AI硬件優化開始時還不存在。作為一個AI加速器設計師，Zhang希望PAS 8800能夠提供關于“AI軟件和硬件協同設計”的一些建議。

如何獲得安全信心？????

Zhang還提到了安全性的問題。他說：“我們現在知道，驗證自動駕駛車輛所需的里程可以從數千萬到數十億英里?！彼f，必須有“一種更好的方式來建立信心，而不是簡單地在街道上行駛自動駕駛車輛?！?/p>

因此，當Zhang得知PAS 8800甚至沒有提供AI硬件設計者在追求功能安全時可以使用的“前期子級設計目標”時，感到有些失望。

考慮到行業已經承認將傳統的V模型測試應用于AI的困難，Zhang的擔憂是有道理的。因為基于機器學習的系統是通過訓練而不是有意設計出來的。如果AI系統不提供要求和傳統設計（V模型的左側），則沒有用于驗證的測試基礎。

PAS 8800對于如何驗證AI的功能安全并不明確。據幾位讀過委員會草案的人們說，PAS 8800認識到了硬件（例如GPU、AI加速器）和硬件資源（例如內存）、支持的數據大小、軟件依賴性和工具之間的差異。雖然該標準承認這些差異可能是優化的結果，并可能增加AI系統出錯的風險，但該標準僅建議納入一個論點，解釋為什么由此產生的風險是可接受的低風險。該標準還承認，徹底分析AI模型差異是不可行的，因為它們太復雜了。

如何評估權衡？????????

AI處理器設計者面臨著永無止境的優化工作，使硬件足夠高效，以適應軟件模型。在此過程中，他們必須在量化、稀疏性和剪枝等領域進行權衡。

例如，通過使用自己的優化技術，Zhang可以剪掉90%的分支。在人工神經網絡的背景下，剪枝是從現有網絡中刪除參數。目標是在提高效率的同時保持網絡的準確性。然而，在現實中，他并不知道他是否只是為了效率而犧牲了安全性。無論是否經過剪枝，輸出結果看起來都是一樣的，這并不能揭示權衡的影響。

Zhang希望新的標準能告訴他如何評估這樣的選擇，但它沒有提供任何指導。

學術界在哪里？??????

然而，Zhang和其他PAS 8800的觀察者并不僅僅責怪PAS 8800沒有實現上述那些現實需求。

在他們看來，學術界必須更加努力地發展一種更多數據驅動的方法來評估AI的功能安全。

例如，AI優化技術的安全影響是未知的。Zhang說：“我們經常聽說神經網絡模型可以在不影響性能的情況下降低內存和計算成本。”但學術研究對安全性說得很少。

如果有兩個模型，硬件運行大模型，小硬件運行壓縮模型，Zhang想知道哪個更安全。事實上，基于不同的假設，答案會大相徑庭。

Zhang補充到，此外，盡管安全魯棒性應該是所有AI討論的一部分內容，但關于神經網絡架構或權重結構如何應對常見的隨機硬件故障的研究卻很少。

新的安全標準？???????

另外，一些學者建議，現在可能是業界重新評估包括ISO 26262在內的現行安全標準設計的時候了。

在去年發布的題為“Continuous Learning Approach to Safety Engineering”的論文中，Astus AB的Rolf Johansson和CMU的Koopman問道，“盡管已經使用了幾十年，關鍵的行業安全標準也進行了多次修訂，但核心問題仍未解決。我們如何知道一定的工程活動和設計模式將達到所需的完整性水平？我們又如何確保特定的完整性水平能夠真正賦予特定項目所需的安全屬性？”

兩位作者提議：“最初安全部署的實際現場反饋應支持DevOps式的生命周期安全持續學習方法?！彼麄兿嘈胚@種方法將提高安全工程的效率。

他們還告誡道，“我們相信，遵循安全標準仍然是一種最佳實踐，并且應該為所有的安全關鍵系統設計，直到確定更好的實踐?！弊髡呓忉屨f，論文的目的是“鼓勵安全社區進一步采取措施，進一步完善這些標準的基礎和應用?！?/p>

功能安全來自火星，AI來自金星。他們互不相融。然而，AI軟件和硬件的開發者需要一個他們可以遵循的方法，來驗證其產品的功能安全。他們最不應該做的（盡管很多自動駕駛公司在這樣做）是用蠻力在街道上直接測試AI驅動的車輛。

關鍵詞：