麻省理工學院的研究人員開發了一種搜索引擎SecureLoop，可以有效地識別深度神經網絡加速器的最佳設計，在提高性能的同時保護數據安全。

隨著計算密集型機器學習應用程序（例如執行實時語言翻譯的聊天機器人）的激增，設備制造商通常會采用專門的硬件組件來快速移動和處理這些系統所需的大量數據。

為這些組件（稱為深度神經網絡加速器）選擇最佳設計具有挑戰性，因為它們可能有大量的設計選項。當設計人員試圖添加加密操作以保護數據免受攻擊者攻擊時，這個難題變得更加棘手。

現在，麻省理工學院的研究人員開發了一種搜索引擎，可以有效地識別深度神經網絡加速器的最佳設計，從而在提高性能的同時保護數據安全。

他們的搜索工具稱為 SecureLoop，旨在考慮添加數據加密和身份驗證措施將如何影響加速器芯片的性能和能源使用。工程師可以使用此工具獲得適合其神經網絡和機器學習任務的加速器的最佳設計。

與不考慮安全性的傳統調度技術相比，SecureLoop可以提高加速器設計的性能，同時保護數據。

使用SecureLoop可以幫助用戶提高要求苛刻的人工智能應用程序的速度和性能，例如自動駕駛或醫學圖像分類，同時確保敏感的用戶數據免受某些類型的攻擊。

“如果你對保證數據安全的計算感興趣，我們以前用來尋找最佳設計的規則現在被打破了。因此，所有的優化都需要針對這個新的，更復雜的約束進行定制。這就是這篇論文所做的。”SecureLoop論文的合著者、麻省理工學院計算機科學和電氣工程實踐教授Joel Emer說。

該研究于2023年10月29日發布在10月28日至11月1日舉行的IEEE/ACM國際微架構研討會上。

“社區被動地接受了向加速器添加加密操作會帶來開銷。他們認為這只會在設計權衡空間中引入很小的差異。但是，這是一個誤解。事實上，加密操作會嚴重扭曲設計“節能加速器的空間。Kyungmi在識別這個問題方面做得非常出色，”Yan補充道。

安全加速

深度神經網絡由處理數據的多層互連節點組成。通常，一層的輸出成為下一層的輸入。數據被分組為稱為塊的單元，用于在片外存儲器和加速器之間進行處理和傳輸。神經網絡的每一層都可以有自己的數據平鋪配置。

深度神經網絡加速器是具有一系列計算單元的處理器，可在網絡的每一層中并行執行乘法等操作。加速器計劃描述了如何移動和處理數據。

由于加速器芯片上的空間非常寶貴，因此大多數數據都存儲在片外存儲器中，并在需要時由加速器獲取。但由于數據存儲在片外，因此很容易受到攻擊者的攻擊，攻擊者可能會竊取信息或更改某些值，從而導致神經網絡發生故障。

“作為芯片制造商，你無法保證外部設備或整個操作系統的安全，”Lee解釋道。

制造商可以通過向加速器添加經過身份驗證的加密來保護數據。加密使用密鑰對數據進行加擾。然后，身份驗證將數據切割成統一的塊，并將加密哈希值分配給每個數據塊，該哈希值與數據塊一起存儲在片外存儲器中。

當加速器獲取加密數據塊（稱為身份驗證塊）時，它會在處理原始數據之前使用密鑰來恢復和驗證原始數據。

但是身份驗證塊和數據切片的大小不匹配，因此一個塊中可能有多個切片，或者一個切片可能被分割在兩個塊之間。加速器無法任意獲取身份驗證塊的一小部分，因此它最終可能會獲取額外的數據，這會消耗額外的能量并減慢計算速度。

另外，加速器仍然必須在每個身份驗證塊上運行加密操作，從而增加了更多的計算成本。

高效的搜索引擎

通過SecureLoop，麻省理工學院的研究人員尋求一種可以確定最快、最節能的加速器調度的方法，該方法可以最大程度地減少設備因加密和身份驗證而需要訪問片外存儲器以獲取額外數據塊的次數。

圖：SecureLoop調度搜索引擎概述

他們首先增強了Emer和他的合作者之前開發的現有搜索引擎，稱為Timeloop。首先，他們添加了一個模型，可以解釋加密和身份驗證所需的額外計算。

然后，他們將搜索問題重新表述為一個簡單的數學表達式，這使得SecureLoop能夠以比搜索所有可能選項更有效的方式找到理想的真實塊大小。

“根據您分配該塊的方式，不必要的流量可能會增加或減少。如果您巧妙地分配加密塊，那么您只需獲取少量的額外數據，”Lee說。

最后，他們采用了一種啟發式技術，確保SecureLoop識別出一個最大化整個深度神經網絡（而不是單個層）性能的時間表。

最后，搜索引擎輸出一個加速器時間表，其中包括數據平鋪策略和身份驗證塊的大小，為特定神經網絡提供最佳的速度和能源效率。

“這些加速器的設計空間是巨大的。Kyungmi所做的是找出一些非常務實的方法來使搜索變得容易處理，這樣她就可以找到好的解決方案，而無需徹底搜索空間，”Emer說。

在模擬器中進行測試時，SecureLoop發現與其他不考慮安全性的方法相比，調度速度提高了33.2%，能源延遲積（與能源效率相關的指標）提高了50.2%。

研究人員還使用SecureLoop來探索在考慮安全性時加速器的設計空間如何變化。Lee表示，他們了解到，為加密引擎分配更多的芯片區域并為片上內存犧牲一些空間可以帶來更好的性能。

未來，研究人員希望使用SecureLoop來尋找能夠抵御側信道攻擊的加速器設計，這種攻擊在攻擊者有權訪問物理硬件時發生。例如，攻擊者可以監視設備的功耗模式以獲取秘密信息，即使數據已被加密。他們還擴展了SecureLoop，以便將其應用于其他類型的計算。