快訊

    英特爾開發全球最大仿神經系統! 僅微波爐大小、Hala Point具11.5億個神經元

    2024-04-22 11:15 / 作者 陳俐妏
    英特爾開發全球最大仿神經系統! 僅微波爐大小、Hala Point具11.5億個神經元。資料照
    美國晶片大廠英特爾宣布推出全球最大的仿神經形態系統,代號Hala Point,最初布署在桑迪亞國家實驗室,採用英特爾Loihi 2處理器,支援類人腦AI的最新研究,以因應當今AI面臨的效率和永續性等挑戰。Hala Point以英特爾第一代大規模研究系統Pohoiki Springs為基礎,進行架構提升,神經元容量能增加10倍以上,效能提高12倍。

    Hala Point是業界第一款可在主流AI工作負載中,展現卓越運算效率的大規模仿神經形態系統,經過測試驗證,能支援每秒高達20千兆次(20 petaops)的傳統深度神經網路運算,超過每瓦15兆次8位元運算(TOPS/W),此速度等同於甚至超越目前的GPU和CPU架構。Hala Point的獨特功能可望在未來AI應用的即時連續學習方面帶來突破,例如科學和工程的問題解決、物流、智慧城市基礎設施管理、大型語言模型(LLM)和AI代理。

    目前桑迪亞國家實驗室已計劃使用Hala Point進行先進的大腦規模運算研究,用於解決元件物理學(device physics)、電腦結構、資訊工程和資訊學方面的科學運算問題。

    目前Hala Point仍處於原型階段,未來將可進一步應用於提升商業系統,英特爾預計這些經驗將帶來實際突破進展,例如提升大型語言模型(LLM)從新數據中持續學習的能力,進一步強化AI模型的訓練精準度,並大幅降低布署AI的訓練成本。

    Loihi 2神經形態處理器是Hala Point的核心基礎,此處理器應用非同步、基於事件的脈衝神經網路(Spiking Neural Network,SNN)、整合記憶和運算,以及關聯性推論類人腦運算原理;相較於目前需要定期使用不斷成長的數據集,重新訓練此類模型的方式,Loihi 2神經形態處理器不須透過記憶體,改以神經元直接相互溝通的作法,可有效降低整體功耗。

    Hala Point將1,152個基於Intel 4製程的Loihi 2處理器封裝於六機架資料中心機殼內(相當於微波爐大小),該系統可支援高達11.5億個神經元和1280億個突觸分佈在 140,544 個神經形態處理核心,耗電最大2,600瓦。系統包含數量超過2,300個嵌入式x86處理器,主要用於執行輔助運算。

    架構部分,Hala Point將處理、記憶及溝通管道整合於一個高度平行架構中,可提供共16 PB/s的記憶頻寬、3.5 PB/s的核間通訊頻寬及5 TB/s晶片間通訊頻寬。此系統每秒運算超過380兆次8位元突觸操作(TOPS)以及240兆次以上神經元操作。

    應用於脈衝神經網路模型時,系統能以生物神經元的20倍速度,執行全部11.5億個神經元,而低負載時效率更提升將近200倍。儘管並非用於神經科學建模,但Hala Point的神經容量相當於貓頭鷹大腦或捲尾猴的大腦皮質。

    以Loihi為基礎的Hala Point系統,能以高於傳統CPU或GPU 50倍速度、低於100倍能耗的優勢,執行推論並達成最佳化。透過高達10比1的稀疏連通性和事件驅動的活動測試,Hala Point的初步結果顯示,系統無需將資料收集到批次中,即可實現高達15 TOPS/W的深度神經網路效率,此為常見的GPU最佳化方式,即因應顯著延遲處理即時傳輸的數據(例如攝影機所拍攝的影像)。

    目前Hala Point雖仍處於研究階段,但未來可持續學習的神經形態大型語言模型,將可不再倚靠需定期投入數量規模不斷成長的數據集重新訓練,達成節省數百萬度的耗電。

    陳俐妏 收藏文章

    本網站使用Cookie以便為您提供更優質的使用體驗,若您點擊下方“同意”或繼續瀏覽本網站,即表示您同意我們的Cookie政策,欲瞭解更多資訊請見