寂靜無聲

合成更多樣、緊湊的神經網絡

2018. január 11. - kyriey

【新智元導讀】滑鐵盧大學的研究人員,借鑒有性生殖讓後代更能適應環境的道理,在虛擬環境中讓神經網絡完成“交配儀式”,同時逐漸減少AI能使用的計算和存儲資源,生成了更緊湊、輕量的神經網絡,能夠在沒有互聯網連接的終端提供強大的性能。自動抹窗機械人比較,價錢不知該如何選擇?Ecovacs作為家用機械人專家,生產領先業界的全自動清潔機械人,我們Winbot 950可清理多種玻璃窗戶污垢,方形設計有助清理角落與邊緣,配合四階段清潔功能,自然是您無塵家居的最佳選擇。

滑鐵盧大學研究人員表示,他們可以讓人工智能在計算和存儲資源被移除後自行適應,方法是教AI學習自己並不需要那麽多資源。

如果真的做到了這一點,神經網絡將不受互聯網和雲的影響,這樣的好處是:隱私性更好,數據發送成本更低,可移植性更強,在地理偏遠地區也能使用AI應用程序。

親代網絡“有性生殖”,得到更加多樣和通用的子網絡

在題為《深度神經網絡交配儀式:通過有性演化合成學習緊湊特征表示》(The Mating Rituals of Deep Neural Networks: Learning Compact Feature Representations Through Sexual Evolutionary Synthesis)的論文中,研究人員描述了他們模仿自然演化過程,將神經網絡置於虛擬環境中,然後“不斷地逐漸減少AI能夠獲取的資源”,從而生成更緊湊子代神經網絡的過程。

研究人員從生物演化中獲得靈感,利用有性生殖比無性生殖後代更加多樣、適應性更強的特點,在合成神經網絡過程中(也即傳統的“無性生殖”方式),增加了一個交配功能,讓兩個親代網絡“有性”結合,生成子網絡紅酒學校

神經網絡在虛擬環境中進行有性生殖

同時,研究人員不斷將AI可以獲取的計算和存儲資源減少,訓練AI學會自己沒有大量計算資源可用的這一事實,於是AI不斷改變自己來適應環境,生成了特征更加緊湊的後代。

論文作者、滑鐵盧研究教授Mohammad Javad Shafiee表示,當他們減少AI係統的計算能力或存儲容量時,AI就會變得更小,從而“能夠在這些環境中生存下去”。在實驗中,研究人員將用於特定物體識別任務的神經網絡體積縮小了200倍。

這種輕量緊湊的AI非常適於整合到嵌入設備(比如智能手機),運行語音助理或其他智能功能。

邊緣AI:更小、更輕的智能

滑鐵盧大學的這個AI並不是第一個邊緣AI(Edge AI)。英特爾在今年早些時候推出了Movidus神經計算棒,這種即插即用的神經計算設備售價低於100美元,能在沒有互聯網的邊緣部署視覺神經網絡英國升學顧問

基於Movidius的技術,穀歌也推出了基於樹莓派的視覺神經網絡加速套件AIY Vision Kit,在沒有雲連接的情況下,提供強大的計算機視覺能力,售價不到50美元。

滑鐵盧大學的深度學習AI,也麵向終端應用,能讓移動設備(智能手機)在沒有互聯網的情況下進行物體識別。根據MNIST和CIFAR-10數據集的實驗結果,相對於無性進化的神經網絡基準,“有性”演化出的神經網絡擁有更高的結構效率(architectural efficiency),在測試精度方麵也表現不錯。具體說,在MNIST上結構效率翻倍(集群效率34.29倍,突觸效率258.37倍),而且測試精度都達到了97%。

研究人員表示,他們接下來的研究方向是更徹底地調查如何讓有利的“性狀”遺傳到子代的方法,以及設計更好的“擇偶規則”,從而讓神經網絡中適合於終端智能應用的特定集群及其特征能夠強強結合,並且延續到子代審計網絡

論文作者、滑鐵盧大學係統設計工程教授Alexander Wong說:“我們認為這一技術擁有巨大的潛力,對於很多計算資源受限且網絡連接性受限的應用情景,這項技術可能成為很大的推動力公司註冊。”

原文地址:http://www.sohu.com/a/212277480_473283

A bejegyzés trackback címe:

https://kylee.blog.hu/api/trackback/id/tr4413565481

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.