邊緣正在銳化。如果有關(guān)注人工智能(AI)的討論，就會(huì)發(fā)現(xiàn)有幾個(gè)主題推動(dòng)著人工智能的發(fā)展。雖然生成式人工智能憑借其通過使用大型語言模型(LLM)得出推理智能的類人能力，而成為眾人矚目的焦點(diǎn)，但現(xiàn)在將人工智能應(yīng)用于物聯(lián)網(wǎng)(IoT)中的智能設(shè)備的方式也被認(rèn)為是成熟的。

邊緣與物聯(lián)網(wǎng)

這是物聯(lián)網(wǎng)內(nèi)部的計(jì)算，因此這就是“邊緣”計(jì)算。雖然物聯(lián)網(wǎng)和邊緣這兩個(gè)術(shù)語經(jīng)常互換使用，但必須澄清說明一下，物聯(lián)網(wǎng)是設(shè)備所在的地方，而邊緣計(jì)算是在設(shè)備上發(fā)生的事情。為了進(jìn)一步定義，物聯(lián)網(wǎng)設(shè)備通常需要連接到互聯(lián)網(wǎng)才能工作，而邊緣設(shè)備可能在其生命周期的大部分時(shí)間里都處于斷開連接狀態(tài)，只是偶爾連接到互聯(lián)網(wǎng)用于處理的云數(shù)據(jù)中心。

為邊緣應(yīng)用創(chuàng)建硬件需要考慮特定的計(jì)算性能、功耗和經(jīng)濟(jì)條件的全新設(shè)計(jì)?？紤]到這些核心動(dòng)態(tài)，IT行業(yè)一直在努力讓邊緣計(jì)算變得更好。

物聯(lián)網(wǎng)的規(guī)模

到2030年，預(yù)計(jì)將有超過1250億個(gè)物聯(lián)網(wǎng)設(shè)備連接到互聯(lián)網(wǎng)，從智能手機(jī)到攝影頭，再到智能家居設(shè)備等。這些設(shè)備中的每一個(gè)都將產(chǎn)生大量用于分析的數(shù)據(jù)，其中80%以視頻和圖像的形式存在。到目前為止，盡管已知道物聯(lián)網(wǎng)中存在大量數(shù)據(jù)，即使有與云的連接，但也只分析了其中的一小部分?jǐn)?shù)據(jù)。

對(duì)隱私、安全和帶寬的日益關(guān)注，導(dǎo)致數(shù)據(jù)在更接近其來源的地方進(jìn)行處理，即在物聯(lián)網(wǎng)的邊緣。那么，人工智能有什么作用呢?目前，人工智能技術(shù)主要是為云計(jì)算運(yùn)營而設(shè)計(jì)的，云計(jì)算不像邊緣設(shè)備那樣具有成本、功耗和可擴(kuò)展性限制。人工智能邊緣專家Axelera AI認(rèn)為其可以提供幫助。該企業(yè)的Metis AI平臺(tái)本月已進(jìn)入早期訪問階段，用于開發(fā)先進(jìn)的邊緣人工智能原生硬件和軟件解決方案。

Axelera AI聯(lián)合創(chuàng)始人兼首席執(zhí)行官Fabrizio Del Maffeo表示：“Metis AI平臺(tái)提供實(shí)用的邊緣人工智推理解決方案，滿足開發(fā)下一代計(jì)算機(jī)視覺應(yīng)用的企業(yè)的需求。人工智能原生的集成硬件和軟件解決方案簡化了實(shí)際部署，提供了用戶友好的開發(fā)和集成路徑。其采用PCIe卡和視覺就緒系統(tǒng)等行業(yè)標(biāo)準(zhǔn)外形，簡化了人工智能與業(yè)務(wù)應(yīng)用的集成，滿足當(dāng)今的市場(chǎng)需求。“

什么是數(shù)據(jù)流技術(shù)?

該平臺(tái)的核心是Metis人工智能處理單元(AIPU)，其基于專有的數(shù)字內(nèi)存計(jì)算技術(shù)(D-IMC)和具有“數(shù)據(jù)流”技術(shù)的RISC-V。正如Maxeler Technologies提醒的那樣：“數(shù)據(jù)流計(jì)算機(jī)專注于優(yōu)化應(yīng)用中的數(shù)據(jù)移動(dòng)，并利用數(shù)千個(gè)微小‘數(shù)據(jù)流核心’之間的大規(guī)模并行性，在性能、空間和功耗方面提供數(shù)量級(jí)的優(yōu)勢(shì)。”

Del Maffeo和團(tuán)隊(duì)聲稱AIPU提供業(yè)界領(lǐng)先的性能、可用性和效率，而成本僅為現(xiàn)有解決方案的一小部分。該技術(shù)可針對(duì)不斷增長的部署項(xiàng)目進(jìn)行擴(kuò)展，并且該企業(yè)的嵌入式安全引擎通過加密保護(hù)數(shù)據(jù)和信息，確保敏感生物識(shí)別數(shù)據(jù)的安全。

該技術(shù)集成到AI加速卡、AI加速板和AI加速視覺就緒系統(tǒng)中，可供公眾使用。這使得中小型企業(yè)能夠加快采用速度并簡化現(xiàn)場(chǎng)安裝。使用Metis AIPU開發(fā)的名為Voyager的即點(diǎn)即用軟件開發(fā)套件(SDK)，為計(jì)算機(jī)視覺應(yīng)用和自然語言處理(NLP)提供了易于使用的用戶友好型神經(jīng)網(wǎng)絡(luò)，其旨在將人工智能集成到設(shè)備中。

Del Maffeo解釋道：“Voyager SDK為開發(fā)人員提供了一種快速、簡單的方法，為Axelera AI的Metis AI平臺(tái)構(gòu)建功能強(qiáng)大的高性能應(yīng)用。開發(fā)人員在一個(gè)簡單的YAML配置文件中，以聲明方式描述其端到端管道，其中可以包括一個(gè)或多個(gè)深度學(xué)習(xí)模型以及多個(gè)非神經(jīng)預(yù)處理和后處理元素。SDK工具鏈自動(dòng)編譯和部署Metis AI平臺(tái)管道中的模型，并將預(yù)處理和后處理組件分配給主機(jī)上的可用計(jì)算元素，例如CPU、嵌入式GPU或媒體加速器。”

作為消費(fèi)者，我們最初可能沒有意識(shí)到計(jì)算能力正在得到這種渦輪增壓。因?yàn)?，沒有一個(gè)普通用戶會(huì)思考這些操作是否涉及使用32位浮點(diǎn)數(shù)據(jù)的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)，以使用標(biāo)準(zhǔn)反向傳播技術(shù)對(duì)人工智能模型進(jìn)行精確訓(xùn)練。

這里需要了解的一點(diǎn)是，人工智能模型通常使用強(qiáng)大、昂貴、耗能的圖形處理單元(GPU)在云數(shù)據(jù)中心中進(jìn)行訓(xùn)練，并且在過去，這些模型經(jīng)常直接用于同一硬件上的推理。Axelera AI的建議是，不再需要此類硬件來實(shí)現(xiàn)高推理精度，而當(dāng)今的挑戰(zhàn)是，如何有效地將這些模型部署到在網(wǎng)絡(luò)邊緣運(yùn)行的成本較低、功耗受限的設(shè)備。

邊緣將繼續(xù)變得更智能、更銳利和更大，我們需確保能夠控制這種新型設(shè)備智能，使其發(fā)揮最大效率。