近日,美的集團(tuán)(000333)AI創(chuàng)新中心全自主研發(fā)的邊端AI算法部署
工具鏈Aidget(AI edge toolbox)正式在Github和OpenI兩大社區(qū)同步上線(xiàn)開(kāi)放。據(jù)悉,推進(jìn)開(kāi)源開(kāi)放是美的集團(tuán)承擔(dān)建設(shè)的
智能服務(wù)
機(jī)器人國(guó)家新一代人工智能開(kāi)放創(chuàng)新平臺(tái)的重要內(nèi)容,Aidget將有助于美的與開(kāi)發(fā)者推進(jìn)AI生態(tài)共創(chuàng),賦能行業(yè)技術(shù)發(fā)展。在各種智能嵌入式邊端設(shè)備上運(yùn)行深度學(xué)習(xí)模型(深度神經(jīng)網(wǎng)絡(luò))已成為AIoT的主流方式,但由于主流深度學(xué)習(xí)模型部署要求高,且邊端設(shè)備運(yùn)算資源受限,直接部署存在大量的計(jì)算資源浪費(fèi)等直接挑戰(zhàn),阻礙了深度學(xué)習(xí)模型在資源有限的邊端設(shè)備上的部署。致力于解決AI通用部署落地難題,針對(duì)智能
家電領(lǐng)域存在的操作系統(tǒng)和芯片工程化部署難度高、效率低、通用工具鏈對(duì)資源極低的家電和IoT設(shè)備適配性較差、通用工具鏈對(duì)語(yǔ)音算法支持力度較低,算子實(shí)現(xiàn)與優(yōu)化不足等現(xiàn)實(shí)問(wèn)題,美的集團(tuán)AI創(chuàng)新中心于2021年發(fā)起了Aidget項(xiàng)目。作為美的全自研高性能深度學(xué)習(xí)推理部署工具鏈,Aidget包含模型壓縮工具以及推理加速引擎工具,實(shí)現(xiàn)從模型壓縮,到推理加速全鏈路優(yōu)化。Aidget適用于linux/rtos/android/ios等多種不同邊端系統(tǒng),面向armv7/v8及dsp等不同邊端平臺(tái)提供指令級(jí)加速;針對(duì)多計(jì)算單元設(shè)備,提供高性能異構(gòu)計(jì)算能力;針對(duì)邊端小內(nèi)存設(shè)備,在內(nèi)存管理方面進(jìn)行優(yōu)化設(shè)計(jì)。據(jù)了解,Aidget工具鏈主要工作流程是將模型通過(guò)壓縮工具進(jìn)行模型壓縮,支持前沿的主流算法技術(shù)剪枝、蒸餾及量化。通過(guò)多種壓縮方式結(jié)合應(yīng)用,實(shí)現(xiàn)高壓縮比并保持良好的精度性能。經(jīng)過(guò)壓縮后的模型通過(guò)推理引擎?zhèn)绒D(zhuǎn)換工具進(jìn)行解析,進(jìn)行進(jìn)一步優(yōu)化,包括算子消除、算子替換、布局調(diào)整等圖優(yōu)化操作。推理時(shí)加載模型,然后經(jīng)過(guò)預(yù)處理把模型從抽象的圖轉(zhuǎn)換為具體的算子和張量連接的描述形式,并進(jìn)行內(nèi)存復(fù)用和執(zhí)行調(diào)度等運(yùn)行優(yōu)化。目前,Aidget已陸續(xù)在智能
冰箱、
洗碗機(jī)、家庭服務(wù)機(jī)器人等智能家電產(chǎn)品上實(shí)現(xiàn)了投產(chǎn)驗(yàn)證和規(guī)?;慨a(chǎn),持續(xù)發(fā)揮了降本增效作用。美的集團(tuán)希望通過(guò)Aidget開(kāi)源項(xiàng)目,為邊端智能提供AI解決方案;同時(shí),美的AI將持續(xù)推進(jìn)語(yǔ)音技術(shù)、計(jì)算機(jī)視覺(jué)、機(jī)器人學(xué)習(xí)相關(guān)算法/模型的開(kāi)放服務(wù)和開(kāi)源共創(chuàng),賦能行業(yè)發(fā)展。(文穗)