本發(fā)明涉及計算機視覺和無人叉車ai視覺防碰撞，尤其涉及基于國產(chǎn)嵌入式平臺的輕量化無人叉車ai視覺防碰撞方法。

背景技術(shù)：

1、隨著工業(yè)自動化技術(shù)的發(fā)展，智能叉車在物流和倉儲等領(lǐng)域的應用越來越廣泛。在這些智能叉車系統(tǒng)中，確保行人和設(shè)備的安全是一個關(guān)鍵問題。因此，基于人工智能(ai)的視覺防碰撞技術(shù)被提出，用于實時監(jiān)測叉車周圍環(huán)境中可能存在的行人或障礙物，以實現(xiàn)對碰撞風險的提前預防。目前，防碰撞系統(tǒng)主要采用基于激光雷達、超聲波傳感器和基于計算機視覺的檢測方法。其中，激光雷達和超聲波傳感器通過測量距離來識別障礙物，但它們的成本相對較高，并且在復雜環(huán)境中受到各種因素的影響，如反射率和材料特性等。此外，這些方法在行人識別和特征提取方面存在一定的局限性。

2、隨著深度學習技術(shù)的進步，基于計算機視覺的目標檢測方法得到了顯著的發(fā)展。目標檢測的基本過程包括候選區(qū)域的生成、特征的提取以及目標的分類與邊界框的回歸。目前，主要分為基于傳統(tǒng)機器學習和基于深度學習的目標檢測方法。傳統(tǒng)的目標檢測方法，包括選擇性搜索、滑動窗口、hog(梯度方向直方圖)、sift(尺度不變特征轉(zhuǎn)換)等，依賴于手工提取特征，其魯棒性和適應性較差，尤其是在面對復雜的作業(yè)場景和光線變化等外部干擾時，檢測效果難以保障。隨著深度學習技術(shù)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的目標檢測方法被廣泛應用于行人檢測中，常見的深度學習模型包括faster?r-cnn、yolo和ssd等。這些模型通過多層卷積網(wǎng)絡(luò)對輸入圖像進行特征提取，具有較強的表征能力，在復雜環(huán)境下也能取得較好的檢測效果。然而，這些模型的計算復雜度較高，所需的硬件資源大，尤其在移動和嵌入式設(shè)備上難以實現(xiàn)實時性要求，成為現(xiàn)有技術(shù)的主要局限性。

3、為了在低成本的嵌入式平臺上實現(xiàn)高效的行人檢測和防碰撞功能，研究人員開始探索輕量化的深度學習模型和算法優(yōu)化技術(shù)。輕量化網(wǎng)絡(luò)，如mobilenet、shufflenet等，通過減少參數(shù)量和剪枝等手段來降低模型的復雜度，以便在嵌入式設(shè)備上部署這些模型。然而，這些方法在降低計算復雜度的同時也導致了模型檢測精度的下降，因此，在檢測精度和計算資源之間的平衡上，現(xiàn)有技術(shù)依然存在較大的改進空間。此外，現(xiàn)有的輕量化模型在面對多行人檢測和距離估算時，難以保證精確性和穩(wěn)定性，尤其是在處理復雜的工作場景時，檢測模型容易受到遮擋、光照變化以及背景雜亂等因素的影響。

4、為了實現(xiàn)基于嵌入式平臺的輕量化無人叉車ai視覺防碰撞，現(xiàn)有技術(shù)通常采用預處理后的rgb圖像輸入深度學習模型進行檢測和估算。但在實際應用中，如何在國產(chǎn)嵌入式平臺上兼顧精度和實時性，依然是一個難點。特別是基于現(xiàn)有的目標檢測和距離估計模型，存在著如下幾個主要缺陷：首先，行人檢測的復雜度較高，現(xiàn)有的深度卷積網(wǎng)絡(luò)需要大量計算資源和內(nèi)存，這對于嵌入式系統(tǒng)而言是一個巨大的挑戰(zhàn)；其次，現(xiàn)有技術(shù)缺乏對檢測特征的高效融合和自適應優(yōu)化機制，這導致模型在面對遮擋、姿態(tài)變化時的適應性較差，檢測精度也難以達到工業(yè)應用的要求。

5、在現(xiàn)有的嵌入式防碰撞系統(tǒng)中，使用的視覺技術(shù)一般只能完成單一的行人檢測或距離估算，難以同時實現(xiàn)對行人姿態(tài)、距離以及動態(tài)行為的綜合分析。此外，現(xiàn)有的嵌入式解決方案大多依賴于外部輸入的硬件模塊，而不是在國產(chǎn)平臺上實現(xiàn)自主運行，導致成本高、依賴性強，難以突破技術(shù)封鎖。同時，由于嵌入式平臺計算能力有限，現(xiàn)有的檢測算法在實時性和精度之間存在不可調(diào)和的矛盾。特別是在復雜環(huán)境下，目標檢測的準確度受到多種外部因素的影響，例如光線條件和遮擋現(xiàn)象，致使現(xiàn)有系統(tǒng)在復雜環(huán)境下的應用效果不盡如人意。

6、因此，如何提供基于國產(chǎn)嵌入式平臺的輕量化無人叉車ai視覺防碰撞方法是本領(lǐng)域技術(shù)人員亟需解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的一個目的在于提出基于國產(chǎn)嵌入式平臺的輕量化無人叉車ai視覺防碰撞方法，本發(fā)明采用輕量化深度學習算法與自適應特征融合方法，成功實現(xiàn)了在國產(chǎn)嵌入式平臺上的多行人檢測與防碰撞系統(tǒng)部署。通過動態(tài)自適應稀疏變換網(wǎng)絡(luò)對行人檢測和距離估算特征進行深度融合，并結(jié)合高效的模型剪枝和壓縮技術(shù)，確保系統(tǒng)在復雜場景下具備高精度和高實時性。同時，利用鴻蒙操作系統(tǒng)裁剪軟件功能模塊，使得系統(tǒng)具備低功耗、高可靠性和良好的適應性，顯著提升了智能叉車的安全性和運行效率。

2、根據(jù)本發(fā)明實施例的基于國產(chǎn)嵌入式平臺的輕量化無人叉車ai視覺防碰撞方法，包括如下步驟：

3、s1、通過輕量化行人檢測模塊對rgb圖像進行預處理，基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的圖像識別算法，對深度卷積網(wǎng)絡(luò)進行自動剪枝和壓縮，并提取輕量化行人檢測特征；

4、s2、利用輕量化行人距離估計模塊，通過相機標定、圖像校正、立體匹配和距離獲取，采用模型壓縮提取輕量化行人距離估計特征；

5、s3、將輕量化行人檢測特征和輕量化行人距離估計特征進行融合，結(jié)合動態(tài)自適應稀疏變換網(wǎng)絡(luò)進行特征分析，通過引入稀疏特征自適應重構(gòu)機制完成多行人檢測和行人距離估算；

6、s4、在國產(chǎn)嵌入式平臺上進行部署，通過硬件實現(xiàn)防碰撞檢測和快速響應，并利用鴻蒙操作系統(tǒng)進行軟件功能模塊裁剪。

7、可選的，所述s1的輕量級卷積神經(jīng)網(wǎng)絡(luò)的圖像識別算法具體包括：基于符號分布調(diào)整的二值卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化，對輸入的rgb圖像進行二值化處理；采用相似度聚類與群智能優(yōu)化的深度卷積網(wǎng)絡(luò)自動剪枝；將二值化處理與剪枝結(jié)果進行融合；基于二值化與剪枝相融合的深度卷積網(wǎng)絡(luò)壓縮方法。

8、可選的，所述s2中的相機標定包括相機的外部參數(shù)和相機的內(nèi)部參數(shù)，采用張正友標定法對相機的外部參數(shù)和內(nèi)部參數(shù)進行標定，所述張正友標定法是一種基于2d平面靶標的攝影機標定，使用二維方格組成的標定板進行標定。

9、可選的，所述s2中的圖像校正依照極線幾何約束的規(guī)則，在雙目視覺系統(tǒng)中對左右相機采集的圖像進行處理，假設(shè)左相機圖像中的待匹配點，對應的目標點在右相機圖像中存在時，所述目標點必定位于待匹配點對應的極線上；

10、采用opencv視覺庫中的bouget算法對采集的數(shù)據(jù)進行校正，消除三維成像過程中位置偏移造成的誤差。

11、可選的，所述s2中的立體匹配基于深度學習的金字塔立體匹配網(wǎng)絡(luò)進行行人測距，具體包括：

12、使用卷積層進行特征提??；

13、使用空間金字塔池化將圖片的張量進行統(tǒng)一，形成匹配代價卷；

14、通過3d卷積對所述匹配代價卷進行調(diào)整，所述3d卷積使用堆疊的沙漏結(jié)構(gòu)，每一個沙漏后面形成一個視差圖的輸出；

15、分別計算損失函數(shù)，并對損失函數(shù)進行加權(quán)求和，獲得總損失函數(shù)。

16、可選的，所述s2中模型壓縮的壓縮方式為3d卷積通道壓縮，保留原模型的特征提取模塊，對使用3d卷積的代價聚合模塊進行模型壓縮。

17、可選的，所述s3具體包括：

18、s31、將輕量化行人檢測特征矩陣和輕量化行人距離估計特征矩陣進行融合，生成綜合特征矩陣f；

19、s32、構(gòu)建自適應稀疏變換模型，利用動態(tài)自適應稀疏變換網(wǎng)絡(luò)對綜合特征矩陣f進行特征分析，進行多層次自適應重構(gòu)，并生成稀疏特征矩陣f′；

20、s33、結(jié)合矩陣張量變換與高階特征耦合的多層優(yōu)化，定義自適應稀疏重構(gòu)目標函數(shù)l：

21、

22、其中，w表示特征權(quán)重矩陣，b表示偏置向量，α和β表示自適應權(quán)重系數(shù)，tanh(·)表示雙曲正切函數(shù)，表示kronecker乘積，表示frobenius范數(shù)，λ和η分別表示稀疏正則化和低秩正則化系數(shù)，∑i,j|wij|p表示稀疏正則化項，p∈[0,1]表示稀疏性參數(shù)，svd(w)表示對權(quán)重矩陣w進行奇異值分解；

23、s34、對稀疏特征矩陣f′進行自適應重構(gòu)，生成重構(gòu)后的特征矩陣frec；

24、s35、利用重構(gòu)后的特征矩陣frec進行多行人檢測，采用深度卷積神經(jīng)網(wǎng)絡(luò)對不同行人的特征進行分類和標注；

25、s36、基于檢測出的行人特征，對每個行人的相對距離進行估算，生成行人的距離估計值，并結(jié)合防碰撞規(guī)則，判斷是否生成報警信號。

26、可選的，所述s4中的硬件具體包括外殼、液晶觸摸屏、視像頭、語音智能切換按鍵、外音喇叭以及數(shù)據(jù)接口；

27、開發(fā)板為atk-dlrv1126，搭載國產(chǎn)瑞芯微rv1126處理器；所述rv1126處理器集成cpu和npu，所述cpu為四核arm?cortex-a7處理器，主頻高達1.5ghz，內(nèi)置2tops的npu，用于加速深度學習推理任務(wù)；所述rv1126處理器提供通信接口，包括usb、i2c和spi；所述開發(fā)板atk-dlrv1126通過uart與其他功能模塊進行通信。

28、可選的，所述s4中的軟件分為四層，包括內(nèi)核層、系統(tǒng)服務(wù)層、應用框架層和應用層，所述應用層包括系統(tǒng)基本能力子系統(tǒng)集、基礎(chǔ)軟件服務(wù)子系統(tǒng)集、增強軟件服務(wù)子系統(tǒng)集和硬件服務(wù)子系統(tǒng)集。

29、本發(fā)明的有益效果是：

30、首先，本發(fā)明通過輕量化卷積神經(jīng)網(wǎng)絡(luò)的剪枝和壓縮技術(shù)，成功降低了模型的計算復雜度，使得深度學習算法能夠在嵌入式設(shè)備上實現(xiàn)實時運行，顯著提升了系統(tǒng)的實時性和資源利用效率。通過結(jié)合輕量化行人檢測和距離估算模塊，本發(fā)明能夠在復雜作業(yè)場景下實現(xiàn)對多行人目標的高精度檢測與距離估算，解決了傳統(tǒng)方法中存在的計算負擔過大以及檢測精度與實時性之間難以調(diào)和的矛盾。

31、此外，本發(fā)明引入了動態(tài)自適應稀疏變換網(wǎng)絡(luò)(dast-net)，將檢測特征與距離特征進行深度融合，通過自適應稀疏特征重構(gòu)機制，增強了對復雜場景中行人特征的表征能力，使得系統(tǒng)在處理行人遮擋、姿態(tài)變化和背景雜亂等復雜條件下依然具有良好的檢測效果。稀疏特征重構(gòu)有效減少了模型中的冗余特征，同時提高了特征的表達能力，從而使得檢測和距離估算的結(jié)果更加準確和可靠。特別是在涉及多行人檢測的情況下，融合后的綜合特征矩陣通過深度耦合與優(yōu)化，使得系統(tǒng)能夠有效應對多目標情況下的特征交互，確保系統(tǒng)在繁忙的作業(yè)環(huán)境中對行人的準確監(jiān)測。

32、在硬件實現(xiàn)方面，本發(fā)明在國產(chǎn)嵌入式平臺上進行了部署，利用rv1126處理器的強大計算能力，通過深度學習推理加速，使得整個系統(tǒng)不僅在檢測精度上顯著提升，同時具備低功耗和高效的特點?；邙櫭刹僮飨到y(tǒng)對軟件功能模塊的裁剪和優(yōu)化，使得系統(tǒng)能夠更好地適應無人叉車的實際應用需求，確保整個系統(tǒng)在嵌入式平臺上的高效運行。同時，硬件設(shè)計上通過液晶觸摸屏、攝像頭、語音智能切換按鍵等多種模塊的集成，實現(xiàn)了更為直觀的用戶交互和多樣化的防碰撞策略。