跨界 · 融合 · 服務(wù) · 創(chuàng)新
圖7 四旋翼監(jiān)測(cè)無(wú)人機(jī)
Alam等人為了減輕無(wú)人機(jī)機(jī)載嵌入式處理器的計(jì)算壓力,增強(qiáng)YBUT的實(shí)用性,提出了一種高性價(jià)比的空中監(jiān)視系統(tǒng),該系統(tǒng)保留了機(jī)載嵌入式處理器Movidius VPU上有限的Tiny-YOLO計(jì)算需求,將大型Tiny-YOLO計(jì)算任務(wù)轉(zhuǎn)移到云端,并保持無(wú)人機(jī)與云之間的最小通信。與其他最先進(jìn)的方法相比,該系統(tǒng)在每秒幀數(shù)的目標(biāo)檢測(cè)處理速度方面快六倍,同時(shí)機(jī)載嵌入式處理器技術(shù)的應(yīng)用降低了端到端延遲和網(wǎng)絡(luò)資源消耗(見(jiàn)圖8)。
圖8 由Alam等人完成系統(tǒng)設(shè)計(jì)
Doukhi等人使用了配備N(xiāo)vidia Jetson TX2高性能嵌入式處理器和PID控制器的無(wú)人機(jī)。然后,他們將YOLOv3算法部署在嵌入式處理器中,利用基于YOLO的目標(biāo)檢測(cè)算法直觀地引導(dǎo)無(wú)人機(jī)跟蹤檢測(cè)到的目標(biāo),同時(shí)使用PID控制器控制無(wú)人機(jī)飛行。實(shí)驗(yàn)結(jié)果表明,所提方法僅通過(guò)魚(yú)眼相機(jī)成功實(shí)現(xiàn)了定位和無(wú)人機(jī)跟蹤飛行的視覺(jué)SLAM,無(wú)需外部定位傳感器或引入GPS信號(hào)(見(jiàn)圖9)。
圖9 基于深度學(xué)習(xí)的運(yùn)動(dòng)控制軟件架構(gòu)。圖中紅色圓圈表示YOLOv3算法中的輸入RGB圖像,橙色圓圈表示YOLOv3算法的計(jì)算過(guò)程,藍(lán)色圓圈表示YOLOv3算法檢測(cè)到的目標(biāo)和邊界框數(shù)據(jù)
Afifi等人提出了一個(gè)用于多場(chǎng)景行人檢測(cè)的強(qiáng)大框架,該框架使用YOLO-v3物體檢測(cè)作為骨干檢測(cè)器(見(jiàn)圖10),并在無(wú)人機(jī)上的Nvidia Jetson TX2嵌入式處理器上運(yùn)行。來(lái)自多個(gè)室外行人檢測(cè)場(chǎng)景的實(shí)驗(yàn)結(jié)果表明,與YOLOv3算法相比,隨著嵌入式處理器計(jì)算資源的增加,所提出的檢測(cè)框架在mAP和FPS方面表現(xiàn)出更好的性能。
圖10 行人檢測(cè)框架的工作流程
YBUT已應(yīng)用較為成熟的研究領(lǐng)域是輸電線路檢測(cè)、建筑表面檢測(cè)、動(dòng)目標(biāo)跟蹤、儀表顯示讀數(shù)、光伏組件檢測(cè)、建筑識(shí)別與分類(lèi)。根據(jù)目前的調(diào)查,YBUT在工程領(lǐng)域的應(yīng)用研究中,研究人員更喜歡傳輸線檢測(cè)的方向。在復(fù)雜環(huán)境中可以準(zhǔn)確識(shí)別、分類(lèi)和定位電力線桿、絕緣子、電氣元件、配電線桿、輸電塔、鳥(niǎo)巢和斷路器等物體。例如,Bao等人提出了一種端到端并行混合注意力檢測(cè)YOLO網(wǎng)絡(luò)(PMA-YOLO),通過(guò)無(wú)人機(jī)收集傳輸線減振器數(shù)據(jù),然后創(chuàng)建一個(gè)數(shù)據(jù)集來(lái)訓(xùn)練和測(cè)試模型;結(jié)果表明,該模型能夠檢測(cè)異常減振器,準(zhǔn)確率為93.8%(見(jiàn)圖11)。
圖11 PMA-YOLO網(wǎng)絡(luò)檢測(cè)異常減振器的實(shí)驗(yàn)結(jié)果。“生銹”、“有缺陷”和“正常”阻尼器的地面實(shí)況框和預(yù)測(cè)框分別以黃色、紅色、藍(lán)色和綠色顯示
最近,Alsanad等人提出了一種改進(jìn)的YOLOv3算法,用于低空空域的小型無(wú)人機(jī)檢測(cè);實(shí)驗(yàn)表明,所公開(kāi)的改進(jìn)算法模型能夠有效檢測(cè)復(fù)雜環(huán)境下的低空無(wú)人機(jī)(見(jiàn)圖12),并可成功應(yīng)用于反無(wú)人機(jī)研究領(lǐng)域管理低空空域無(wú)人機(jī)。基于已有研究,該方法進(jìn)一步提高了YBUT的低空小型無(wú)人機(jī)探測(cè)性能。
圖12 改進(jìn)的YOLOv3無(wú)人機(jī)檢測(cè)算法結(jié)果
為了進(jìn)一步管理和約束生活中的各種運(yùn)輸方式,BUT在運(yùn)輸領(lǐng)域進(jìn)行了多次嘗試。例如,F(xiàn)eng等人提出了一種基于YOLOv3的無(wú)人機(jī)檢測(cè)方法(見(jiàn)圖13)。
圖13 基于城市道路視頻的車(chē)輛檢測(cè)結(jié)果
Omar等人提出了一種基于YOLOv4算法的航拍圖像車(chē)輛檢測(cè)方法(見(jiàn)圖14)。
圖14 (a)無(wú)人機(jī)采集圖像,(b)無(wú)人機(jī)圖像檢測(cè)結(jié)果
城市交通管理應(yīng)用和城市道路管理都是YBUT技術(shù)應(yīng)用的重要方向。Silva等人設(shè)計(jì)了一個(gè)分布式無(wú)人機(jī)平臺(tái),部署YOLOv4來(lái)檢測(cè)道路損壞(見(jiàn)圖15)。
圖15 道路損壞檢測(cè)結(jié)果
Zhao等人提出了一種基于YOLOv3的無(wú)人機(jī)高速公路中心標(biāo)記檢測(cè)算法,YOLO-Highway(見(jiàn)圖16)。
圖16 各種環(huán)境條件下道路標(biāo)志的檢測(cè)結(jié)果
在農(nóng)業(yè)領(lǐng)域,許多棘手的工作已經(jīng)有了基于YBUT的新解決方案。隨著YBUT的不斷發(fā)展和擴(kuò)展,現(xiàn)在可以檢測(cè)大型植物物種中的不同目標(biāo)和特征,例如在枯樹(shù)檢測(cè),松枯萎病線蟲(chóng)病檢測(cè)(見(jiàn)圖17),松樹(shù)枯萎病檢測(cè),油棕樹(shù)果實(shí)檢測(cè)和其他任務(wù)。
圖17(a,b)是患病樹(shù)木檢測(cè)區(qū)域的原始圖像,(c,d)是MobileNetv2-YOLOv4算法檢測(cè)該區(qū)域病樹(shù)的結(jié)果
此外,YBUT還可用于涉及小型植物的分析,例如豌豆和草莓周?chē)碾s草檢測(cè)(見(jiàn)圖18),田間小麥表型監(jiān)測(cè)和番茄發(fā)芽器檢測(cè)。
圖18 豌豆作物面積和草莓作物面積的雜草鑒定結(jié)果
移動(dòng)目標(biāo),如動(dòng)物,也可以高精度地檢測(cè)、分類(lèi)和計(jì)數(shù)(見(jiàn)圖22)。
圖19 使用YOLOv5s改進(jìn)模型檢測(cè)馴鹿和梅花鹿的計(jì)數(shù)
隨著無(wú)人駕駛概念的增加,某些應(yīng)用已迅速實(shí)現(xiàn)自動(dòng)化。Kraft等人提出了一種基于YOLOv4的方法,通過(guò)使用無(wú)人機(jī)在公園中定位垃圾。實(shí)驗(yàn)結(jié)果表明,無(wú)人機(jī)可以檢測(cè)垃圾,并且可以在固定區(qū)域內(nèi)收集垃圾位置數(shù)據(jù),同時(shí)在地圖上標(biāo)記垃圾位置,以便清掃人員查看,以便于清潔(見(jiàn)圖20)。
圖20 使用 YOLOv4 檢測(cè)無(wú)人機(jī)數(shù)據(jù)集的結(jié)果