跨界 · 融合 · 服務 · 創新
目前，無人機（UAV）或空中機器人正處于快速發展時期，基于YOLO算法的目標檢測性能在工業上已達到較高水平，該算法仍需要不斷改進。無人機可以攜帶各種設備來完成不同的任務。這些任務的例子包括噴灑液體藥物，測繪，物流運輸，災害管理，航空攝影以及播種肥料或種子。基于YOLO算法的物體檢測技術已經能夠實現人類行為分析，面罩識別，醫療診斷分析，自動駕駛，交通評估，多目標跟蹤和機器人視覺。然而，無人機面臨復雜的場景或工作需要與地面控制終端保持良好的數據通信，因此無人機技術的創新和發展可能會受到某些應用環境的限制。然而，無人機面臨復雜的場景或工作需要與地面控制終端保持良好的數據通信，因此無人機技術的創新和發展可能會受到某些應用環境的限制。此外，基于YOLO算法的目標檢測技術需要部署到高性能處理器中，并與圖像或視頻數據結合使用，這對使用場景提出了一定的要求。這兩種技術可以結合起來，創造出一種新技術——基于YOLO的無人機技術（YBUT）。無人機為YOLO算法提供了更多的應用場景，YOLO算法可以幫助無人機完成更多新穎的任務。通過這種方式，無人機技術和YOLO算法可以進一步促進人們的日常生活，同時為各自行業的生產力做出貢獻。
隨著無人機技術的不斷成熟，世界各國的無人機數量每年都在增加，根據全球商用無人機的年銷量和銷量統計，如圖1所示，到2025年，全球將有約679，000架無人機，市場規模約為5億美元。全球無人機數量如此之多，如果無人機可以作為空中平臺部署YOLO算法，就有可能使無人機更有價值。
圖1 全球商用無人機年銷量和銷量統計
YOLO是一種廣泛使用的深度學習算法，因為它是一種基于分類/回歸的對象檢測方法，賦予算法核心優勢：結構非常簡單，模型體積小，計算速度快。自引入YOLO以來（截至2023年2月）經過七年的發展，研究人員發布了YOLO算法的七個版本。基于YOLO的目標檢測算法的機制是將輸入圖像調整為相同的大小，然后將圖像分成大小相等的S×S網絡單元，每個單獨的網絡單元都可以檢測其中的對象。如果檢測到的目標的中心落入網絡像元中，則該網絡像元將對目標進行預測。每個網絡小區可能有N個檢測框，每個檢測框不僅計算自己的位置，還做出預測分數。分數表示檢測目標存在于預測網絡單元中的可能性。由于網絡單元中可能有多個框，YOLO將自動選擇得分最高的目標類別進行預測，如圖2所示。
圖2 基于YOLOv7的無人機技術架構圖（BN：批量歸一化層;AF：激活函數層）
利用中英文搜索引擎（如Web of Science、中國國家知識基礎設施）對檢索結果進行分析，得到中英文期刊在相關領域的主要研究主題。迄今為止，計算機視覺技術已經開發了各種各樣的算法，其中YOLO算法是在2016年提出的，然后在2017年由Jiang等人首次應用，他們將YOLO算法與無人機相結合。此后，YOLO算法和無人機融合技術不斷發展，相關研究成果或應用激增。該技術也已從探索性實驗轉變為學術研究熱點（見圖3）。
圖3 在頂級期刊和會議上發表的論文數量（2017-2022）
根據我們對YBUT應用領域的調查，英文期刊中該領域熱門話題的信息匯總為餅圖，如圖4中的調查結果所示。從餅圖可以看出，熱門話題主要集中在技術研究、工程和運輸等行業，發表的論文或會議文獻的數量代表了研究人員的興趣。我們還調查了該領域熱門話題的中國期刊，發現它們更關注技術研究、工程和自動化領域。隨著無人機技術和YOLO算法的不斷發展，這項技術開始在大多數領域進行探索，在少數領域，已經取得了一些成功。YBUT的發展和研究一直是頂級期刊和會議的熱門話題，現在該技術的實際應用正逐漸引起他們的興趣。
圖4 YBUT的應用領域調查：（a）英文期刊的熱門領域，（b）中文期刊的熱門領域
在YBUT應用的早期階段，主要工作機制是通過無人機采集圖像或視頻數據，然后由運行基于YOLO的目標檢測算法的計算機進行目標檢測，識別和分類。為了探索從無人機捕獲的圖像中檢測車輛的方法，以應用于交通監控和管理，并且由于深度學習算法在目標檢測中顯示出顯著的優勢，研究人員嘗試將基于YOLO的目標檢測算法應用于無人機圖像中的車輛檢測。Jiang等在無人機上集成了熱紅外成像傳感器和可見光成像傳感器，構建了多源數據采集系統，通過特征點提取和單響應矩陣方法對圖像進行校正和對齊，然后對多源數據進行圖像融合。最后，他們利用深度學習YOLO算法進行數據訓練和車輛檢測（見圖5）。
圖5 Jiang等人提出的方法流程圖
此外，Ruan等人試圖使用深度學習和基于視覺的drogue檢測和定位方法來解決復雜環境中無人機自主空中加油霧滴的準確檢測和定位問題。他們使用經過訓練的YOLO算法進行錐形軌跡檢測，在確定基準位置后使用最小二乘橢圓擬合來確定橢圓的長半軸，最后使用單目視覺相機進行椎體下垂定位（見圖6）。
圖6 Drogue檢測方法
隨著YBUT的不斷發展，新一代無人機配備了豐富的計算資源高性能處理器，其中部署了基于YOLO的目標檢測算法，允許處理器在無人機收集數據時實時檢測，識別和分類任務對象。Zhang等人為了探索新一代技術的可行性，將YOLOv3算法嵌入到資源有限的NVIDIA Jason TX1平臺環境中（見圖7），并讓無人機攜帶嵌入式平臺進行實時行人檢測實驗。
圖7 四旋翼監測無人機
Alam等人為了減輕無人機機載嵌入式處理器的計算壓力，增強YBUT的實用性，提出了一種高性價比的空中監視系統，該系統保留了機載嵌入式處理器Movidius VPU上有限的Tiny-YOLO計算需求，將大型Tiny-YOLO計算任務轉移到云端，并保持無人機與云之間的最小通信。與其他最先進的方法相比，該系統在每秒幀數的目標檢測處理速度方面快六倍，同時機載嵌入式處理器技術的應用降低了端到端延遲和網絡資源消耗（見圖8）。
圖8 由Alam等人完成系統設計
Doukhi等人使用了配備Nvidia Jetson TX2高性能嵌入式處理器和PID控制器的無人機。然后，他們將YOLOv3算法部署在嵌入式處理器中，利用基于YOLO的目標檢測算法直觀地引導無人機跟蹤檢測到的目標，同時使用PID控制器控制無人機飛行。實驗結果表明，所提方法僅通過魚眼相機成功實現了定位和無人機跟蹤飛行的視覺SLAM，無需外部定位傳感器或引入GPS信號（見圖9）。
圖9 基于深度學習的運動控制軟件架構。圖中紅色圓圈表示YOLOv3算法中的輸入RGB圖像，橙色圓圈表示YOLOv3算法的計算過程，藍色圓圈表示YOLOv3算法檢測到的目標和邊界框數據
Afifi等人提出了一個用于多場景行人檢測的強大框架，該框架使用YOLO-v3物體檢測作為骨干檢測器（見圖10），并在無人機上的Nvidia Jetson TX2嵌入式處理器上運行。來自多個室外行人檢測場景的實驗結果表明，與YOLOv3算法相比，隨著嵌入式處理器計算資源的增加，所提出的檢測框架在mAP和FPS方面表現出更好的性能。
圖10 行人檢測框架的工作流程
YBUT已應用較為成熟的研究領域是輸電線路檢測、建筑表面檢測、動目標跟蹤、儀表顯示讀數、光伏組件檢測、建筑識別與分類。根據目前的調查，YBUT在工程領域的應用研究中，研究人員更喜歡傳輸線檢測的方向。在復雜環境中可以準確識別、分類和定位電力線桿、絕緣子、電氣元件、配電線桿、輸電塔、鳥巢和斷路器等物體。例如，Bao等人提出了一種端到端并行混合注意力檢測YOLO網絡（PMA-YOLO），通過無人機收集傳輸線減振器數據，然后創建一個數據集來訓練和測試模型;結果表明，該模型能夠檢測異常減振器，準確率為93.8%（見圖11）。
圖11 PMA-YOLO網絡檢測異常減振器的實驗結果。“生銹”、“有缺陷”和“正常”阻尼器的地面實況框和預測框分別以黃色、紅色、藍色和綠色顯示
最近，Alsanad等人提出了一種改進的YOLOv3算法，用于低空空域的小型無人機檢測;實驗表明，所公開的改進算法模型能夠有效檢測復雜環境下的低空無人機（見圖12），并可成功應用于反無人機研究領域管理低空空域無人機。基于已有研究，該方法進一步提高了YBUT的低空小型無人機探測性能。
圖12 改進的YOLOv3無人機檢測算法結果
為了進一步管理和約束生活中的各種運輸方式，BUT在運輸領域進行了多次嘗試。例如，Feng等人提出了一種基于YOLOv3的無人機檢測方法（見圖13）。
圖13 基于城市道路視頻的車輛檢測結果
Omar等人提出了一種基于YOLOv4算法的航拍圖像車輛檢測方法（見圖14）。
圖14 （a）無人機采集圖像，（b）無人機圖像檢測結果
城市交通管理應用和城市道路管理都是YBUT技術應用的重要方向。Silva等人設計了一個分布式無人機平臺，部署YOLOv4來檢測道路損壞（見圖15）。
圖15 道路損壞檢測結果
Zhao等人提出了一種基于YOLOv3的無人機高速公路中心標記檢測算法，YOLO-Highway（見圖16）。
圖16 各種環境條件下道路標志的檢測結果
在農業領域，許多棘手的工作已經有了基于YBUT的新解決方案。隨著YBUT的不斷發展和擴展，現在可以檢測大型植物物種中的不同目標和特征，例如在枯樹檢測，松枯萎病線蟲病檢測（見圖17），松樹枯萎病檢測，油棕樹果實檢測和其他任務。
圖17（a，b）是患病樹木檢測區域的原始圖像，（c，d）是MobileNetv2-YOLOv4算法檢測該區域病樹的結果
此外，YBUT還可用于涉及小型植物的分析，例如豌豆和草莓周圍的雜草檢測（見圖18），田間小麥表型監測和番茄發芽器檢測。
圖18 豌豆作物面積和草莓作物面積的雜草鑒定結果
移動目標，如動物，也可以高精度地檢測、分類和計數（見圖22）。
圖19 使用YOLOv5s改進模型檢測馴鹿和梅花鹿的計數
隨著無人駕駛概念的增加，某些應用已迅速實現自動化。Kraft等人提出了一種基于YOLOv4的方法，通過使用無人機在公園中定位垃圾。實驗結果表明，無人機可以檢測垃圾，并且可以在固定區域內收集垃圾位置數據，同時在地圖上標記垃圾位置，以便清掃人員查看，以便于清潔（見圖20）。
圖20 使用 YOLOv4 檢測無人機數據集的結果
未來，該系統還可以與其他設備配合定位并自動清掃垃圾，徹底減少清掃車的工作量。Liao等人提出了一種基于無人機的海洋垃圾檢測系統，該系統使用具有改進的YOLO算法的無人機進行海洋垃圾檢測;他們的系統通過互聯網將結果傳輸到地面監測平臺，以協助政府機構實施管理計劃（見圖21）。
圖21八斗子漁港無人機垃圾檢測結果
除了上面討論的YBUT應用的主要領域外，一些研究人員還探索了全新的領域，嘗試了新的方法，并利用這些方法來促進和增強YBUT的適用性和實用性。Jing等人提出了一種基于YOLOv5s-ViT-BiFPN的神經網絡，該網絡可以使用無人機圖像評估自然災害后農村房屋的損壞情況（見圖22）。
圖22 用于檢測受損房屋的YOLOv5s-ViT-BiFPN算法
到目前為止，YBUT的發展在工程，運輸，農業和自動化方面的應用更多，而在其他領域的實踐較少;該技術的傳播仍然是一個挑戰。未來的技術發展需要考慮這四個問題。
源自：Drones 2023, 7, 190. https://doi.org/10.3390/drones7030190
以上內容為高博特編輯選取的熱點新聞，尊重原創，如有侵權請聯系刪除。
—————— 特別關注 ——————
讓科技更好地賦能產業，“尖兵之翼”永不落幕。高博特自2006年發起、策劃、投資、組織，在相關專業機構支持下成功舉辦了最早的無人機主題會展活動——“尖兵之翼中國無人機大會暨展覽會”后持續推動無人機技術交流。高博特創新引領最早在深圳、上海、鄭州等地發起舉辦無人系統會展賽飛活動，有力促進了我國無人系統整體技術進步和產業發展。
20年來，高博特始終堅持讓科技更好地賦能產業的愿景；努力為行業企業搭建產業鏈高端交流平臺，為科技轉化為生產力服務。具體業務范圍涵蓋：信息情報、媒介傳播、會展活動、招商加盟、品牌提升、咨詢服務、產品中心等七大服務體系，長期服務于“軍轉民、民參軍、軍民融合”等國家戰略。
2023年，高博特集買、賣、租、播、展、會、賽、培于一體的新型展廳項目即將啟幕，該展廳旨在從深度對接的層面為各入駐企業一站式解決經營中面臨的各項問題，企業租、賣的產品我們來、企業需要的品牌我們筑、行業頂尖的賽會我們辦、行業急需的培訓我們辦。新的一年，高博特新模式、新服務、新平臺，必將給各一直以來支持我們的朋友帶來全新的體驗。
