視覺檢測技術在現代化智慧果園中有著重要的應用需求和發展意義。通過視覺檢測技術獲取圖像中果實的位置和類別信息，是果實定位、果實估產和果實自動化采摘等果園智能化工作的技術基礎。當前，基于深度學習的目標檢測技術具有檢測精度高、模型魯棒性好等優點，已逐漸替代傳統視覺檢測方法。然而基于深度學習的果實檢測技術在實際應用過程中，多數需要制作大量帶有標簽數據的果實數據集支撐模型的訓練學習，當實際任務中果實采集場景或者果實類別發生更改時，通常需要重新制作相應果實數據集并訓練新的檢測模型，大量的數據集標注工作導致整個工作過程耗時耗力、效率低下。因此，建立一種減少果實數據集標注工作量且實現果實高精度檢測的方法具有迫切的需求。
 

近日，Plant Phenomics在線發表了北京工業大學信息學部張文利教授團隊與東京大學農學部郭威副教授團隊合作完成的題為EasyDAM_V2: Efficient Data Labeling Method for Multishape, Cross-Species Fruit Detection的研究成果。該研究提出一種不同類別存在部分形狀差異的果實數據集之間的標簽數據轉換方法，該方法在基于一套已標注源域果實數據集基礎上，可自動生成不同類別的無標注目標域果實數據集的標簽數據，并獲取高檢測精度的目標域果實檢測模型，有效減少數據集標注工作量。

該團隊前期研究成果“Easy domain adaptation method for filling the species gap in deep learning-based fruit detection”可應用于實現形狀近似的不同類別果實數據集的標簽轉換，基于前期研究基礎上，本次工作進一步深入研究形狀存在部分差異的不同類別果實數據集標簽數據的高精度轉換。
 

該研究提出并應用生成對抗網絡Across-CycleGAN，學習不同域中不同類別果實的形狀特征差異，訓練模型在不同類別且形狀存在部分差異的果實圖像域之間學習圖像分布映射關系，將源域果實圖像轉換生成與目標域果實圖像高度相似的仿真圖像數據，并結合源域果實數據集標簽數據構建已標注仿真果實數據集。文中實驗以柑橘作為源域果實，火龍果及芒果等作為目標域果實，實現柑橘到火龍果及芒果等果實的圖像轉換操作。（圖1）
 

圖1 源域果實圖像和目標域果實圖像（基于Across-CycleGAN生成）：(a)源域真實柑橘果實圖像；(b)~(f)目標域仿真果實圖像：果實類別分別為火龍果、芒果、梨、獼猴桃、青椒。

由于仿真果實圖像與真實目標域果實圖像具有高度相似的特征，因此該研究通過采用已標注仿真果實數據集訓練果實檢測模型OrangeYolo，可應用于目標域果實檢測框的獲取，并將檢測框信息轉換為相應果實圖像偽標簽數據。
 

接著，該研究提出偽標簽自適應閾值選擇策略，通過動態調整偽標簽數據置信度閾值，自適應調整檢測模型置信度閾值參數，有效降低噪聲偽標簽數據（誤標）的影響；并通過循環微調果實檢測網絡和更新偽標簽數據，逐步提高果實檢測網絡對目標域果實的檢測性能，最終獲取目標域中更高質量的果實圖像標簽數據（圖2），實現無標注目標域真實果實數據集標簽數據的高效獲取。
 

圖2 真實場景下不同類別果實圖像檢測結果示意圖：(a)和(b)分別表示火龍果及芒果果實圖像檢測結果；其中藍框表示模型檢測框，可應用于轉換生成果實圖像相應標簽數據，實現果實數據集的自動標注功能

該研究通過Across-CycleGAN構建已標注目標域仿真果實數據集，進一步采用偽標簽自適應閾值選擇策略訓練目標域果實檢測模型并通過對比實驗和消融實驗進行性能比較，驗證該研究方法的有效性。(表1、表2、表3)
 

表1 基于不同圖像轉換網絡，初步獲取的目標域預訓練火龍果、芒果果實檢測模型的性能測試結果
 

表2 Across-CycleGAN網絡消融實驗
 

表3 在基于Across-CycleGAN網絡構建得到的目標域預訓練果實檢測模型基礎上，采用不同偽標簽方法生成無標注果實數據集標簽數據的實驗結果；其中，T-PL和PL-SL分別表示不同偽標簽生成方法。

研究表明，在已標注源域柑橘果實數據集基礎上，實現對與柑橘存在部分形狀差異的目標域火龍果和芒果圖像的自動標注功能，并獲取高精度火龍果果實檢測模型和芒果果實檢測模型，果實檢測精度指標mAP分別達到82.1%和 85.0%，有效減少果實數據集標注工作量，提高現代化果園工作效率。

論文鏈接
https://doi.org/10.34133/2022/9761674‍

——推薦閱讀——FP Net: Balanced Feature Pyramid Network for Small Apple Detection in Complex Orchard Environment
https://doi.org/10.34133/2022/‍989246‍4
Plant Phenomics | 基于可平衡特征金字塔網絡的小蘋果檢測模型Objective Phenotyping of Root System Architecture Using Image Augmentation and Machine Learning in Alfalfa (Medicago sativa L.)
https://doi.org/10.34133/2022/9879610
Plant Phenomics | 基于圖像增強和機器學習的苜蓿根系表型研究

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科瑞唯安JCR2021影響因子為6.061，位于農藝學、植物科學、遙感一區，生物大類一區（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：張文利、郭威
編輯：胡君宇（實習）
審核：孔敏、王平