Plant Phenomics | EasyDAM_V3：基于最優源域選擇和知識圖數據合成的水果自動標注

隨著人工智能技術的發展,傳統農業逐漸引入了人工智能技術,以實現智能化信息化建設。深度學習在智能果園等領域具有廣闊的應用前景。高性能的水果檢測技術可以和農業機械設備有效結合,用于定位、分類、預測產量等多個方面。但是,當前深度學習模型需要大量帶標注的數據集來訓練,手工標注非常耗時費力。之前的EasyDAM系列研究工作使用生成對抗網絡生成模擬目標域的水果圖像,以減少人工標注數據集的工作量。但是,這些方法在源域數據集的選擇上存在主觀性,往往根據目標域需求任意選擇。另外,這些方法仍需要人工標注源域數據集。因此,自動標注方法的泛化能力有限,實際應用中對不同場景的適應性較差。如何選擇最優的源域數據集以適應不同目標域,并完全消除人工標注過程,是當前的研究難點。
 

近日，Plant Phenomics在線發表了北京工業大學信息學部張文利教授團隊與東京大學農學部郭威副教授團隊題為EasyDAM_V3: Automatic Fruit Labeling Based on Optimal Source Domain Selection and Data Synthesis via a Knowledge Graph 的研究成果。該研究提出了一種基于多維空間特征模型的最優源域建立方法，用于選擇最合適的源域;通過構建果園場景層次成分合成規則知識圖，提出了一種基于透明背景水果圖像平移的大容量數據集構建方法。該研究為圖像轉換任務提供了源域數據集選擇的先驗知識,通過全自動大容量標注數據集構建方法,實現了零標注成本下的自動標注,可以推廣到更多農作物目標的檢測與識別任務,降低數據采集和標注的人工成本,提高模型泛化性。
 

該團隊前期研究成果“EasyDAM_V2: Efficient Data Labeling Method for Multishape, Cross-Species Fruit Detection”研究形狀存在部分差異的不同類別果實數據集標簽數據的高精度轉換。本次工作重點是如何在創建與目標域圖像具有高真實感和強相似性的合成數據集的同時避免人工標注，使深度學習模型能夠提取更有效的目標特征。
 

本研究提出了一種新的自動水果標注方法EasyDAM_V3。該方法的流程如圖1所示,方法創新主要包含三個模塊：

(a) 最優源域選擇模塊：該模塊通過多維特征分析描述不同水果的形狀、顏色和紋理特征，構建跨物種共性描述模型,選擇最優的源域數據集，為圖像轉換模型提供先驗知識（該模塊的流程如圖2所示）。

(b) 目標域合成數據集構建模塊：該模塊利用CycleGAN模型將源域的梨果圖像轉換為目標域的柑橘、蘋果和番茄透明背景水果圖像(如圖3所示)，進一步構建含標簽的合成目標域數據集(如圖4所示)，自動獲得標注信息。

(c) 基于anchor-free檢測器的水果檢測模塊：使用在合成數據集上訓練的檢測模型，結合偽標簽自學習方法，迭代優化目標域水果圖像的標注效果(如圖5所示)。
 

圖1 EasyDAM_V3總體流程圖。圖中有3個主要貢獻(如圖中黃色矩形部分所示):(a)在圖像生成模塊之前加入水果最優源域選擇預處理算法，選擇最合適的源域數據集;(b)將圖像生成模塊輸出的水果圖像輸入目標域合成數據集構建模塊，采用自動化方法合成模擬的目標域圖像;(c)將模擬的目標域圖像輸入到基于無錨檢測器的檢測模塊中，提取目標水果和背景的特征。采用偽標簽自學習方法進一步提高了標簽生成質量。最后的輸出是實際目標域場景所需的水果標簽。
 

圖2多類目標域對應的果實生成最優源域選擇方法流程圖
 

圖3利用CycleGAN模型生成目標域水果圖像的可視化結果
 

圖4合成數據集圖像。(A)柑橘，(B)蘋果，(C)番茄的合成圖像
 

圖5視覺圖像效果的柑橘、蘋果、番茄標簽生成。(A)柑橘園，(B)蘋果園，(C)番茄園

實驗以梨果為源域,柑橘、蘋果和番茄為目標域。結果表明，該方法可以實現自動標注不同目標域水果圖像，目標數據集的平均標注精度分別達到90.94%、89.78%和90.84%(如表1所示)。EasyDAM_V3模型可以在自動標注任務中獲得最優的源域，從而消除了人工標注過程，降低了相關成本和人工。
 

表1 將EasyDAM_V3模型得到的最終標簽生成結果與EasyDAM_V1模型進行比較

論文鏈接：
‍https://doi.org/10.34133/plantphenomics.0067‍

——推薦閱讀——
Predicting and Visualizing Citrus Colour Transformation Using a Deep Mask-Guided Generative Network
‍https://spj.science.org/doi/10.34133/plantphenomics.0057
Plant Phenomics | 基于生成式深度學習網絡的柑橘表皮顏色可視化預測研究
Deep learning enables instant and versatile estimation of rice yield using ground-based RGB images
‍https://doi.org/10.34133/plantphenomics.0073‍
Plant Phenomics | 基于深度學習的地面RGB圖像即時與全方位水稻產量估計

加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、�？�發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2022影響因子為6.5，位于農藝學、植物科學、遙感一區。中科院農藝學、植物科學一區，遙感二區，生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
撰稿：許滸（南京農業大學）
排版：蘇梓鈺（南京農業大學）
審核：孔敏、王平