101

INSTRUMENTS TODAY - narl.org.tw · 重要的角色,有鑑於此,行政院農業委員會已於 106 年度推動「新農業創新推動方案」,開 始執行「智慧農業」計畫,期待政府以火車頭的角色,帶領產業朝智慧科技農業的發展。

  • Upload
    others

  • View
    34

  • Download
    0

Embed Size (px)

Citation preview

  • INSTRUMENTS TODAY 季刊中華民國一百零八年九月三十日出版

    國家實驗研究院台灣儀器科技研究中心出版

    • 發 行 人:楊燿州

    • 諮詢委員:吳文桂、陳力俊、闕志達、蔡定平

    • 客座主編:陳顯禎

    • 執行編輯:林麗娥

    • E-mail:[email protected]

    • 網  址:http://www.tiri.narl.org.tw/Publication/InstTdy

    中華民國六十八年元月創刊

    • 地  址:新竹市科學工業園區研發六路 20 號

    • 電  話:(03) 5779911 轉 304, 313

    • 傳  真:(03) 5789343

    • 設計排版:宇豐廣告實業社

    • 電  話:(03) 5306633

    封面說明

    在極端氣候日趨嚴重、農村人口老化與少子化的影響下,對

    農業生產造成相當的衝擊。因應此大環境變化,台灣開始推

    動智慧農業,結合跨領域之人工智慧、光電元件與影像處

    理、物聯網與大數據分析等前瞻技術導入,實現農業遠端診

    斷與控制之智慧管理,以及藉由農業無人載具達到無人化處

    理。本期以「智慧光電農業機器人」為專題,介紹目前國內

    利用智慧光電元件與影像系統以及雷射系統技術,創新開發

    與製造適合不同農地或農作需求的機具及機器人。

  • 220中華民國一百零八年六月

    智慧光電農業機器人

    4 智慧農業機具與輔具之應用 楊智凱、葉有順、王乙涵、張祥傑、陳偉豪、方理、蘇建升、

    林韋至、吳耿睿、蕭崇宇、王獻民、歐陽彥杰、吳昭正、歐陽盟、

    劉滄棽、張建禕

    20 無人機於精準農業之應用 楊明德、許鈺群、曾信鴻、曾偉誠

    40 空中與地面無人載具應用於 3D 果樹與樹林建模 黃韋蒼、于鈞、顏永哲、施睿庠、李易昇、林修國、陳宗正、

    黃基倬、陳怡君、邱俊誠、歐陽盟

    62 植生指標之單/雙影像模組發展探討 廖泰杉

    74 精準雷射蟲害控制 張嘉熒、徐逢均、Sumesh Nair、蘇靖傑、林俊佑、許根玉、陳顯禎

    86 應用於 CIGS 薄膜太陽能電池的陣列取像裝置及檢測系統

    陳志文、陳銘福、林儀豪

    廣告索引

    .產業趨勢論壇暨國研院智慧領

    域技術成果發表會 ...................

    .......................................封底

    .光電科技工業協進會 .............

    ....................................封面裡

    24

    49

  • INSTRUMENTS TODAYSeptember 2019

    https://www.tiri.narl.org.tw/Publication/InstTdy

    4

    20

    40

    74

    86

    62

    78

    93

    Special Issue: Agricultural Robots with Intelligent Photonics

    The Application of Agricultural Machinesand Devices in Smart Agriculture

    Chih-Kai Yang, You-Shun Yeh, Yi-Han Wang, Shyang-Jye Chang, Wei-Hao Chen, Li Fang, Chien-Sheng Su, Wei-Chih Lin, Geng-Ruei Wu, Chung-Yu Hsiao, Xian-Min Wang, Yen-Chieh Ouyang, Chao-Cheng Wu, Mang Ou-Yang, Tsang-Sen Liu, Chein-I Chang

    Applications of Unmanned Aerial Vehicles to Precision Agriculture

    Ming-Der Yang, Yu-Chun Hsu, Hsin-Hung Tseng, Wei-Cheng Tseng

    3D Modeling of Fruit Tree Crowns and Large-scale Tree Scene by Unmanned Aerial Vehicle and Unmanned Ground Vehicle

    Wei-Tsang Huang, Chun Yu, Yung-Jhe Yan, Ruei-Siang Shih, Yi-Sheng Li, Shiou-Gwo Lin, Tzung-Cheng Chen, Chi Cho Huang, Yi-Chun Chen, Jin-Chern Chiou, Mang Ou-Yang

    The Study of NDVI Unit Using One/Dual Image Modules

    Tai-Shan Liao

    Precise Laser Pest Control

    Chia-Ying Chang, Feng-Chun Hsu, Sumesh Nair, Jing-Jie Su, Chun-Yu Lin, Ken-Yuh Hsu, Shean-Jen Chen

    An Image Capturing Array Device and Inspection System for CIGS Thin Film Solar Cells

    Chih-Wen Chen, Ming-Fu Chen, Yi-Hao Lin

  • 4 科儀新知 220期 108.9

    智慧農業機具與輔具之應用The Application of Agricultural Machines and Devices in Smart Agriculture

    楊智凱、葉有順、王乙涵、張祥傑、陳偉豪、方理、蘇建升、 林韋至、吳耿睿、蕭崇宇、王獻民、歐陽彥杰、吳昭正、歐陽盟、 劉滄棽、張建禕Chih-Kai Yang, You-Shun Yeh, Yi-Han Wang, Shyang-Jye Chang, Wei-Hao Chen, Li Fang, Chien-Sheng Su, Wei-Chih Lin, Geng-Ruei Wu, Chung-Yu Hsiao, Xian-Min Wang, Yen-Chieh Ouyang, Chao-Cheng Wu, Mang Ou-Yang, Tsang-Sen Liu, Chein-I Chang

    臺灣農業在耕地面積狹小的不利條件下,面臨農業人口老化、缺工、全球化競爭與氣候

    變遷等問題,以小農為主體的臺灣農業目前面臨永續發展的挑戰。行政院農業委員會於106年度開始執行「智慧農業」計畫,期以智慧生產與智慧化管理,突破小農困境,提升農業整

    體生產效能。農業勞動力為農業之根本,面對缺工、人口老化之嚴峻挑戰,是我們農業部門

    最重要的課題。農委會的智慧農業計畫為解決勞動力不足的問題,進行了智慧農業機具、輔

    具的規劃與應用,如採收搬運輔具、高光譜檢測技術、魚體選別整排技術等研發,希冀藉智

    慧科技,讓農民運用省力省時省工的工具,有效率的進行農業生產。

    In recent years, the Taiwan agricultural sector has faced some considerable challenges; arable land becomes scarce; the rural population is aging; labor is in short supply, global competitions and climate change. Due to restrictions from the natural environment and high production costs, Taiwan’s agricultural industry is less competitive compared with other countries in the world. In order to boost agricultural productivity, the Taiwan government promotes “Smart Agriculture Program”, a new proposed pilot project based on sensor/sensing technology, Intelligence Robot, Internet of Things (IoTs), and Big Data analysis, is expected to build a smart production, marketing, and digital service system to efficiently elevate the whole agricultural productivity and capacity. Furthermore, in order to cope with the problems of labor shortage and aging, Smart Agriculture Program includes the plans and application of agricultural machines and devices, such as assistive robotic exosuit, hyperspectral technology in quality checking, automatic fish sorting and so on.

    一、前言

    2050 年全球預估有 95-105 億人口,糧食需求將面臨增加 1 倍的壓力。根據行政院農業委員會的統計,臺灣以熱量為基礎之糧食自給率 2017 年僅為 32.28%,在氣候變遷導致極端氣候日趨嚴重的困境下,糧食供應短缺與糧價上升恐無可避免。近年更由於農村人口老化

    智慧光電

    農業機器人專題

  • 5科儀新知 220期 108.9

    與少子化的影響,從事農業人力大幅短缺,農業生產力受到相當衝擊。

    臺灣農業由個別來看仍具相當競爭力,但是若從人力、自然條件、產業等層面來看,則

    相對較為弱勢。特別是人力,未來十年將有近 11 萬名農民因高齡退場,再加上目前年青族群從事農業的比例低,且來不及補上,採收季節發生缺工將變成常態。再以天然條件來說,

    颱風加上極端氣候所帶來的狂風與超大豪雨,導致農民損失慘重。缺水季節水資源不足卻往

    往先減少農業供水。最後,由產業來看,臺灣農業以「小農」為主,在耕地有限下還要穩定

    供貨實在力有未逮。除了上面提到的因素影響到農作物的收成與利潤,近年來消費者對食安

    的重視,讓以小農為主體的臺灣農業面臨更艱鉅的發展挑戰。

    過去臺灣經濟發展是以農業支持工業發展,如今工業已經成熟,應反過來助攻農業發

    展。這個支持即是透過工業資訊技術如雲端科技、大數據分析 (Big Data Analysis)、物聯網(Internet of Things)、智能化機械、感測器等智慧科技應用在農業,協助小農能降低因人口老化、勞動力不足、極端氣候對產業帶來的衝擊,進而升級成「新農民」提升整體農業的生產

    能力與效率。

    智慧農業乃運用創新科技使農業能夠邁向效率、安全與低風險的未來。針對人力老化問

    題,目前可導入人機協同的機械作業輔具,讓農民可省力省時耕種,以因應人工高齡化及短

    缺不足;安全上,則可導入全自動化的作物生產紀錄系統,讓農民可以簡便、迅速加入產品

    溯源制度。除有助於消費者建立對農產品的信心,消費者資訊亦可反過來回饋予農民作為下

    期生產的參考。而為了降低極端氣候所增加的生產風險,蒐集整合氣象災害歷史資訊,地理

    資訊系統 (geographic information system, GIS) 等空間資訊大數據分析決策系統,協助農民避免在高風險區域栽培作物,或是導入更強固的農業設施。長遠來看,臺灣農業的確需要發展

    智慧農業,以省工、省力為目標,提高農作效率,並建立溯源制度,確保農產品安全,更重

    要的是提供預警及監測,降低農業生產風險。

    二、智慧農業

    臺灣農業在耕地面積狹小的不利條件下,面臨農業人口老化、缺工、全球化競爭與氣候

    變遷等問題,以小農為主體的臺灣農業目前面臨永續發展的挑戰。政府部門在此需扮演相當

    重要的角色,有鑑於此,行政院農業委員會已於 106 年度推動「新農業創新推動方案」,開始執行「智慧農業」計畫,期待政府以火車頭的角色,帶領產業朝智慧科技農業的發展。

    智慧農業計畫之主軸定位為「智慧生產」與「數位服務」兩面向,說明如下:

    1. 智慧生產:如以導入人機協同機械,提高勞動生產力,建構 GIS 等空間資訊大數據分析決策模組,推升高質化精準生產,並推動協同合作的智慧化集團栽培模式,提升生產效

    率。

    2. 數位服務:產業面臨課題主要在於生產環節資訊無法即時分析並串接/因應後端銷售資訊及消費者/生產者間資訊來源不對等,互信不足。推動智慧農業解決方案,即因應上述課

    題導入大數據分析與物聯網串接技術並推動安全履歷智動化,以建立全方位人性化數位服

    務網。

    透過上述兩大面向的結合,期以智慧生產與智慧化管理,突破小農困境,提升農業整體

    生產效能。

    智慧農業計畫推動範疇分為設施利用型、露地栽培型兩大類,包括蘭花、種苗、菇類、

  • 6 科儀新知 220期 108.9

    稻作、農業設施、外銷主力作物、海洋漁、養殖漁、家禽、生乳產業等 10 項進行智慧農業推動,並以 (1) 智農聯盟推動智慧農業生產關鍵技術開發與應用,建置農業生產力知識與服務支援體系、(2) 整合資通訊技術打造多元化數位農業便捷服務與價值鏈整合應用模式、(3) 以人性化互動科技開創生產者與消費者溝通新模式,作為 3 大策略進行技術研發,並建置跨產業物聯網共通資訊平臺,作為領航產業資通訊大數據資料存放、解析與應用的大平臺。

    計畫推動同時也著手培育智慧農業種子師資與專業人才、組成產業技術促進小組 (special interest group, SIG) 與產業服務團,促成智慧農業關鍵技術自主能力與國產化。希望催生農事服務新創事業,開拓農業新格局,以臺灣農業本土化特質為基礎,讓臺灣農業朝向智慧化

    與國際化。預期達成農業領航產業升級與提升生產力之總體目標,因應農業人口老化、缺

    工、全球化競爭與氣候變遷等問題。

    農業勞動力為農業之根本,缺工、人口老化之問題,已刻不容緩。根據行政院主計總處

    的統計,2018 年 65 歲以上所占農業就業人口比例已達 18.3%,顯示農業勞動力的老齡化已越來越普遍。為解決勞動力的相關問題,近年來政府也大力加強辦理輔導農民購置普遍需求

    之小型農機具,以協助紓解農村勞動力不足問題。智慧農業計畫也針對因應勞動力問題,進

    行了智慧農業機具、輔具的規劃與應用,更希冀藉智慧元素與科技,讓農民可省力省時耕

    種,以因應人工高齡化及短缺不足,並可提升農產品品質,強化農業生產體系,增加農產品

    國際競爭力。再者,目前全球農業機械產業的趨勢導致許多大型農業機械更加集中農企業

    中,使得中小型農機廠商缺乏關鍵技術及大量資金,進而影響全球農業機械整個市場需求量

    的變化,將成為我國投入發展省工、節能,與友善環境中小型農業機械之契機。

    三、智慧農業省力輔具、農產品質檢測設備與漁產品省工分級之應用案例

    智慧農業計畫下的智慧農業省力輔具,主要包含省力型輔具、省工搬運裝置、智能分級

    模組等。前兩項目的是協助生產者能在耕作過程中減少需要勞動的部份,並能改善農業作業

    環境,做好田間管理。第三項為農產品質檢測設備研發,利用特徵波短光譜組合進行非破壞

    性檢測與病徵研析。以下介紹各相關案例:

    1. 穿戴式採收搬運智慧人機輔具臺灣在農業人力資源長期不足的情況下,再加上從農者高齡化的情況日趨嚴重,因此為

    提高從農者的經濟利益,以及減少農作時的體力負荷,已是未來必須發展的方向。因此,智

    慧農業計畫團隊已從採摘與搬運兩大從農者最常見的動作切入,整合多方資源共同合作開發

    穿戴式輔具、智慧手環與採收管理 APP 等相關產品。107 年度研發團隊已開發出 3 套採收與搬運穿戴式輔具,及 1 套智慧監控手環與管理 APP。依據運動醫學標準量測系統分析後,證實穿戴式輔具可以提供 5% 至 30% 的輔助力。

    (1) 介紹相關的傷害評估調查研究報告指出,農事人員在長時間進行果物採摘作業後,有高

    達 61% 的人員因長時間的體力消耗,及大量重複性採摘動作,造成自身肌肉骨骼受傷。因此如何減少作業人員的體力負荷,或縮短工作過程中的持續時間,來降低農事人員在作

  • 7科儀新知 220期 108.9

    業後所造成的傷害將是一重要目標。所以,本研究透過開發一穿戴式採收省力輔具,來

    降低工作人員體力負荷,且為了驗證所開發輔具之省力功效,我們透過肌電訊號量測系統 (electromyography, EMG) 將省力的功效數值化,分別在符合醫學量測規範的實驗室,以及實地場域檸檬園中進行量測實驗,證實穿戴省力輔具後,可降低至少 10% 的肌肉活化指數 (% of maximal voluntary contraction, %MVC),進而減少上肢頻繁勞動者體力的消耗。  

    (2) 量測程序實驗的量測會透過下圖 1 中的肌電訊號量測系統,分析受測者穿戴輔具前、後,手臂來

    回擺動時的肌肉施力程度,再將每位受測者的肌肉活化指數進行比較。本研究透過將受測者

    先前已黏貼雙極銀電極貼片之手臂,放置於等速肌力測試訓練系統之阻力桿上,搭配肌電訊

    號感測系統,偵測受測者上臂所施加的外力,得到每一受測者的最大自主收縮,其量測方式

    如下圖 2 中所示。待受測者完成最大自主收縮量測後,依序進行實驗室採收模擬試驗,以及實地場域採摘試驗的量測。於兩者的實驗過程中,完整紀錄運動期間肌肉單元活動的電位變

    化,再以一維時間序列圖形的方式呈現。

    在實驗室採收模擬量測的實驗中,會讓每位受測者在穿戴與未穿戴輔具兩個不同的狀態

    下,進行手臂擺動的量測實驗。如下圖 3 所示,每次實驗週期均為 90 秒並重複 5 次,且完成實驗後皆給予受測者足夠的休息時間。如下表 1 所示,為實驗測試參數表。此外,為了能夠獲得更符合現實作業情況的實驗數據,本研究亦前往檸檬園進行實地採收測試。實驗程序

    及實驗變因皆與先前在實驗室所進行的採收模擬量測相同,惟將實驗時間比照當地農場採收

    人員的作業時間,由原先實驗室量測時間 90 秒延長至 600 秒。

    (3) 訊號處理與量測分析在肌電訊號的分析中,主要透 MyoResearch XP Basic Edition 1.07.01 軟體。如下圖 4、5

    所示,為兩位受測者分別於實驗室及檸檬園實地測試之結果。由分析後得知,無論是否穿戴

    輔具,前三角肌的肌肉活化指數,皆會隨著時間的增加而提升。且由圖 4 中兩不同受測者於

    圖 1. 肌電訊號量測實驗系統。圖 (a) 為肌電訊號量測儀;圖 (b) 為拋棄式雙極銀電極貼片;圖 (c) 為前三角肌位置示意圖;圖 (d) 為實驗架設圖。

    (a)

    (b)

    (c) (d)

  • 8 科儀新知 220期 108.9

    圖 3. 手臂擺動實驗之量測示意圖。

    圖 2. 最大自主收縮量測。

    手臂下擺 手臂上舉

    一次完整週期 (90 秒)

    100° 0° 100°

    表 1. 實驗測試參數表。

    穿戴輔具 循環數/時間 動作 休息時間

    實驗狀態一 無 5 次/ 90 秒 0 至 100 度來回 充分實驗狀態二 有 5 次/ 90 秒 0 至 100 度來回 充分

    實驗室量測的結果證實,穿戴輔具進行實驗,兩人最大可分別降低 28%MVC 及 19%MVC。從圖 5 中,在實地場域穿戴輔具量測後的結果顯示,兩人最大可分別降低 18%MVC 與 10%MVC。其中,實驗室量測結果與實地場域,所量測到的數值會存在落差,主要是由於在實地場域的量測過程中,受測者須面臨更加嚴厲的環境因素,包含不可控的氣溫以及濕度

    等環境變因,因此相較於在實驗室量測的結果,會有約 9-10%MVC 的差異存在。

  • 9科儀新知 220期 108.9

    圖 4. 實驗室採收模擬量測結果。圖 (a) 為 A 受測者於實驗室之量測結果;圖 (b) 為 B 受測者於實驗室之量測結果。

    2. 農業高光譜技術開發與品質檢測應用目前高光譜應用的領域已相當廣泛,亦可用於農業、礦業、物理以及監控領域的感測器

    及處理系統。由於高光譜成像儀其硬體成本偏高,因此要擴大至實際場域應用推動上會有一

    定的困難。故智慧農業計畫團隊藉由過去一年多找到杏鮑菇水傷及鮮度與蝴蝶蘭黃葉病之特

    徵波段,藉此利用這些特徵波段,直接進行手持式快速篩檢高光譜儀之軟硬體結合開發。除

    了可以降低實際場域 (生產端) 購買成本外,亦可針對不同場域屬性開發適合之檢測流程,提供未來智慧化服務之基礎建設。

    (1) 蝴蝶蘭黃葉病檢測蝴蝶蘭的部分,研究團隊每天持續拍攝健康蝴蝶蘭與植病蝴蝶蘭之高光譜影像,之後將

    拍攝的高光譜影像以 HFC 演算法計算之結果進行波段優先 (band prioritization) 與波段選擇 (band selection)。HFC 為利用統計量計算出波段選擇所需要選取的最佳波段數量。波段選擇為使用演算法進行分析,以各種指標圈選出特徵波段,其中以不同的波段優先為評分標準,

    如 Variance、Entropy 、Skewness、Kurtosis、ID 以及 SNR 為主,圖 6 為使用不同指標所得之結果,使用以上所提之演算方法,選出病徵波段,選出的病徵波段之後將可用於手持式農

    產品快篩檢測儀。經過團隊的研究,蝴蝶蘭黃葉病之特徵光譜由上述分析結果所選出的 6 個

    圖 5. 檸檬園實地場域量測結果圖。圖 (a) 為 A 受測者於實地場域之量測結果;圖 (b) 為 B 受測者於實地場域之量測結果。

    未穿戴輔具 A穿戴輔具 A

    未穿戴輔具 B穿戴輔具 B

    (a)

    (a)

    (b)

    (b)

    前期 後期中期

    時間 (秒)

    60

    50

    40

    30

    20

    10

    0

    %M

    VC

    前期 後期中期

    時間 (秒)

    60

    50

    40

    30

    20

    10

    0

    %M

    VC

    未穿戴輔具 A穿戴輔具 A

    未穿戴輔具 B穿戴輔具 B

    前期 後期中期

    時間 (秒)

    70

    60

    50

    40

    30

    20

    10

    0

    %M

    VC

    前期 後期中期

    時間 (秒)

    50

    40

    30

    20

    10

    0

    %M

    VC

  • 10 科儀新知 220期 108.9

    (e) (f)

    0.8

    0.7

    0.6

    0.5

    0.4

    0.3

    0.2

    0.1

    0

    0.8

    0.7

    0.6

    0.5

    0.4

    0.3

    0.2

    0.1

    0

    Refl

    ecta

    nce

    Refl

    ecta

    nce

    Wavelength (nm)Wavelength (nm)

    Band selection (SNR)Band selection (ID)

    300 400 500 600 700 800 900 1000300 400 500 600 700 800 900 1000

    最佳波段如圖 7 所示,最優先的為 826 nm 接著依序為 767 nm、943 nm、886 nm、401 nm、700 nm。以前二優先波段進行支援向量機 (support vector machine, SVM) 分類準確率如表 2 為 60.42%,前三優先波段進行分類準確率為 74.49%,用上六的波段進行分類準確率可達82.23%。

    圖 6. (a) Variance (b) Entropy (c) Skewness (d) Kurtosis (e) ID (f) SNR。

    (a) (b)

    0.8

    0.7

    0.6

    0.5

    0.4

    0.3

    0.2

    0.1

    0

    0.8

    0.7

    0.6

    0.5

    0.4

    0.3

    0.2

    0.1

    0

    Refl

    ecta

    nce

    Refl

    ecta

    nce

    Wavelength (nm)Wavelength (nm)

    Band selection (Entropy)Band selection (variance)

    300 400 500 600 700 800 900 1000300 400 500 600 700 800 900 1000

    (c) (d)

    0.8

    0.7

    0.6

    0.5

    0.4

    0.3

    0.2

    0.1

    0

    0.8

    0.7

    0.6

    0.5

    0.4

    0.3

    0.2

    0.1

    0

    Refl

    ecta

    nce

    Refl

    ecta

    nce

    Wavelength (nm)Wavelength (nm)

    Band selection (kurtosis)Band selection (skewness)

    300 400 500 600 700 800 900 1000300 400 500 600 700 800 900 1000

    HealthyDisease

    HealthyDisease

    HealthyDisease

    HealthyDisease

    HealthyDisease

    HealthyDisease

  • 11科儀新知 220期 108.9

    (2) 杏鮑菇新鮮度檢測杏鮑菇的部分,將 A、B、C 級杏鮑菇分成室溫與冷藏兩組,每周拍攝高光譜影像,且

    每 30 分鐘持續拍攝,以觀察退冰對實驗的影響。研究團隊以拍攝之高光譜影像用以訓練深度學習網路,放在室溫一個禮拜腐壞的杏鮑菇都做正樣本,並且將剛拿到即拍攝的新鮮杏鮑

    菇當作負樣本,其中正樣本有 23 萬個像素樣本,而負樣本有 22 萬個像素樣本。冷藏的資料都設定為測試樣本。實驗所使用的深度網路模型架構如圖 8 所示,神經網路架構總共有四層,第一層隱藏層有 15 個神經元第二層隱藏層有 10 個神經元,第三層隱藏層有 8 個神經元,最後一層為輸出層,並且每一層的激活函數都為線性轉換方程式。拍攝的樣本統計分佈

    如表 3 表 4 所示。最後使用 Grad-CAM 找出反應激烈的波段,使用 Grad-CAM 的目的在於找到哪些波段在深度神經網路裡的權重值較大。使用 Grad-CAM 所得之結果如圖 9 所示,

    圖 7. 最佳的 6 個特徵波段。

    表 2. 準確率。

    Select band Number 2 3 4 5 6Accuracy 60.42% 74.49% 77.71% 78.61% 82.23%

    圖 8. (a) 可見光 (b) 近紅外光深度網路模型架構。

    (a)

    (b)

    0.8

    0.7

    0.6

    0.5

    0.4

    0.3

    0.2

    0.1

    0

    Refl

    ecta

    nce

    Wavelength (nm)

    Band selection

    300 400 500 600 700 800 900 1000

    HealthyDisease

    Input

    Input

    Hidden 1

    Hidden 1

    Hidden 2

    Hidden 2

    Hidden 3

    Hidden 3

    Output

    Output

    Output

    Output

    230

    440

    W

    W

    W

    W

    W

    W

    W

    W

    b

    b

    b

    b

    b

    b

    b

    b

    15

    15

    10

    10

    8

    8

    1

    1

    1

    1

  • 12 科儀新知 220期 108.9

    其概念為從最後一層隱藏層依序利用 Chain rule 的方式做偏微分一直到第一層,即可得到每個波段在深度神經網路裡的權重值。其中可見光反應最強烈的波段為 633.419 nm,其次為 639.749 nm,第三為 628.36 nm,第四為 637.216 nm,第五為 583.055 nm,而近紅外光反應最強烈的波段為 1406.585 nm,其次為 1404.917 nm,第三為 1403.248 nm,第四為 1408.253 nm,第五為 1426.603 nm。

    表 3. 每隔一個禮拜持續拍攝樣本統計分布。

    可見光 近紅外光

    A

    B

    C

    3500

    3000

    2500

    2000

    1500

    1000

    500

    0-6 -4 -2 0 2 4

    DNN value

    Negative - Type A1

    Cou

    nt

    0-day7-day0min7-day30min7-day60min7-day90min7-day120min

    600

    500

    400

    300

    200

    100

    0-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

    DNN value

    Negative - Type C1

    Cou

    nt

    0-day7-day0min7-day30min7-day60min7-day90min7-day120min

    2500

    2000

    1500

    1000

    500

    0-6 -4 -2 0 2 4 6

    DNN value

    Negative - Type B1

    Cou

    nt

    0-day7-day0min7-day30min7-day60min7-day90min7-day120min

    2000

    1800

    1600

    1400

    1200

    1000

    800

    600

    400

    200

    0-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5

    DNN value

    Negative - Type B1

    Cou

    nt0-day7-day0min7-day30min7-day60min7-day90min7-day120min

    700

    600

    500

    400

    300

    200

    100

    0-6 -4 -2 0 2 4

    DNN value

    Negative - Type C1

    Cou

    nt

    0-day7-day0min7-day30min7-day60min7-day90min7-day120min

    3000

    2500

    2000

    1500

    1000

    500

    0-2 -1 0 1 2

    DNN value

    Negative - Type A1

    Cou

    nt

    0-day7-day0min7-day30min7-day60min7-day90min7-day120min

  • 13科儀新知 220期 108.9

    可見光 近紅外光

    A

    B

    C

    1800

    1600

    1400

    1200

    1000

    800

    600

    400

    200

    0-1.5 -1 -0.5 0 0.5 1 1.5 2

    DNN value

    Negative - Type B

    Cou

    nt

    7-day0min7-day30min7-day60min7-day90min7-day120min

    表 4. 冷藏一個禮拜後每隔30分鐘拍攝的樣本統計分布。

    (3) 手持式農產品快篩檢測儀為解決傳統的手持式光譜儀都只能對單點進行取樣的限制,研究團隊由上述實驗所得之

    特徵波段為依據,進行系統設計與電路設計與製作。完成以畫面進行取樣的手持式農產品快

    篩檢測儀,可隨目標物的不同更換內部裝置以達到客製化的需求。由整合測式可以發現待測

    物的細節與紋路都可以清楚的顯示在儀器上,如圖 10 所示,未來目標為軟體的開發與優化並持續對硬體進行升級。

    3000

    2500

    2000

    1500

    1000

    500

    0-1.5 -1 -0.5 0 0.5 1 1.5 2

    DNN value

    Negative - Type A

    Cou

    nt

    7-day0min7-day30min7-day60min7-day90min7-day120min

    900

    800

    700

    600

    500

    400

    300

    200

    100

    0-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5

    DNN value

    Negative - Type C

    Cou

    nt

    1000

    900

    800

    700

    600

    500

    400

    300

    200

    100

    0-1 -0.5 0 0.5 1

    DNN value

    Negative - Type C

    Cou

    nt

    7-day0min7-day30min7-day60min7-day90min7-day120min

    7-day0min7-day30min7-day60min7-day90min7-day120min

    7-day0min7-day30min7-day60min7-day90min7-day120min

    3000

    2500

    2000

    1500

    1000

    500

    0-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5

    DNN value

    Negative - Type A

    Cou

    nt7-day0min7-day30min7-day60min7-day90min7-day120min

    3000

    2500

    2000

    1500

    1000

    500

    0-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5

    DNN value

    Negative - Type A

    Cou

    nt

  • 14 科儀新知 220期 108.9

    3. 秋刀魚智能選別整排技術臺灣現今的漁業在自動化技術方面還在處於開發的階段,目前從捕獲到包裝完出貨往往

    需要經過許多複雜的人力且消耗許多的時間成本。每一條魚都需經過漁船上漁工依照經驗分

    級,分級的程度越精細,漁工在選別時的負擔也越大,時間及人力成本往往在這期間無形的

    增加許多。在漁業較發達的日本,已有多家業者設計出自動選別系統,此現象說明了魚類自

    動化選別的必要性。與傳統人力選別相比,自動選別機每小時可以處理 2-5 頓的漁獲量。漁獲上船後立即進行即時分級、排整、裝箱倉儲等作業,更可確保漁獲的品質及鮮度,因此

    建立完善的漁業自動化分級技術是刻不容緩的。

    (1) 自動化選別機我國秋刀魚漁獲量相當大,因此自動化選別機 (圖 11) 採用漸開式滾子的方式以應付較

    大的漁獲量,滾子以平行方式設置於秋刀魚自動選別機中,手輪的蝸桿蝸輪組與螺桿連接,

    當轉動手輪組時,螺桿會帶動滾子支撐座調整其間距,使滾子呈扇形漸開,藉由轉動手輪組

    圖 9. Grad-CAM 之結果。

    圖 10. 手持式農產品快篩檢測儀整合測試成像。

    1.5

    1

    0.5

    0

    -0.5

    -1

    -1.5

    -2450 500 550 600 650 700 750 800

    Wavelength

    The grad-CAM score of each bandS

    core

    score12

    10

    8

    6

    4

    2

    0

    -2

    -4

    -6

    -8900 1000 1100 1200 1300 1400 1500 1600 1700

    Wavelength

    The grad-CAM score of each band

    Sco

    re

    score

  • 15科儀新知 220期 108.9

    調整漸開角度來選別不同大小之秋刀魚。滾子下方可已具實際分級需要設置數個分級槽承接

    分級後的秋刀魚,一般預設為五個分級。

    與市面上其他選別機相比 (表 5),有效選別長度長達 2,700 mm。較多的滾子陣列,機體大 1.5 倍,故可選別的魚貨量較多,選別的級別也較為精確。(2) 自動化排整機自動化排整機 (圖 12) 裝設於漁船下層甲板,剛捕獲的秋刀魚經上層選別分級後,經導

    管將各級別的鮮魚送到下層自動化排整機。進入集魚槽的魚會被斜面輸送帶送至上方判別平

    臺,斜面輸送帶可確保每間隔都有一隻魚。送至上方平臺後魚體經機器視覺感測判別魚頭方

    向,正向魚體將沿輸送至滾輪機構,反向魚體則由撥片引導至另一側輸送帶。兩個輸送帶上

    圖 11. (a) 自動化選別機 CAD 圖 (b) 秋刀魚自動選別機之滾子 (c) 滾子漸開示意圖 (d) 自動選別系統安裝於漁船甲板上。

    廠牌型號

    尺寸 (mm) 選別物 原理 產量

    松阪製作所LC-300 790

    × 3460 × 1960 香魚 以秤重方式來判斷魚的大小區間

    7,200 尾 / 時

    二光テクノFMB-2070 2300

    × 1380 × 1740 竹莢魚秋刀魚

    以兩滾輪間隙來選別魚類 8,500 尾 / 時

    藤田鐵工所小型選別機

    2950 × 2140 × 1900 沙丁魚 以兩滾輪間隙來選別魚類 10,200 尾 / 時

    本文介紹之選別機 4000 × 2000 × 2000 秋刀魚 多組滾輪間隙承扇型,越大的魚體會滑行至越後方的分級槽

    12,000 尾 / 時

    表 5. 選別機比較。

    (a)

    (c) (d)

    (b)

  • 16 科儀新知 220期 108.9

    的魚體方向相反,可透過滾輪機構送至下方平臺進行同向排列且反向堆疊之秋刀魚漁獲裝

    箱。表 6 為一網次漁獲 (20 噸) 排整作業優勢比較。臺灣遠洋秋刀魚漁船已有漁船上自動化系統的需求,若以傳統人工方式進行作業,除了

    控制每一網次之漁獲數量,更應增加漁船之漁獲處理速度,保持魚體最佳鮮度。人工篩選、

    排整、裝箱這種高工時且需判斷的重複工作,加入自動化設備將會大大提高作業效率,減少

    人為的疏失,而由於漁船艙間空間有限,體積將是後續機構改良的重點。

    工作單位 作業人數 工作時長 處理速度

    遠洋資深漁工 20-30 8 hr 2.5 噸/小時自動化排整機 5-10 4-5 hr 3-5 噸/小時

    表 6. 一網次漁獲 (20 噸) 排整作業優勢比較。

    圖 12. (a) 自動化排整 3D 圖 (b) 集魚槽及分量輸送帶 (c) 上平臺輸送帶及其配置圖 (d) 魚槽滾輪機構及其透視原理圖。

    (a)

    (c)

    (b)

    (d)

    秋刀魚輸送方向

    視覺感測器魚槽出口

    魚槽入口

    撥片

    四、結論

    臺灣傳統農業為勞力密集產業,智慧農業計畫推動導入智慧農業機具、作業輔具,可改

    善臺灣農業作業環境與管理,帶來省工與增加效率。例如在摘採芒果和木瓜,需要長時間高

    舉手臂的疲勞與傷害,若搭配穿戴式輔具可減緩體力消耗與增加生產效率。過往許多農產品

    的品質檢測需仰賴人工方式檢測,費力耗時與缺乏客觀依據,藉由農產品品質檢測技術與智

    能選別整排技術等,可以建立不同作物之品質標準,簡化後續處理工作人力與時間。綜合以

    上所述,除因應人力短缺及高齡化的課題,帶來的是更精緻化、高質化的農業生產。

  • 17科儀新知 220期 108.9

    過去的農業,把人當機器用,而現在,則要把機器當人用。農業與科技的結合,正在發

    生作用,智慧農業計畫帶來的改變不僅於此,更要扭轉農業經營觀念與模式的變化。小農為

    主的臺灣農業,將可以團體戰的概念,透過智農聯盟集體生產與管理的方式,擴大經營規模

    與增加管理效率。如農機代耕服務或農事服務團之概念,利用軟硬體進行集體生產控管、整

    合機具與人力資源、區域性操作,提高整體生產品質,創造更高產值。最終目標為希望未來

    農業可不必看天吃飯,並創造安全又便利的從農環境,吸引更多年輕人力投入,使臺灣農業

    邁向「效率」、「安全」、「低風險」的新農業時代。

    參考文獻

    1. A. L. Hof, Human Movement Science, 3 (1), 119 (1984).2. D. R. J. Gill, R. H. Cofield and C. Rowland, Journal of Shoulder and Elbow Surgery, 13 (5), 532 (2004).3. H. J. Hermens, B. Freriks, R. Merletti, D. Stegeman, J. Blok, G. Rau, C. Disselhorst-Klug and G. Hägg, Roessingh

    research and development, 8 (2), 13 (1999).4. J. H. T. Viitasalo and P. V. Komi, European Journal of Applied Physiology and Occupational Physiology, 37 (2), 111

    (1977).5. J. M. Drouin, T. C. Valovich-mcLeod, S. J. Shultz, B. M. Gansneder and D. H. Perrin, European Journal of Applied

    Physiology, 91 (1), 22 (2004).6. K. Kiguchi and Y. Hayashi, IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 42 (4), 1064

    (2012).7. M. B. I. Raez, M. S. Hussain and F. Mohd-Yasin, Biol Proced Online, 8, 11 (2006).8. O. Alizadehkhaiyat, A. C. Fisher, G. J. Kemp, K. Vishwanathan and S. P. Frostick, Journal of Orthopaedic Research, 25

    (12), 1651 (2007).9. P. Konrad, The abc of emg. (2005).10. S. Day, Important factors in surface EMG measurement. (2002).11. W. S. Marras, International Journal of Industrial Ergonomics, 6 (1), 89 (1990).12. Y. G. Ng, M. T. Shamsul Bahri, M. Y. Irwan Syah, I. Mori and Z. Hashim, Journal of Occupational Health, 55 (5), 405

    (2013).13. 二光テク, 魚自動分揀機, 取自: http://www.nicotech.net/page4.14. 工藤東, 魚体選別機, 特開2003-164254 (2003).15. 行政院農業委員會統計資料, 取自: https://agrstat.coa.gov.tw/sdweb/public/indicator/Indicator.aspx (2018).16. 松坂製造所有限會社, 活魚自動選別機, 取自: http://www.hayashitrout.com.17. 許文富, 台灣臺灣漁產運銷問題之檢討, 海大漁推, 14 (2003).18. 陳駿季, 楊智凱, 推動智慧農業-翻轉臺灣農業, 國土及公共治理季刊, 5 (4) ,104-111 (2017).19. 智慧農業網站, 秋刀魚智能選別整排技術開發, 取自: http://www.intelligentagri.com.tw/Home/Article/88 (2018).20. 楊智凱, 智慧農業專案推動小組, 智慧農業發展現況, 菇類智慧化生產與農場經營管理研討會專刊, 21 (2019).

    作者簡介

    楊智凱先生為國立臺灣大學生物產業機電工程學研究所博士,現為行政院農業委員會農業試驗所

    農業工程組研究員兼組長。

    Chih-Kai Yang received his Ph.D. in Bio-Industrial Mechatronics Engineering from National Taiwan

    University. He is currently a research fellow and division director in Agricultural Engineering Division at

    Taiwan Agricultural Research Institute, Council of Agriculture, Executive Yuan.

    葉有順先生為國立中興大學生物產業管理研究所碩士,現為智慧農業專案推動小組專案經理。

    You-Shun Yeh received his M.S. in Bio-industry Management from National Chung Hsing University. He

    is currently a project manager in Smart Agriculture program office.

  • 18 科儀新知 220期 108.9

    王乙涵小姐為世新大學資訊傳播學研究所碩士,現為智慧農業專案推動小組專案經理。

    Yi-Han Wang received her M.S. in Department of Information and Communications from Shih Hsin

    University. She is currently a project manager in Smart Agriculture program office.

    張祥傑先生為國立成功大學機械研究所博士,現為國立雲林科技大學機械系副教授。

    Shyang-Jye Chang received his Ph.D. in Mechanical Engineering from National Cheng Kung University.

    He is currently an associate professor in Department of Mechanical Engineering at National Yunlin

    University of Science and Technology.

    陳偉豪先生現為國立雲林科技大學機械工程所碩士生。

    Wei-Hao Chen is currently a M.S. student in Department of Mechanical Engineering at National Yunlin

    University of Science and Technology.

    方理先生現為國立雲林科技大學機械工程所碩士生。

    Li Fang is currently a M.S. student in Department of Mechanical Engineering at National Yunlin

    University of Science and Technology.

    蘇建升先生現為國立雲林科技大學機械工程所碩士生。

    Chien-Sheng Su is currently a M.S. student in Department of Mechanical Engineering at National Yunlin

    University of Science and Technology.

    林韋至先生為英國劍橋大學工程科學博士,現為國立中山大學機械與機電工程系助理教授。

    Wei-Chih Lin received his Ph.D. in Engineering from University of Cambridge. He is currently an

    assistant professor in Department of Mechanical and Electro-Mechanical Engineering at National Sun Yat-

    sen University.

    吳耿睿先生現為國立中山大學機械與機電工程所碩士生。

    Geng-Ruei Wu is currently a M.S. student in Department of Mechanical and Electro-Mechanical

    Engineering at National Sun Yat-sen University.

    蕭崇宇先生現為國立中山大學機械與機電工程所碩士生。

    Chung-Yu Hsiao is currently a M.S. student in Department of Mechanical and Electro-Mechanical

    Engineering at National Sun Yat-sen University.

    王獻民先生現為國立中山大學機械與機電工程所博士生。

    Xian-Min Wang is currently a Ph.D. student in Department of Mechanical and Electro-Mechanical

    Engineering at National Sun Yat-sen University.

    歐陽彥杰先生為美國曼菲斯大學電機工程學博士,現為國立中興大學電機工程學系教授。

    Yen-Chieh Ouyang received his Ph.D. in Electrical Engineering from University of Memphis, USA. He is

    currently a professor in Department of Electrical Engineering at National Chung Hsing University.

  • 19科儀新知 220期 108.9

    吳昭正先生為美國馬里蘭大學巴爾的摩分校電機工程學博士,現為國立台北科技大學電機工程系

    副教授。

    Chao-Cheng Wu received his Ph.D. in Electrical Engineering from University of Maryland, Baltimore

    County. He is currently an associate professor in Department of Electrical Engineering at National Taipei

    University of Technology.

    歐陽盟先生為國立交通大學光電工程學博士,現為國立交通大學電機工程學系教授。

    Mang Ou-Yang received his Ph.D. in Institute of Electro-Optical Engineering from National Chiao Tung

    University. He is currently a professor in Department of Electrical and Computer Engineering at National

    Chiao Tung University.

    劉滄棽小姐為國立中興大學土壤環境科學博士,現為行政院農業委員會農業試驗所農業化學組研

    究員。

    Tsang-Sen Liu received her Ph.D. in Soil and Environmental Sciences from National Chung Hsing

    University. She is currently a research fellow at Taiwan Agricultural Research Institute, Council of

    Agriculture, Executive Yuan.

    張建禕先生為美國馬里蘭大學學院市分校電機工程學博士,現為美國馬里蘭大學巴爾的摩分校電

    機工程學系教授。

    Chein-I Chang received his Ph.D. in Electrical Engineering from University of Maryland, College Park.

    He is currently a professor in Department of Computer Science and Electrical Engineering at University of

    Maryland, Baltimore County.

  • 20 科儀新知 220期 108.9

    無人機於精準農業之應用Applications of Unmanned Aerial Vehicles to Precision Agriculture

    楊明德、許鈺群、曾信鴻、曾偉誠Ming-Der Yang, Yu-Chun Hsu, Hsin-Hung Tseng, Wei-Cheng Tseng

    為實踐精準農業,空中的無人機成為重要角色。無人機從軍事需求發展至商業、民生需

    求。固定翼、直升機與多軸機型為主軸發展,搭載多元感測器,如熱像儀、多光譜儀等精密

    感測器,衍伸出多面向精準農業應用。本文介紹以無人機應於精準農業之機制與案例,尤其

    以台灣重要糧食作物水稻為範例,基於影像處理技術發展分析技術,用以水稻植株計數供秧

    補秧評估、倒伏分析供災損評估、建立雲端平台彙整群眾力量,提升農業調查之效率。本文

    亦分享國內外多項無人機農業發展案例,包含農地管理、農噴施肥、蟲害與復育等應用。未

    來的精準農業中,無人機於農業資訊蒐集將佔有不可取代的重要地位。

    To practice precision agriculture, unmanned aerial vehicles (UAVs) play an important role. UAVs have been developed for various applications, such as military, business and civil demands. Fixed-wing, helicopter and multirotor are three major types of UAVs. UAVs are equipped with multi-sensors, such as thermal, multi-spectral and specific sensors, for precision agriculture applications. This paper introduces the mechanism and demonstration of UAV in precision agriculture applications, especially rice which is the most important food crops in Taiwan. The UAV analysis technology based on image processing technology has been applied to seedling counting for replanting assessment, rice lodging analysis for compensation assessment; and cloud computing platform to integrate the power of crowdsourcing to improve the efficiency of agricultural investigation. This paper also introduces many domestic and international cases using UAVs in agricultural development, including farm management, chemical spraying, fertilization, and plant rehabilitation. In future, UAVs will play an irreplaceable role in precision agriculture to collect agriculture information.

    一、無人機發展

    無人飛行載具 (unmanned aerial vehicle, UAV) 自 1970 年代由美國國防部發展使用於軍事用途,因不需要飛行員於駕駛艙操作,降低許多任務風險。早期飛手於地面以目視與手動方

    式操作 UAV。今日,UAV 多搭載微型飛行控制電腦,整合全球定位系統 (global positioning system, GPS)、慣性測量單元 (inertial measurement unit, IMU) 和地面控制站等,透過無線通訊系統進行半自動或全自動導航飛行。UAV 能產製之影像 (圖 1),較衛星影像和航空攝影擁有更高之地面解析度 (ground sampling distance, GSD)。

    智慧光電

    農業機器人專題

  • 21科儀新知 220期 108.9

    圖 1. 遙測影像與飛行載具之地面解析度比較(14)。

    二、無人機種類

    近年民用 UAV 運用領域越來越廣,商業應用效益也愈來愈高。其應用領域如噴灑農藥、運送貨物、災區救援與空中拍攝⋯等。為符合各多樣空中飛行條件,UAV 可略分為三類:固定翼 (fixed-wing)、無人直升機 (helicopter drone) 與多軸飛行器 (multirotor)。現有機型比較如表 1。

    表 1. 主要 UAV 種類比較。

    UAV 種類 固定翼 直升機 多旋翼型號 eBee Plus(20) 經緯神農(18) DJI M600(17)

    外觀

    續航力 59 分鐘 50 分鐘 40 分鐘抗風程度 6 級風 5 級風 (10m/s) 5 級風 (8 m/s)起降方式 手丟起飛 垂直起降 垂直起降

    飛行方法 航線飛行 可定點旋停 可定點旋停

    重量 1.1 公斤 9 公斤 9.6 公斤

  • 22 科儀新知 220期 108.9

    傳統型固定翼飛行是基於 Coandă 提出的康達效應(3) (Coandă effect),當流體遇到曲面物體沿著物體曲面流動時,流體流向被改變產生向心力與反作用力。機翼設計為特殊曲面,

    以特定的角度進行飛行或著陸。固定翼無人機不能懸停,無法垂直起降,需要較長的跑道或

    給予初速度起飛。整合螺旋翼之固定翼可克服無法垂直起降的問題,但其改變航向所需半徑

    仍較大。其優點為續航力長、航速快且節能效率高,適合用於空曠之較大範圍拍攝。

    無人直升機利用機翼與空氣之間相對運動而產生升力,但同時也會因為反作用力造成機

    身旋轉,所以單旋翼直升機會在機尾裝上尾槳,抵銷力矩。無人直升機航速較慢於固定翼無

    人機,體積較固定翼與多軸飛行器大。無人直升機可滯空懸停並善垂直起降,常應用於定點

    與中範圍的影像紀錄。

    多軸飛行器飛行原理似無人直升機,以螺旋槳為基礎,相同的旋轉的方向會成對出現以

    抵銷扭矩。如四軸為利用兩片順槳與兩片逆槳旋轉提供升力。通常軸數越多,抗風能力越

    佳,但平衡設計越複雜。其飛行穩定性高、可滯空懸停並善垂直起降,但續航力低且節能效

    率差。常用於定點與小範圍影像紀錄。

    三、無人機與感測器

    商用無人機商品多已內建可見光波段之高解析度鏡頭,在娛樂與拍攝使用皆有良好的規

    格與減震功效,滿足於消費型短片、取景與紀錄製作等需求。農業應用上,為能取得更豐富

    有效資訊而實現精準農業 (precision agriculture) 之情境,整合搭載多元感測器於無人機上執行飛行任務。常見之無人機搭載感測器包含對溫度變化反應程度強烈的熱像儀,植被葉綠素

    反射強烈波段的多光譜儀,涵蓋更廣與更窄之頻寬 (band width) 的高光譜儀。

    1. 熱像儀紅外線熱影像 (thermal infrared image) 可藉由目標物之紅外線反應呈現物體表面溫度,

    於生物領域監測中有利於了解動植物之生理狀態。但高影像解析度之熱像儀成本昂貴,多使

    用低於光學影像解析度之熱像儀整合於無人機使用,故熱像儀影像內容判釋需要更高影像處

    理技術門檻。

    本文介紹之感測器包含可見光影像鏡頭與紅外線熱影像鏡頭的 DJI Zenmuse XT2 (圖 2),其熱像規格為表 2 所示。於精準農業應用上能反映植物生理變化,於中興大學北溝農業試驗場之試驗田之實驗影像,圖 3 為 Zenmuse XT2 拍攝之可見光影像,圖 4 為拍攝之紅外

    圖 2. DJI Zenmuse XT 2(17)。

  • 23科儀新知 220期 108.9

    表 2. Zenmuse XT2 規格(17)。

    項目 ZENMUSE XT2 熱像儀

    FPA / 數位視訊顯示格式640 × 512336 × 256

    數字變焦640 × 512: 1x, 2x, 4x, 8x

    336 × 256: 1x, 2x, 4x像元間距 17 mm波長範圍 7.5-13.5 mm最高幀率 30 Hz

    場景範圍 (高增益)640 × 512: -25° 至 135 °C336 × 256: -25° 至 100 °C

    場景範圍 (低增益) -40° 至 550 °C存儲 MicroSD 卡照片格式 JPEG, TIFF, R-JPEG影片格式 8 bit: MOV, MP4 14 bit: TIFF 序列

    線熱影像,可觀察出影像中各點位之溫度表現差異。圖 5 為可見光建立密點雲,將熱影像套疊於正射鑲嵌影像中,可觀察水稻田區之溫度變化。

    2. 多光譜儀為了達成精準農業管理,需能掌握植被生理狀況才能做對應決策。植物中葉綠素含量變

    化與時間、空間和生理狀態有關係,光譜中特定波段對於葉綠素反應特別敏感。針對此特性

    發展之感測器,涵蓋可見光與紅外光波段之多光譜儀,可搭載於 UAV 使用 (圖 6)。美國材料試驗學會 (american society for testing and material, ASTM) 定義近紅外光波段

    (near infrared) 為波長在 780 nm 至 2526 nm 範圍內的電磁波,習慣上將近紅外光波段劃分於 780 nm 至 1100 nm。紅邊 (red edge) 波段包含 680 nm 到 730 nm 波段,葉綠素對於此波段電磁波反射率可從 5% 快速變化為 50%(8)。從可見光至近紅外光,多光譜儀拍出的各波段影像如圖 7,左上為 RGB 波段套疊影像,為人眼熟悉之可見光影像,其他為各波段反射值獨立

    圖 3. Zenmuse XT2 可見光影像(7)。 圖 4. Zenmuse XT2 紅外線熱影像(7)。

  • 24 科儀新知 220期 108.9

    呈現之灰階影像。故多光譜儀多整合此波段感測器於一體,能獲得植物對於各波段之反應,

    亦能進行廣泛使用於遙測領域之植生指標 (vegetation index) 評估,強化植物生理表現差異。本文介紹之多光譜儀為 MicaSense 之 RedEdge-M (圖 8),整合於 DJI Matrice 200 四旋翼

    無人機,包含光譜波段為藍光 (475 nm)、綠光 (560 nm)、紅光 (670 nm)、紅邊 (720 nm) 與近紅外光 (840 nm) 等波段,其規格如表 3。圖 7 即為多光譜儀 RedEdge-M 拍攝之原始影像,RedEdge-M 成像器輸出的圖像中每個像素的輸出值表示特定波長光線的反射率,其反射率轉換為灰階影像呈現。

    圖 5. 三維密點雲與觀測溫度紅外線熱影像正射鑲嵌圖(7)。

    圖 6. 搭載多光譜儀與 UAV 於田間監測 (攝於霧峰 2019/03)。

    三維密點雲

    熱影像正射鑲嵌圖

    36

    34

    32

    30

    28

    26

    24

    22

    20°C

  • 25科儀新知 220期 108.9

    圖 7. 左上至右下依序為 RGB、R、G、B、Red Edge 與 NIR 反射值灰階影像 (攝於霧峰2019/05)。

    6.3 cm

    4.6 cm

    9.4 cm

    3.3 cm 4.13 cm1.47 cm

    6.3 cm

    5.16 cm

    Imager 2(Green)

    Imager 1(Blue)

    Imager 5(Red edge)

    Imager 4(NIR)

    Imager 3(Red)

    RedEdge-M

    圖 8. RedEdge-M 相機尺寸規格圖(19)。

  • 26 科儀新知 220期 108.9

    表 3. RedEdge-M 規格表(19)。

    項目 RedEdge-M重量 173 g尺寸 9.4 cm × 6.3 cm × 4.6 cm光譜帶 藍光、綠光、紅光、Red Edge、NIR

    RGB 顏色輸出 全局快門,與所有頻段對齊

    地面採樣距離 (GSD)20 米處每像素 8 厘米(每頻帶) (~400 英尺)

    捕捉速率:每秒捕捉 1 次 (所有波段),12 位 RAW

    接口串行,10/100/1000 乙太網路,可移動 Wi-Fi,外部觸發器,

    GPS

    視野 47.2° HFOV

    觸發選項定時器模式,重疊模式,外部觸發模式 (PWM,GPIO,串行

    和以太網選項),手動捕捉模式

    3. 高光譜儀高光譜影像含 (hyperspectral imaging) 有數十至數百個較窄的波段資料較細緻且豐富的

    光譜資訊,為高分辨率光譜影像。可提供比多光譜影像更細微且連續的資訊,適合用於辨識

    的較細緻的地物。高光譜儀整合不易,現有整合設備如 Rikola Senop 高光譜儀 (圖 9),其光譜範圍為 500 nm 至 900 nm,Image Sensor 採 CMOS 像元大小為 5.5 mm × 5.5 mm,波段數為 380 個波段。近年來,許多國內外學者針對高光譜影像的特性,提出了許多光譜分析及影像分類的方法,並衍生出眾多高光譜影像的應用,如水分敏感波段分析、病蟲害分析與辨識森

    林樹種等。如 Uto 等人(9) 在 UAV 裝載高光譜感測器以偵測稻田的葉綠素含量,再以此為評估指數來推測稻米的數量,並以地真資料來評估此份資訊的可信度。在不同施肥量之試驗稻

    田,包含 0, 45 kg/ha, 90 kg/ha, 120 kg/ha 與 180 kg/ha 氮肥試驗,從高光譜影像分析成果 (圖 10) 可觀察出,不同含氮量之水稻田於高光譜各波段有不同的表現。可應用於透過UAV 高光譜影像判斷田間施肥是否不足或過量。

    圖 9. Rikola Senop(16)。 圖 10. 本文於不同施肥量水稻田使用高光譜儀空拍數據。

    N000N045N090N120N180

    400 500 600 700 800 900 1000Wovelenath

    refle

    ctan

    ce %

    30

    20

    10

    0

  • 27科儀新知 220期 108.9

    四、農業研究與應用

    農業受自然環境與氣候影響極大之產業,發展上正面臨著農耕人力不足與農耕經驗流

    失。台灣大多水稻田破碎零散,無法大面積統一耕作。其生長過程需要密集勞力投入,並以

    經驗為基礎栽培。農作物於不同時期其關鍵決策點不同,所需技術亦不同。引入無人機於精

    準農業正是當務之急,以下介紹無人機農業相關研究與應用。

    1. 植生指標無人機搭載多光譜儀完成飛行任務後,獲得各波段反射率灰階影像包含藍光、綠光、紅

    光、紅邊與近紅外光。為能強化植株於影像中之特徵,多使用植物反射較強烈之波段進行分

    析。為能增強影像特徵,透過植生指標光譜資訊以評估植物生長狀況。植生指標為多無人機

    農業影像預處理之步驟,以利連結植物生理性狀變化之關聯,常用植生指標 VI (vegetation index) 反應植物生長狀況。

    (1) NDVI (normalization difference vegetation index)常態化差異植生指標 (Rouse et al., 1973) NDVI 可反映出植物在光譜上對於紅光及近紅

    外光的差異),以評估植物生長狀態,目前已廣泛使用於農業作物種植、以及衛星及航照圖的植被分析判斷。本文建立之空拍 NDVI 影像分析如圖 11,水稻田區空拍影像與 NDVI 計算過的植生指標數值影像,能夠清楚分辨植被區域與非植被區域。

    NIR REDNDVINIR RED

    -=

    +

    式中 NIR 為近紅外光波段;RED:為紅光波段,NDVI 值域介於 -1 至 1 之間,指數越大表示植生愈佳。

    (2) VARI (vegetation adjusted reflectance index)VARI 可用於僅有 RGB 波段之行拍影像分析,以量測植披與土壤的反射率。Gitelson 等

    人(10) 曾分析小麥及玉米之 VARI,其反應較 NDVI 敏感。本文產製之 VARI 影像如圖 12。

    圖 11. 無人機空拍水稻田農地影像,左為 RGB 套疊影像,右為 NDVI 影像。

    ValueHigh : 1

    Low : -1

  • 28 科儀新知 220期 108.9

    G RVARIG R B

    -=

    + -

    式中,R 為紅光波段,G 為綠光波段,B 為藍光波段,數值愈高表示植生量愈高。

    2. 植株定位為了將栽培管理落實至每一農作植株上,植株定位是落實精準農業的重要步驟。水稻為

    臺灣主要糧食作物,在秧苗期,室內栽種可以透過固定監測儀器監測生長過程。然而,台灣

    絕大部分水稻栽種於戶外,若要落實單株農作物之精準栽培管理,需依靠影像辨識技術與定

    位系統協作,才能得知每一農作物的位置與生長狀況,進而派遣具有定位功能的農機執行栽

    培管理,亦能輔助決策補秧與否。尤其對於大面積栽培的田間,UAV 就是重要的監測農作物生長狀態的工具。UAV拍攝田間影像後,透過高程特徵萃取、光譜影像分類等流程 (如圖 13),能夠強化影像中秧苗植株特徵以為種植株定位。高程特徵萃取是基於影像特徵匹配,找尋重疊區域影像共同特徵點,以幾何關係計算共

    同特徵點點位三維坐標,獲得區域三維資訊。光譜影像分類如圖 14 之 (a)、(b) 中,將影像二值化後,透過形態學 (morphology) 操作標示植株位置,並標示向量化之形狀中心,作為植株之定位點。透過高程特徵萃取與光譜影像分類可確認植株位置,植株定位成果如圖 15。

    圖 12. 無人機空拍水稻田農地影像,左為 RGB 波段,右為 VARI 影像。

    圖 13. 植株定位演算流程(11)。

    ValueHigh : 1

    Low : -1

    高程特徵萃取

    光譜影像分類

    植株定位

  • 29科儀新知 220期 108.9

    水稻插秧後,容易受到育苗品質、水份管理與環境因素影響,造成秧苗死亡或倒伏,形

    成缺株的情形。缺株的分佈為秧苗補植的決策關鍵,若缺株位置零碎,密度較低,可考慮不

    用補秧,給予其他秧苗更大空間自然生長;若缺株位置密集,一區域光禿的情形,則須於秧

    苗期進行補秧,以免產量下降。小區域補秧可由少量人力完成,但大區域的田間管理,掌握

    秧苗倒伏情形為重要決策關鍵,影響著是否要補秧、人力需求、補秧排程⋯等。除水稻外,

    此技術亦能廣泛應用於其他農作物上 (圖 16)。在人口老化與人力短缺的現今,扮演精準農業的重要角色。

    3. 災損分析每年第一期稻作約於 2 月至 6 月間,水稻齊穗後進入乳熟期、黃熟期多逢雨季,莖稈提

    供的支撐力漸弱,加上栽培方式、施肥管理與病蟲害等因素影響,可能發生倒伏 (圖 17)。水稻發生倒伏時,造成收割困難,且倒伏稻穗易發芽,一旦發芽即不能食用,僅能以低價出

    售。倒伏災害發生後,須經過勘災才能夠評估災損情形,政府將給予對應損失補償。原則

    上,同一地籍區域範圍內 20% 以上發生倒伏情形可判定獲得補償。

    圖 14. UAV 影像處理強化植株特徵(11)。

    圖 15. 紅點為演算成果之植株標定(11)。

    (a) (b)

  • 30 科儀新知 220期 108.9

    圖 16. UAV 影像植株定位技術於多農作物影像實驗(11)。

    圖 17. 倒伏之水稻田 (攝於霧峰,2019)。

    空拍影像

    水稻秧苗

    西瓜果實

    火龍果樹

    香蕉樹

    高麗菜

    定位影像

    準確率 98.56%

    準確率 88.57%

    準確率 96.30%

    準確率 94.68%

    準確率 84.67%

  • 31科儀新知 220期 108.9

    農業災害發生後,短時間大量田間災損發生,現今評估方式主要為人力勘災,人力不足

    情況下,常有判定流程拉長至 30 天。勘災人員到災害發生現場以目視方式判定災損比例,若能導入科學工具,將能有效提升效率與降低爭議。UAV 可協助農作物之災損判釋,依勘災情境可搭載不同型式感測器拍攝影像,配合影像分析技術完成。根據農作物與各種地物之

    光譜反射率相異,以 UAV 影像所產製之數值地表模型 (digital surface model, DSM),配合紋理分析與影像特徵機率計算等分析,提供受損農地面積精確計算之科學證據,全面且有效率

    地協助評估農業災損且加速救災進程。108 年 5 月 21 日梅雨季鋒面造成臺灣多處出現嚴重積淹水,圖 18 為水稻田現場拍攝之影像,透過影像分析,能有效判斷倒伏程度 (圖 19)、分佈與面積 (圖 20),著實有效提升勘災效率。

    圖 18. 水稻災損農田空拍影像(12) (攝於霧峰2019/05)。

    圖 19. 影像處理後產製 DSM(12)。

    0 5 10 20 30 40

    0 5 10 20 30 40

    Meters

    Meters

    N

    N

  • 32 科儀新知 220期 108.9

    UAV 輔助農業災損調查,能降低需動員之人力與時間。有別於人力單以點狀之雙眼觀測,UAV 從空中以面狀觀點進行觀測,能有效減少人員於地面判斷造成的歧見與爭議。針對目標區域進行科學調查,根據農試所評估,UAV 災損航拍能完成 300-1000 公頃 (單機/天) 的農田範圍,並有效降低成本。成本評估如表 4,人工現地勘災所需約 35 元/坵塊,UAV 小組 1 組為 1-2人。目前農委會積極提出以 UAV 輔助勘災之法規,108年度已於部分縣市試施行,此勘災方式將有效提供精準評估成果,有助於農業保險發展,讓農民獲得更穩

    定之保障。

    4. 雲端管理與分析天然災害發生時間短而急促,若能夠將災損分析技術雲端化,任何有 UAV 的民眾皆能

    合法提供 UAV 拍攝影像協助災損調查,就能以群眾力量輔助政府快速達成農業損失勘查。為達此目標,建立一雲端平台是必須的前提,將災損分析流程部署於網站後台,僅需上傳災

    圖 20. 災損分析成果 (紅色區域為倒伏區域,佔此坵塊 59.1%)(12)。

    表 4. 人力勘查與無人機勘查成本比較(12)。

    類別項目

    小面積50-100 公頃

    小區域-村里500-1,000 公頃

    中尺度-鄉鎮3-5 千公頃

    大範圍-縣市5-10 萬公頃

    坵塊 (千) 0.1-0.2 1-2 6-10 100-200

    人工現地勘災

    經費 (仟元) 3.5-7 35-70 200-350 3,500-7,000時間 (天) 3-7 10-20 20-30 15-30作業組數 1 組人 3 組人 10 組人 20 組人

    航拍災損判釋

    經費 (仟元) 30-50 50-100 200-300 2,000-7,000時間 (天) 3 天 5-7天 10-14 10-14作業組數 1 組人 1 組人 1 組人 2-3 組人

    0 5 10 20 30 40Meters N

  • 33科儀新知 220期 108.9

    圖 21. 雲端平台災損分析功能展示。

    損區域合法航拍影像,即可獲得分析成果 (圖 21)。平台除具有倒伏分析功能外,UAV 航拍原始影像上傳後將會儲存於 UAV 影像資料庫,保存影像以做後續影像鑲嵌、植株定位 (圖 22)、植生指標 (圖 23)、三維點雲模型等服務。影像平台服務中,使用者上傳之 UAV 航拍影像若符合系統需求,則會產出對應之分析成果供使用者參考與做更進一步研究,其中系統包

    含鑲嵌影像成果、植生指標、紋理影像分析與影像建模加值服務。期許 UAV 能提供大量有效農業管理資訊,以科技力量結合民眾之力,協助台灣精準農業發展。

    五、國內外無人機於農業應用案例

    無人機於農業應用研發國內外亦有相關應用案例。在氣候模式迅速變遷情況下,對高效

    農業監測的需求將更加急迫。以下介紹農用無人機多種用途,包括農作物管理與栽培分析、

    農噴和施肥、蟲害防治與復育⋯等案例。

    1. 農作物管理與栽培分析無人機可用來獲得農作物生長週期之相關數據,透過影像建模方法取得農地 3D 地圖,

    觀測影響作物之土質、養肥分、水分等生長因子,掌握管理關鍵。高頻率從空中監測灌溉問

    題,如接收過少或過量水分之區域,可使其更好利用水資源管理,達節水與高效率栽培之目

  • 34 科儀新知 220期 108.9

    圖 23. 雲端平台直升指標分析功能展示。

    圖 22. 雲端平台植株定位與計數功能展示。

  • 35科儀新知 220期 108.9

    圖 24. 以無人機搭載多光譜感測器收集田間影像資訊 (攝於農試所 2018/12)。

    標。無人機可搭配多元感測器,如德克薩斯州大學奧斯汀分校 Marwan Madi 研發出可根據植物反射光來測量植物健康狀況的無人機,根據拍攝之影像判斷如何以最小水量灌溉而不損

    植物健康,獲得學校景觀部門認同並採用。近年本文以高頻率監測水稻田間變化,以搭載多

    光譜影像、熱影像等多元感測器 (圖 24) 之無人機結合影像處理技術,搭配現地實驗採樣,推估田間生理狀況。

    2. 農噴和施肥無人機可配備大型儲槽,裝設肥料、除草劑或殺蟲劑,以便使用無人機進行作物噴灑,

    不僅對人體更安全,亦更具成本效益,因其能完全自主按時程及路線編排運行。對於大面

    積種植區域,無人機噴灑可在更短時間內完成,減少花費及人力成本。如墨西哥無人機公

    司 AGRODRONE 以改裝後之無人機幫助農民施肥和殺蟲,一架無人機可在 1 天內完成 20 畝農田的施肥和殺蟲工作,並降低平均作物損失率 (由 20-28% 減至 15%),大幅提高生產力。國內亦有廠商發展農噴無人機 (圖 25)。另外,茶園多位於山坡,不利機具噴肥,故須以人力施肥、成本重。農用無人機可負載約 7.5 公升液肥,電腦軟件可根據施肥面積換算液肥需求量,再由 GPS 定位,使無人機可定時、定量自動飛行噴灑,故以無人機協助大面積茶園管理極具效益 (圖 26)。

    3. 蟲害防治與復育農用無人機有搭載高解析攝影機及紅外線感測器,用來收集及評估農作物情況,可於作

    物潛在問題盛行前進行診斷和處理。美國有農民與肥料零售商合作,在農場利用無人機進行

    季節性監控,其蒐集資訊可作為零售商分析成本效益之資料。德國無人機公司 Hexapilot 利用殺蟲無人機 Tricho-Kopter,在玉米田投放歐洲玉米螟 (European Corn Borer) 的天敵-赤眼卵蜂 (Trichogramma),以此防治玉米田害蟲。國內荔枝、龍眼等植物收成受荔枝椿象侵襲影響,農委會曾利用無人機施放荔枝椿象的天敵平腹小蜂,並可以無人機影像觀測荔枝椿象對

  • 36 科儀新知 220期 108.9

    於荔枝樹之影響 (圖 27)。山林裡的崩塌地復育不易,因交通不可及且多為難以抵達之處。921 大地震後,針對崩

    塌嚴重的偏遠山區,曾以直升機飛至崩塌地上空播撒播樹木種子,但效果很有限,因種子太

    輕,直升機的主旋翼會影響播撒。林務局現改以操控無人機飛至指定地點,再撒播之特製內

    含種子的植生粒劑,讓種子落在正確的位置上,並能提高發芽率。

    圖 25. 辦理無人機國際研討會與廠商合作展示農噴無人機 (攝於中興大學 2019/03)。

    圖 26. 於茶園進行無人機影像監測 (攝於南投鹿谷 2018/11)。

  • 37科儀新知 220期 108.9

    六、展望

    過去對於無人機的想像出現在各式電影情節中,如今一一實現。從軍用到民生,搭載多

    元感測器,透過影像分析技術與大數據分析技術,發展出多元應用。台灣為使擁有 UAV 的民眾、業者、選手與研究人員等,都能在不違反社會秩序下飛行,已通過「遙控無人機管理

    規則」,並訂定於 2020 年 3 月 31 日實行。此法規施行後,250 公克以上之 UAV 飛手需考取執照,UAV 須向民航局註冊,註冊後有效期限兩年內方能使用。限航區與禁航區之飛行則須向民航局申請。一人不得控制多台 UAV、可視範圍飛行、飛行高度限制......等相關法規皆是基於安全考量設立。在 UAV 規模與影響力日漸擴增,經濟價值提升下,正式訂定相關法規,讓 UAV 產業能夠於制度下正向成長。在人口高齡化、人力短缺的時代,提升效率達成精準農業情境為重要議題。農業領域上

    多項 UAV 應用正快速部署與落地。如水稻栽培管理技術中,水稻植株定位技術提供秧苗數量與位置資訊外,輔助大區域補秧決策。在天然災害發生時,UAV 災損辨識技術輔助分析區域災損情形,有效降低人力需求,並提升客觀之分析資料。雲端分析平台將 UAV 影像分析技術雲端化,結合群眾力量,共同達成精準農業情境。期許為來能達成藉影像處理、AI 技術,由空中的 UAV 打造農業栽培決策管理的情境 (圖 28)。許多 UAV 於農業領域之應用也正蓬勃發展,如生長管理、農噴與施肥、蟲害防治與復育⋯等,證明無人機是精準農業必

    備之基礎工具,期許有多資源、人才投入於無人機產業,技術的落地將在可見的未來一一實

    現。

    參考資料

    1. A. R. Huete, K. Didan, T. Miura, E. P. Rodriguez, X. Gao, L. G. Ferreira, Remote Sens. Environ., 83, 195 (2002)2. D. N. H. Horler, M. Dockray, J. Barber, Int. J. Remote Sens., 4, 273 (1983).

    圖 27. 本文以無人機觀測荔枝椿象對於荔枝園之影響。(左為荔枝椿象、右為影像監測實景。攝於彰化市 2019/03)

  • 38 科儀新知 220期 108.9

    3. H. Coanda, Device for deflecting a stream of elastic fluid projected into an elastic fluid, Washington: U.S. Patent, 2052869 (1936).

    4. I. Filella, J. Penuelas., Int. J Remote Sens., 15, 1459 (1994).5. J. W. Rouse, R. H. Haas, J. A. Schell, D. W. Deering, Monitoring vegetation systems in the Great Plains with ERTS, U.S.:

    NASA, 309 (1974).6. M. D. Yang, K. S. Huang, Y. H. Kuo, H. P. Tsai, L. M. Lin, Remote Sens., 9 (6), 583 (2017).7. M. D. Yang, T. Y. Chuang, J. Y. Han, J. Photogramm. Remote Sens., 23 (2), 71 (2018).8. P. Eastwell, Sci. Ed. Rev., 6,1 (2007).9. K. Uto, IEEE J-STARS., 6 (2), 851-860 (2013).10. A. A. Gitelson, Y. J. Kaufman, R. Stark, D. Rundquist., Remote Sens. Environ., 80 (1), 76-87 (2002).11. 林煒倫, 曾偉誠, 許奕婷, 蔡慧萍, 許鈺群, 郭寶錚, 楊靜瑩, 楊明德, 作物、環境與生物資訊, (2019).12. 楊明德, 許鈺群, 農業系氣象人員培訓手冊, (2019).13. 楊明德, 曾偉誠, 許鈺群, 土木水利, (2019).14. 楊明德, 蔡慧萍, 土木水利, 45 (3), 23 (2018).15. Please refer to the web site:

    https://dronesplayer.com/uav-news/16. Please refer to the web site:

    https://senop.fi/optronics-hyperspectral17. Please refer to the web site:

    https://www.dji.com/tw18. Please refer to the web site:

    https://www.geosat.com.tw/TW/index.aspx19. Please refer to the web site:

    https://www.micasense.com/rededge-mx20. Please refer to the web site:

    https://www.sensefly.com/drone/ebee-plus-survey-drone/

    圖 28. 無人機輔助水稻栽培決策示意圖。

  • 39科儀新知 220期 108.9

    作者簡介

    楊明德先生為美國俄亥俄州立大學土木及環境工程博士,現為國立中興大學土木工程學系特聘教

    授兼系主任、科技部人工智慧普適研究中心研究員與國立中興大學無人載具研究中心主任。

    Ming-Der Yang received his Ph.D. in Civil and Environmental Engineering from Ohio State University,

    USA. He is currently a distinguished professor and chairman in Department of Civil Engineering at

    National Chung Hsing University. In the meantime, he is a research fellow of Pervasive AI Research

    (PAIR) Labs and director of Unmanned Vehicle Research Center.

    許鈺群先生現為國立中興大學土木工程研究所博士生。

    Yu-Chun Hsu is currently a Ph.D. student in Department of Civil Engineering at National Chung Hsing

    University.

    曾信鴻先生現為國立中興大學土木工程研究所博士生。

    Hsin-Hung Tseng is currently a Ph.D. student in Department of Civil Engineering at National Chung Hsing

    University.

    曾偉誠先生現為國立中興大學土木工程研究所碩士生。

    Wei-Cheng Tseng is currently a M.S. student in Department of Civil Engineering at National Chung Hsing

    University.

  • 40 科儀新知 220期 108.9

    空中與地面無人載具應用於 3D 果樹與樹林建模3D Modeling of Fruit Tree Crowns and Large-scale Tree Scene by Unmanned Aerial Vehicle and Unmanned Ground Vehicle

    黃韋蒼、于鈞、顏永哲、施睿庠、李易昇、林修國、陳宗正、 黃基倬、陳怡君、邱俊誠、歐陽盟Wei-Tsang Huang, Chun Yu, Yung-Jhe Yan, Ruei-Siang Shih, Yi-Sheng Li, Shiou-Gwo Lin, Tzung-Cheng Chen, Chi Cho Huang, Yi-Chun Chen, Jin-Chern Chiou, Mang Ou-Yang

    本文章使用無人旋翼機結合無人多足地面機取得果樹可見光與近紅外光影像,運用影像

    資訊進行光譜分析與建立三維模型應用於果樹生長監控系統。無人旋翼機飛行藉由比例積分

    微分控制器 (PID) 控制,依照路徑規劃,使無人旋翼機自動飛行收集果樹影像資訊;透過實時動態載波相位差分技術定位,誤差只達公分等級;空中的無人旋翼機加上地面的無人多足

    地面機,藉由上中下多角度影像疊合、立體視覺法與三角網格建模技術來建立三維模型,達

    到果樹生長情形的監控。

    This article using unmanned aerial vehicle (UAV) combined with the multi-footed unmanned ground vehicle (UGV) to obtain visible and near-infrared images of the crowns of fruit trees. Using image information for spectral analysis and to build three-dimensional model apply in fruit tree growth monitoring systems. UAV flight is controlled by PID controller. Along with the path planning, the UAV automatically collects the image information of the crowns. Through the self-developed real-time kinematic (RTK) module, the positioning error is only up to the cm level. The UAV fly in the air and the multi-foot UGV simultaneously move in the ground to obtain the multi-angle images. Using registration multi-view images, stereo vision and mesh segmentation modeling technology could construct a three-dimensional model to achieve the monitoring of fruit tree growth.

    一、前言

    藉由遙測技術可提供二維影像資訊。其中結合交通載具與光學技術是大地量測的主要方

    式之一(1)。藉由不同視點拍攝的幾幅圖像中來恢復場景的幾何形狀,即為立體視覺(2)。將兩

    智慧光電

    農業機器人專題

  • 41科儀新知 220期 108.9

    者結合可達到經由遙測技術取得大地量測之三維圖像資訊。在過去十年中無人旋翼機 (UAV) 已被提議用於農業應用,因為它們具有很大的飛行調度靈活性,低製作成本以及越來越多專

    門的小型化感測器應用於無人旋翼機上(3) 。商用市場上兩種主要類型的無人旋翼機包含定翼機和多旋翼機。兩者都有其優點和缺點,包括它們對不同應用的適用性。定翼機通常一次

    飛行的時間能比較長,飛行速度也較快;而多旋翼機可以提供穩定的圖像捕捉和輕鬆的垂直

    起飛和著陸(4)。在植被覆蓋非常密集的果樹叢中,多旋翼機提供了非常高的空間分辨獲取圖

    像的獨特能力。與衛星或定翼機相比,多旋翼機可以快速重複地部署,影像擷取比較不受空

    間限制,並且受天氣條件的影響較少(5),故多旋翼機更適合在此類型的研究上應用。然而,

    現代基於圖像的建模研究主要集中在小型物體高精細度的重建或者人工輔助的簡化建模上(6)。經由空中無人旋翼機與地面無人多足地面機結合,多角度影像擷取來獲得充足的影像資

    訊輔助建模。基於網格的變分多視點立體視覺方法,從圖像中恢復三維場景,計算由離散三

    角網格定義的非光滑曲面的重投影誤差的梯度。梯度在表面移動時發生,迫使由重建表面產

    生的輪廓與圖像輸入中的明顯輪廓完美匹配(7, 8)。

    1. 無人旋翼機架構在多旋翼無人飛行載具之設計與製造涵蓋飛行力學控制系統 (flight control system)、機

    電動力系統、無線通訊系統等。知名無人旋翼機製造商,如大疆 (DJI),會針對其公司旗下之無人旋翼機系統開發適合之飛行控制器,如 Naza V2, A2, A3 等控制器,雖然擁有穩定飛行能力,但卻不能對內部功能調整,甚至於無法取得其飛行資料(9)。因此,無人旋翼機

    之研究一般採用開放原始碼,研究人員可依據需求,直接修改硬體線路設計,甚至於韌體

    更能修改。若是以精緻農業導向之飛行控制器,則偏好以 32-bit Cortex-M3 處理器為主之 Pixhawk(10),或是更高階之 Pixhawk 2.1 為主。Pixhawk 控制器強調本身具兩顆中央處理器(CPU) 與雙電源管理系統,使一個中央處理器或電源管理系統毀損時,系統仍能正常運作。酬載控制器則依應用情境而有所區別,若是系統控制簡單則可使用飛行控制器直接控制,並

    予以驅動。反之,若是應用情境需要複雜系統,如影像辨識系統、階層式遙控無人機飛航管

    理 (UTM) 即時監控回報系統、智慧型任務控制系統等即時控制器,皆採用無人旋翼機通訊協定 (MAVLink),透過飛行控制器與酬載控制器的溝通,而實行控制之目的。當考慮大型控制系統時,元件對元件的溝通已不敷使用,無人旋翼機通訊相關的研究可朝向多對多的無

    人旋翼機通訊,可以 MAVProxy 為網路代理服務實現多輸入多輸出 (MIMO) 系統。。

    2. 無人旋翼機定位穩定無人旋翼機自動控制,需要非常精準的定位方法,在一般全球定位系統 (GPS) 定

    位精度只可達到公尺等級,垂直高度誤差也較大。因日本第一顆衛星 (QZSS) 於 2010 年發射、中國北斗導航衛星系統 (BDS) 於 2011 年開始運行,迄今為止有 33 顆衛星,另有 22 顆歐洲伽利略衛星和 32 顆 GPS 衛星現可用於定位。這些全球導航衛星系統 (GNSS) 的組合使單頻 (SF) 實時動態 (RTK) 定位變得可行(11)。即時動態定位 (real time kinematic, RTK) 為一種衛星導航技術,用於提高衛星定位系統的位置數據精度。要使用高精度GNSS 定位於無人車、無人旋翼機這些領域,蒐集幾筆資料即可進入公分級定位 (few epoch kinematic, FEK) 是必須的,以 5 赫茲 (Hz) 為取樣頻率,使用小於5 取樣點的資料,,即可以在 1 秒內得到公分級精度的解答。經由 RTK演算定位後,誤差精度可達公分等級(12),可使無人旋翼機非常穩定地被控制。

  • 42 科儀新知 220期 108.9

    3. 3D 建模技術3D 立體測量技術之建立,並且搭配智慧無人載具進行 3D 立體量測,發展至今已有許

    多成熟之 3D 立體量測技術,包含飛時測距 (TOF)、雷射測距、超音波測距或者立體機器視覺法等,目前國內外已有許多案例成功利用無人旋翼機進行地貌、景物、建築建立 3D 立體模型,使用之 3D 立體測量技術多屬於立體機器視覺法,利用無人旋翼機搭載高解析度可見光相機,在不同位置對待測物或者景象進行多張不同角度之連續影像拍攝,再搭配市面上已

    有之 3D 模型軟體進行 3D 立體建模,原理上利用已知多張影像拍攝時之相機真實空間位置與計算影像中特徵點,再對已知參數所建立之三維空間中相機與拍攝之景物矩陣對應關係反

    求待測景物之各點座標,以此建立出 3D 模型。目前機器視覺用來建立三維模型方法大致可分為三種類型(13),如表 1 所示。

    表 1. 三維建模類型表。

    類型 單視圖重建 多視圖的匹配重建 多視圖的疊合重建

    性質單個 2D 圖像重建 3D 模型 多個 2D 圖像重建 3D 剛體模

    型多個 2D 部分重疊影像重建 3D 變形模型

    技術

    1. 廣義圓柱擬合到圖像輪廓2. 簡單圖像規則創建平滑模型

    3. 二次能量最小化

    對於紋理找出特徵點去匹配 1. 邊界的 3D 曲線特徵2. 立體視覺法

    二、研究方法

    本研究結合無人旋翼機與無人多足地面機來取得果樹影像資訊,應用影像進行三維模型

    建立,並結合光譜分析以達到果樹生長監控,如圖 1 所示。

    圖 1. 無人旋翼機與無人多足地面機示意圖。

  • 43科儀新知 220期 108.9

    1. 無人旋翼機系統本研究整合無人旋翼機 3D 立體量測無人機結合三台高解析度可見光相機進行俯、仰、

    平視角的資料收集,與 RTK 定位系統對果樹與樹林場域進行影像資訊收集,進行三維立體建模,並運用三維模型來進一步觀察場域資訊。核心技術包含無人載具之自動控制與飛行

    路徑規劃、RTK 定位系統、3D 建模演算法。整合系統所需儀器與無人旋翼機飛行系統架構圖如圖 2 所示,其架構主要分為飛行控制系統、酬載系統、地面站系統;飛行控制系統使用鋰離子聚合物電池來供給飛行控制板、馬達與感測器之電源;採用 Pixhawk2 飛行控制器來接收電子羅盤、氣壓計、加速度計與 GPS 之數值參數,進而控制馬達輸出,並藉由無線射頻 (radio frequency) 來與地面站溝通。酬載系統為 3 台 GoPro Hero 7 可見光運動相機,相機內皆有 GPS 晶片來記錄拍攝時 GPS 資訊。地面站系統使用電腦連接 GPS 晶片之天線來解算 RTK,並藉由無線射頻來與無人旋翼機飛控系統溝通。

    GPS receiverMotor andsensors

    Radiotelemetry

    GPS receiver

    Groundserver (PC)Wireless

    Imagingsensormodule

    Imagingsensormodule

    Imagingsensormodule

    Powersystem

    Powersystem

    Powersystem

    Powersystem

    Fly control

    Flight control system

    Base station system

    Payload system

    5V

    12V5V

    5V

    5V

    5V

    GPS

    Receiver

    Serial

    圖 2. 無人旋翼機飛行系統架構圖。

    2. 飛行控制控制系統,目前以兩大開源系統為主,分別為 QGroundControl 與 MissionPlanner,其相

    對應之 Firmware 為 Pixhawk 與 Ardupilot,尤其是以 MissionPlanner 為主的 ArduPilot,完全支援 MAVLink 協議;因此,本研究以 ArduPilot 及 MissionPlanner 為主要的研究工具如圖 3 所示,並搭載 RTK 系統達到精準定位之需求。為了使無人旋翼機之四軸馬達穩定控制,飛行控制之穩定度架構如圖 4 所示,無人旋翼

    機飛行控制項包含滾動 (roll)、俯仰 (pitch)、偏航 (yaw) 三個姿態角度,目標控制項先經過擴展卡爾曼濾波器 (Extended Kalman Filter) 與前饋控制器 (feed-forward control) 將角度誤差 (目標角度和實際角度之間的差值) 轉換為所需的轉速後,進入比例積分微分控制器模型,利用電子羅盤、氣壓計、加速度計與 GPS 之數值作為回饋數值,建立比例積分微分控制系統,經過比例、積分、微分三個參數之調教後控制馬達,使得無人旋翼機能夠穩定飛行。

  • 44 科儀新知 220期 108.9

    3. RTK 定位RTK 實時動態技術定位系統,是一套能提供公分級精度座標與方位的定位系統。對於

    影像間的影像疊合、比較、立體像對與 3D 影像建立,是一項重要核心技術。解算理論為 GNSS 相對定位理論基礎。

    GNSS 電碼 (1) 及相位觀測 (2) 方程式,下表 2 中列出模型中所使用的內部參數的符號表示:

    , ,( )s s s s

    n n n

    l l l l sp pp f f p fR c t t d dρ = + ⋅ D - D + - (1)

    , , ,( )s s s s s

    n n n n

    n n nl l l l s lp n pp f f p f p f

    f f fR f t t Nc c c

    ϕ d d= + ⋅ D - D + ⋅ - ⋅ + (2)

     

    由於硬體遲延量與接收器時鐘偏差係數相同,無法同時求解。為解決硬體遲延量與接收

    器時鐘偏差係數相同的問題,因此常利用一顆 GPS 的衛星為主衛星,將其 L1 頻率硬體遲延量與接收器時鐘偏差合併為一新的變數,此時一次差分可表為式 (3)-(6),下表 4 中列出模型中所使用的內部參數的符號表示:

    , ,G G

    n n

    l l Gpq pqpq f pq fR c dt dρ = - ⋅ + (3)

    圖 3. ArduPilot控制系統 Mission Planner。

    圖 4. 飛行控制之穩定度架構圖。

    Angle → Rate Rate → Motor output

    Targetangle

    accellimit

    Motors

    Actualangle

    Actualrate

    Extended kalman filter (EKF)

    Target Error Output

    FF

    P∑ ∑ ∑

    P

    I

    D

    0( ) ( ) ( )

    tP i d

    dK e t K e d K e tdt

    τ τ+ +∫

  • 45科儀新知 220期 108.9

    參數 單位 內容

    ρ lsp, fn m 接收器衛星 ls 至接收器 p 的電碼觀測量

    ϕ lsp, fn cycle 相位觀測量

    s system GNSS 系統 (s 為 G 代表 GPS、s 為 R 代表 GLONASS、s 為 B 代表

    BDS、s 為 E 代表 Galileo、s 為 Q 代表 QZSS)

    fn Hz 訊號頻率

    n band 電碼與相位觀測量之對應頻率 (可為 L1、L2、L3、B1、B2、B3、

    R1、R2,見表 2-2)

    R m 接收器到衛星的距離

    c m/s 光速

    Dt ls sec 衛星時鐘偏差

    Dt p sec 接收器時鐘偏差

    d lsfn、dlsfn sec 衛星硬體遲延

    dp, fn、d p, fn sec 接收器硬體遲延

    N lsp, fn cycle 週波未定值

    表 2. GNSS 電碼及相位觀測內部參數的符號(14)。

    Satellite system Band Frequency(MHz)Wavelength

    (cm)BDS B1 1561.098 19.20

    BDS/Galileo B2/E5b 1207.140 24.83BDS B3 1268.520 23.63

    QZSS, GPS/Galileo L1/E1 1575.420 19.03QZSS, GPS L2 1227.600 24.42

    QZSS, GPS/Galileo/BDS L5/E5a/B2a 1176.450 25.48Glonass R1 1602.0 + K*562.5Glonass R2 1246.0 + K*437.5

    表 3. 相位觀測量之對應頻率(14)。

    1, , ,

    G G Gn n