Embed Size (px)
Citation preview
Abschlussbericht
Projekt Bioakustische Detektion von Getreidevorratsschädlingen
gefördert durch die
Deutsche Bundesstiftung Umwelt AZ:25124-34
Zeitraum September 2008 – November 2011
Verfasser:
Univ.- Prof. Dr.- Ing. Thomas Becker
TECHNISCHE UNIVERSITÄT MÜNCHEN Wissenschaftszentrum Weihenstephan
Lehrstuhl für Brau- und Getränketechnologie Weihenstephaner Steig 20
85354 Freising
BVL Benedikt von Laar Gut Klein Görnow
Am Wendeplatz 2/3 19406 Klein Görnow
Schapfenmühle GmbH & Co. KG Franzenhauserweg 21
D-89081 Ulm/Jungingen
1
Inhaltsverzeichnis 1. Zusammenfassung .......................................................................................................................... 3
2.1 Anlass und Zielsetzung des Projektes .......................................................................................... 3
2.1.1 Problemstellung und Lösungsweg ......................................................................................... 3
2.1.2 Stand der Forschung .............................................................................................................. 4
2.1.3 Erfahrungen der Projektpartner ............................................................................................. 5
2.1.4 Umweltrelevanz des Vorhabens ............................................................................................ 6
2.2 Darstellung der Arbeitsschritte und der angewandten Methoden ................................................. 7
2.2.1 Lösungskonzept und Beschreibung der Arbeitspakete ......................................................... 7
2.2.2 Zeitplan................................................................................................................................... 9
2.3 Vorbereitende Arbeiten ........................................................................................................... 11
2.3.1 Aufbau von Kornkäferzuchtstämmen und Darstellung verschiedener ‚Lebenssituationen‘ . 11
2.3.2 Sensorentwicklung ............................................................................................................... 11
2.3.3 Bewertung der Mikrophon-Sensoren ................................................................................... 12
2.3.4 Aufnahme von Referenzsignalen ......................................................................................... 14
2.3.5 Signalverarbeitung ............................................................................................................... 15
2.4 Ergebnisse und Anwendung ....................................................................................................... 19
2.4.1 Erzeugung der Datenbank für das Erfassungssystem ........................................................ 19
2.4.2 Entwurf des neuronalen Netzwerks .................................................................................... 20
2.4.3 Testen des Erfassungssystems ........................................................................................... 21
2.4.4 Implementierung der Käferdetektion auf einem Mikrokontroller (MC) und Entwicklung eines Handgerätes .................................................................................................................................. 22
2.4.5 Diskussion der Ergebnisse .................................................................................................. 24
2.5 Öffentlichkeitsarbeit ..................................................................................................................... 25
2.5.1 Veröffentlichungen ............................................................................................................... 25
2.5.2 Wissenstransfer zwischen den Forschungsstellen .............................................................. 25
2.5.3 Umsetzung in die Wirtschaft ................................................................................................ 26
2.6 Fazit............................................................................................................................................. 26
3. Literaturverzeichnis ....................................................................................................................... 27
4. Appendix ....................................................................................................................................... 29
Abbildungsverzeichnis Abbildung 1: Erwachsener Kornkäfer und Getreidekäfer ....................................................................... 4 Abbildung 2: Signal eines (a) Kornkäfers und von (b) Copris hispanus. ................................................ 5 Abbildung 3: (a) Befallene Getreideprobe; (b) Anbohren des Getreidekorns; (c) Adulter Kornkäfer ... 11 Abbildung 4: Abbildung eines Lanzensensors ...................................................................................... 12 Abbildung 5: Vergleich der Signale von Beschleunigungssensor und Luftschallsensor ..................... 12 Abbildung 6: Vergleich der Signale des Luftschall- und des Piezokontaktsensors. ............................. 13 Abbildung 7: Analyse des Signals im Frequenzbereich.. ...................................................................... 14 Abbildung 8: Aufnahme eines Referenzsignals .................................................................................... 14 Abbildung 9: Aufgenommenes Signal mit einer Abtastfrequenz von 96.0000Hz ................................. 15
2
Abbildung 10: Untersuchung der Signale für verschieden Frequenzbänder ........................................ 16 Abbildung 11: Schematische Darstellung für die Aufteilung des aufgenommenen Geräusches ......... 16 Abbildung 12: Vergleich der erreichten Auflösung zwischen der Fourier- und Wavelet-Transformation.
...................................................................................................................................................... 17 Abbildung 13: Die Darstellung der häufigsten Fensterfunktionen im Zeit- und Frequenzbereich ........ 18 Abbildung 14: Darstellung für den Feature-Auswahl-Algorithmus.. ...................................................... 19 Abbildung 15: Signal mit und ohne Kornkäfergeräusche (Peaks). ....................................................... 20 Abbildung 16: Neuronales Netz. ........................................................................................................... 20 Abbildung 17: Aufbau eines Neuron ..................................................................................................... 20 Abbildung 18: Ergebnis des neuronalen Netzwerks für einen Audio-Stream von 35 Sekunden Länge.
...................................................................................................................................................... 21 Abbildung 19: 8-Bit-MC und 32-Bit-MC. ................................................................................................ 22 Abbildung 20: Beschreibung der Nomenklatur der 8 LED‘s. ................................................................ 23 Abbildung 21: Abbildung des 8-Bit MC-Prototypen. ............................................................................. 23
3
1. Zusammenfassung Getreideschädlinge und deren Folgeschäden (Schimmel, Mehltau) können 20% der Ernte zerstören. Ihre Beseitigung ist ohne genaue Kenntnisse des Befallsortes und Befallsausmaßes schwierig, und es kann aufgrund des Einsatzes von Begasungsmitteln zu Umweltschäden kommen. Die ökonomischen Schäden für Getreidekörner durch Kornkäferbefall können durch bioakustische Erkennung in einer frühen Befallsphase und eine angemessene Behandlung verringert werden. Aufgrund der verborgenen Lebensweise der Käfer ist die Früherkennung mit herkömmlichen Methoden bislang nicht möglich. Akustische Signale von Kornkäfern beinhalten allerdings zeitliche und spektrale Eigenschaften, welche die Detektion der Käfer ermöglichen. Die Ergebnisse des Projektes zeigen, dass die markanten spektralen und zeitlichen Merkmale der Kornkäfergeräusche kombiniert werden können, um Indikatoren für die automatische Erkennung der befallenen Körner zu erhalten. Das entwickelte Messsystem ist in der Lage, aufgenommene Signale automatisch auszuwerten und die Anwesenheit von Kornkäfern mit einer Genauigkeit von 86 % zu erkennen. Diese Genauigkeit kann auf 93 % erhöht werden, wenn schnellere Mikrokontroller verwendet werden. 2.1 Anlass und Zielsetzung des Projektes 2.1.1 Problemstellung und Lösungsweg Getreidevorratsschädlinge wie der Kornkäfer (Sitophilus granarius) oder der Getreidekäfer (Oryzaephilus surinamensis) verursachen seit langem erhebliche wirtschaftliche Schäden in der Landwirtschaft und weiterverarbeitenden Industriezweigen. Da Aktivität und Reproduktionsrate dieser Insekten stark von der Umgebungstemperatur abhängen, wird deren vermehrtes Auftreten durch die steigenden Jahresdurchschnittstemperaturen zusätzlich begünstigt. Wichtigste Maßnahme gegen den Schädlingsbefall ist die Begasung der Getreidespeicher mit Monophosphangasen (bzw. Brommethan) und deren Derivaten durch entsprechend spezialisierte Fachbetriebe. Monophosphan ist ein sehr starkes Nerven- und Stoffwechselgift, das nicht nur bei Insekten sondern auch bei Menschen und bereits in niedriger Konzentration hochgiftig wirkt. Um den Einsatz von Begasungsmitteln zu verhindern bzw. nachhaltig reduzieren zu können, soll im Rahmen des vorliegenden Forschungsvorhabens ein praxistaugliches Gerät zur automatischen akustischen Früherkennung von Getreideschädlingen entwickelt werden. Meist erfolgt die Ausbreitung durch Einschleppung von befallenem Getreide. Schädlingsbefall breitet sich punktuell von den Befallszentren aus. Gelingt es, diese Zentren frühzeitig zu detektieren und aus dem Lagerbestand zu entfernen, kann die Populationsdynamik der Schädlinge wesentlich verlangsamt werden. Der Funktionsumfang soll den Anwendern neben der Detektion von Schädlingen in Lagern und Silos auch die Möglichkeit geben, das Gerät zur Qualitätssicherung bei der Rohstoffanlieferung einsetzen zu können. Für einen geübten Bioakustiker ist es aufgrund seiner Erfahrung relativ einfach möglich, zuverlässige Aussagen über den Befallszustand einer Getreideprobe zu machen. Unerfahrene Personen haben große Schwierigkeiten bei der folgerichtigen Interpretation von Schädlingsgeräuschen. Wichtigstes Entwicklungsziel ist deshalb die Integration des Wissens erfahrener Anwender in ein Gerät, welches Geräusche aufzeichnet, verstärkt und mit einer Auswertelogik die automatische Erkennung für den Anwender übernimmt. Dieses Ziel erfordert zunächst das Erstellen einer ausreichend großen Datenbasis des möglichen Geräuschspektrums der Schädlinge in allen Entwicklungsstadien. Des Weiteren müssen geeignete Algorithmen
4
(chemometrische Methoden, künstliche neuronale Netze, Fuzzy Logic) zur Extraktion der Charakteristika der aufgenommenen Geräusche entwickelt, bzw. angepasst und in eine Auswerteelektronik integriert werden. Der innovative Charakter des Projekts liegt in der Kombination bzw. Erweiterung von bioakustischen Methoden mit modernen Mitteln der Mustererkennung. Die Ergebnisse können auch auf andere Aufgabenstellungen der Bioakustik übertragen werden, wie z. B. Erkennung geschützter Käferarten wie Eremit und Hirschkäfer.
2.1.2 Stand der Forschung Kornkäfer (vgl. Abbildung. 1) verursachen pro Jahr bis zu 20% an Ernteverlusten. Derzeit sind mehrere Kommissionen daran beteiligt, Notmaßnahmen zu entwickeln, um eine weitere Ausbreitung der Kornkäfer zu verhindern. Das gesamte Larvenstadium der Kornkäfer spielt sich innerhalb eines Getreidekorns ab, dies hat zur Folge, dass Kornkäferbefall im Frühstadium nur schwer erkannt werden kann.
Abbildung 1: (a) Erwachsener Kornkäfer (Sitophilus granarius) und (b) der Getreidekäfer (Oryzaephilus surinamensis).
Mit einer geeigneten Frühzeiterkennung und entsprechender Behandlung kann der wirtschaftliche Schaden reduziert werden. Schädlingsbefall breitet sich meist punktuell von den Befallszentren aus, weshalb zur Befallsvermeidung und Früherkennung verschiedene Maßnahmen eingesetzt werden. Dazu gehören strenge hygienische Bedingungen vor und nach der Getreideanlieferung, die kontinuierliche Kontrolle von Temperatur, CO2-Gehalt und Feuchte, die Einhaltung kühler Lagerbedingungen, die Trocknung des Getreides auf einen Feuchtegehalt unter 12%, die Inspektion von Rohware oder das Aufstellen von Fallen. Im Rahmen der genannten Maßnahmen kommen auch bioakustische Methoden zum Einsatz. Mittels sogenannter „Larvenlauscher“, einer Kombination aus Mikrophon, Verstärkungselektronik und Kopfhörer, besteht die Möglichkeit, Fressgeräusche zu detektieren und Aussagen über die Kontamination zu treffen. Hinderlich bei der kommerziellen Verbreitung dieser Geräte ist, dass es sich um eine subjektive Wahrnehmung der Geräusche handelt und nur sehr erfahrene Anwender zuverlässige Aussagen treffen können. Veränderte Umgebungsbedingungen, Störgeräusche, Temperaturschwankungen, unterschiedliche Entwicklungsstadien und Anzahl der Insekten sowie Befall mit andern Schädlingsarten erschweren eine Beurteilung des Befallszustands durch das menschliche Ohr. Hinzu kommt, dass von den Getreideschädlingen möglicherweise auch Schall außerhalb des menschlichen Hörbereiches (z. B. Ultraschall) emittiert wird. Dieser ist mit der klassischen Lauschmethode nicht zu detektieren, entzieht sich aber nicht einer automatischen Analyse, die Aufnahmen im Frequenzbereich bis 100kHz ermöglicht.
5
Akustische Aufnahmen von Kornkäfern zeigen oftmals Analogien in ihrem spektralen und zeitlichen Verhalten, dies ermöglicht die eindeutige Erkennung und Zuordnung der akustischen Signale (Mankin et al. 2002). Als weiterer Vorteil für die akustische Detektion ist die Lebensweise der Kornkäfer zu betrachten, Die hohe Reproduktions-Rate der Kornkäfer hat zur Folge, dass sie von anderen Insekten getrennt leben. Durch diese Eigenschaft kann gewährleistet werden, dass aufgezeichnete Geräusche nur von Kornkäfern stammen. Des Weiteren zeigen Kornkäfer im Vergleich zu anderen Käfern eine unstrukturierte Dynamik in ihren Aktivitäten (d.h. nicht einzigartig). Dies bedeutet, dass die Tonsignale nicht markant und nur schwer voneinander zu unterscheiden sind (vgl. Abbildung 2a). Die Töne anderer Käfer wie Copris hispanus (Palestrinic et al. 1991; Drosopoulos & Claridge 2006) zeigen ein Muster während der Kommunikation untereinander. Diese sind markant und klar zu erkennen (vgl. Abbildung 2b).
(a)
(b)
Abbildung 2: Signal eines (a) Kornkäfers und von (b) Copris hispanus.
Bei Verwendung von hoch empfindlichen Mikrofonen besteht die Möglichkeit, Fress- und Bewegungsgeräusche der Käfer aufzunehmen (Mizrach et al. 2003; Hetzroni et al. 2004; Soroker et al. 2004, 2006). Automatisierte akustische Analysen für nicht sichtbaren Insektenbefall konzentrieren sich bisher in erster Linie auf spektrale Aspekte der von Insekten produzierten Tönen (Mankin et al. 2000, 2001, 2007). Zeitliche Muster wurden durch Zhang et al. (2003) betrachtet. Bei der Einstufung von Larventönen (Knacken, Rascheln oder sich wiederholende Pulse) kann beobachtet werden, dass verschiedene Insekten deutlich unterschiedliche Klangmuster aufweisen (Andrieu & Lessard 1990; Mankin et al. 1997). Verschiedene Kornkäferaktivitäten, einschließlich Bewegungs- und Futtergeräuschen, können aufgezeichnet werden. Um die Existenz von Kornkäfern nachzuweisen, spielt die Betrachtung der Bewegungsgeräusche eine untergeordnete Rolle. Diese Geräusche sind nahezu identisch mit denen anderer Käfern und daher nicht unterscheidbar. Im Gegensatz dazu sind der Kurvenverlauf, sowie das Sonogramm der Fraßgräusche kennzeichnend für Kornkäfer und können zu deren Identifizierung genutzt werden.
2.1.3 Erfahrungen der Projektpartner BVL verfügt über große Erfahrung bezüglich der manuellen Vermessung und Zuordnung von Signalen; insbesondere bei Fledermäusen, Schweinswalen, verschiedenen Schadinsekten (Red Palm Weevil, Hausbock, asiatischer Laubholzbock) und weiteren Insekten (Nachtfalter). Zusätzlich besitzt BVL Erfahrung in Bezug auf die Zucht verschiedener Käferarten. Die Käferaufzucht, die ursprünglich bei BGT bzw. Biopark geplant war, wurde daher von BVL übernommen. Zudem besitzt BVL Wissen bei der Fertigung von Spezialsensoren und Vorverstärkern. Aufgrund des Umzugs der Forschungsgruppe von der Universität Hohenheim an die Technische Universität München, wurde der Name von LPG (Lehrstuhl für
6
Prozessanalytik und Getreidetechnologie) in BGT (Lehrstuhl für Brau- und Getränketechnologie) geändert. BGT besitzt große Erfahrung in der digitalen Signalverarbeitung (Extraktion spektraler und temporaler Merkmale aus Bild- und Schallsignalen) und in der Erstellung von Klassifikationsmethoden, wie künstliche neuronale Netzwerke. Diese werden in den verschiedensten Bereichen, wie Gärprozessen, Teigbeobachtung, Reinigungsprozessen und anderen, erfolgreich angewandt. Zudem programmiert BGT seit vielen Jahren 32-Bit-Blackfin-Mikrokontroller und wendet sie in verschiedenen Bereichen der Schallerkennung an. Die Firma Schapfenmühle GmbH & Co. KG hat einen weiten Einzugsbereich an Getreidelieferanten und verarbeitet sowohl konventionell angebautes, als auch nach den Richtlinien des ökologischen Landbaus produziertes Getreide. Somit hat sie sowohl bei der Qualitätssicherung der Rohstoffe, als auch der Getreidelagerung großes Interesse an einer einfach anwendbaren, zuverlässigen, und umweltfreundlichen Methode der Schädlingserkennung. Wichtiger Aspekt bei der Einbindung ist das Projekt ist die Bereitstellung von befallenen Getreideproben.
2.1.4 Umweltrelevanz des Vorhabens Der Kornkäfer wurde ursprünglich aus dem Gebiet des fruchtbaren Halbmondes (heute: Syrien, Türkei, Irak) nach Europa eingeschleppt und konnte erstmals in Grabbeigaben der Pharaonen nachgewiesen werden. Seitdem hat er sich als Kulturfolger der menschlichen Lebensweise optimal angepasst. Er ist in der freien Natur nicht mehr zu finden, hat seine Flugfähigkeit verloren und ist ausschließlich in Lagerstätten zu finden. Seine Verbreitung erfolgt durch die Handelskette vom Erzeuger zum Endverbraucher. Durch den globalisierten Handel und unterschiedliche Hygienestandards der teilnehmenden Länder steigen die Kontaminationsmöglichkeiten und es nicht auszuschließen, dass weitere Schädlinge eingeschleppt werden. Umweltbelastende Aspekte beim Auftreten von Schädlingsbefall ergeben sich durch die übliche Praxis, Getreidelager mit auch für den menschlichen Organismus hochgiftigem Monophosphan bzw. Brommethan zu begasen. Über den tatsächlichen Einsatz von Begasungsmitteln liegen keine aussagekräftigen Statistiken vor. Andere gängige Maßnahmen, wie der Einsatz von Heißluft über 45°C, zur Abtötung der Schädlinge haben einen hohen Energieeinsatz zur Folge und erfordern eine flächendeckende Hitzeeinwirkung an allen Stellen im Getreidelager. Anderenfalls kann es zu Rückkontaminationen kommen und der Bekämpfungsprozess muss neu eingeleitet werden. Die Bekämpfungsmethoden gegen Vorratsschädlinge haben sich zwar in den letzten 15 Jahren zugunsten von physikalischen Verfahren und dem Einsatz von CO2 und/oder Inertgasen wie Stickstoff verschoben, dennoch setzen auch hochentwickelte Industriestaaten nach wie vor Insektizide und Begasung ein. Dies liegt auch daran, mit toxischen Mitteln verschiedenste Arten von Schädlingen gleichzeitig abtöten zu können, während bei physikalischen Verfahren unterschiedlichere Toleranzen bei einzelnen Schädlingsarten existieren und die Verfahren mit vermehrtem Aufwand angepasst werden müssen. Da der Kornkäfer durch seine Flugunfähigkeit nicht bzw. nur sehr eingeschränkt in der Lage ist, sich auf natürlichem Weg zu verbreiten, beruht ein langfristiger, erfolgreicher Vorratsschutz auf der Kombination von Vermeidung und Früherkennung. Die umweltrelevanten Aspekte des geplanten Vorhabens bestehen deshalb darin, dem Markt eine Möglichkeit zu bieten, Schädlinge und Befallsdichte in Getreidelagern und Rohstofflieferungen zuverlässig zu erkennen und dadurch Bekämpfungsmaßnahmen zu reduzieren bzw. ganz zu vermeiden.
7
2.2 Darstellung der Arbeitsschritte und der angewandten Methoden 2.2.1 Lösungskonzept und Beschreibung der Arbeitspakete Ziel des vorliegenden Forschungsvorhabens ist die Entwicklung einer kostengünstigen, lernenden und praxistauglichen Lösung zur automatischen, akustischen Früherkennung von Getreideschädlingen (Preisbereich unter 6.000.- €). Im Folgenden werden die notwendigen Arbeitsschritte des Lehrstuhls für Brau- und Getränketechnologe (BGT) und der Kooperationspartner (BVL, Schapfenmühle) beschrieben.
1. Aufbau und Erweiterung der hauseigenen Zuchtanlage für Getreideschädlinge der Firma BVL
2. Isolation verschiedener Entwicklungsstadien aus der Zuchtanlage 3. Akustische Messungen seitens BVL in der Zuchtanlage und im Praxisumfeld 4. Datensichtung und Aufbau einer möglichst breiten Datenbasis aller
vorkommenden Schädlingsgeräusche in unterschiedlichen Entwicklungsstadien
5. Vorauswahl und Beurteilung geeigneter Algorithmen am BGT 6. Analyse der Datenbasis. Programmierung und Adaption der
Auswertealgorithmen am PC 7. Hardwareadaption eines bereits am BGT vorhandenen
Mikrokontrollersystems 8. Integration des von BVL entwickelten Stabmikrophons und der
Verstärkereinheit in das Mikrokontrollersystem. Aufbau einer Speicherschnittstelle (SD Karte, MMC Karte, USB Port)
9. Übertragung und Programmierung der unter Punkt 5 entwickelten Algorithmen auf den Mikrokontroller
10. Aufbau einer Kornkäferzucht am BGT 11. Aufnahme und Überprüfung der ausgegebenen Befallszenarien in den
Zuchtanlagen 12. Sukzessive Verbesserung und Adaption der Auswertelogik 13. Praxiseinsatz bei den Kooperationspartnern BVL und Schapfenmühle 14. Eliminierung von Störeinflüssen und evtl. auftretenden Nebengeräuschen
mittels geeigneter Filteralgorithmen, weitere Adaption der Auswertelogik an Praxisbedingungen
Wichtigste Grundlage zur automatischen Erkennung ist eine ausreichend große Datenbasis des gesamten Geräuschspektrums der Schädlinge (3). Dieser Arbeitsschritt wird in Getreidelagern (Schapfenmühle) und in einer Zuchtanlage durchgeführt. Um die im Feldversuch aufgenommenen Geräusche eindeutig einer Art zuordnen zu können und detaillierte Aufnahmen unabhängig von Störgeräuschen und saisonalen Bedingungen zu erhalten, wird eine eigene Kornkäferzucht betrieben. Diese dient als Referenz für die Geräusche abhängig von Anzahl, Alter und Entwicklungsstadium der Käfer (2). Um die Charakteristiken des Geräuschspektrums anderer Getreideschädlinge festlegen zu können, ist im Rahmen des Projektverlaufs eine Erweiterung der Zuchtanlage für Schädlinge wie den Getreidekäfer und Gespinstmotten vorgesehen (1). Die erhaltenen Dateien werden aufgearbeitet (4) und mit geeigneten Algorithmen ausgewertet (5). Dazu sollen verschiedene Methoden der Datenverarbeitung, wie z. B. künstliche neuronale Netze, oder Fuzzy Logik zum Einsatz kommen. Um eine Arterkennung erfolgreich durchführen zu können, müssen eindeutige Charakteristika
8
aus den aufgenommenen Geräuschen extrahiert werden. Besonders bei biologischen Systemen erschwert neben Störgeräuschen die natürliche Schwankungsbreite eine exakte Reproduzierbarkeit. Neuronale Netze können trotz dieser ungünstigen Umstände Charakteristika im Signalverlauf erkennen. Dazu ist es notwendig, sie mit einer umfangreichen Datenbasis zu trainieren. Eigene Vorarbeiten zeigen, dass mit dieser Methode der maximale Informationsgehalt aus den Dateien extrahiert werden kann. Nach erfolgreichem Training besitzt das neuronale Netz die Fähigkeit, einen vorliegenden Befall zu erkennen. In einem weiteren Schritt erfolgt dann eine Analyse bezüglich Artzugehörigkeit und Befallsdichte. Unterstützend zu neuronalen Netzen ist die Auswertung der Signalverläufe mit Fuzzy Logik geplant. Diese Technik bietet sich an, wenn zusätzlich zu den Audiodateien andere Messgrößen wie Temperatur, Luftfeuchtigkeit und Jahres- bzw. Tageszeit bekannt sind. Fuzzy Logik zeichnet sich durch eine unscharfe Verknüpfung der Eingangsgrößen in Form von Wenn… Dann… Verknüpfungen aus. Der Einsatz von Fuzzy Logik erlaubt auf einfache Weise, zusätzliches Wissen über die Beeinflussung des Signalverlaufs zu integrieren. Beispielsweise lässt die Verknüpfung „Wenn Außentemperatur ist niedrig und Signalpegel ist hoch“ den Rückschluss auf eine gesteigerte Aktivität im Getreidelager mit eventueller Eigenerwärmung zu. Die Zahlenwerte für niedrig und hoch lassen sich anhand der Erfahrungswerte für die jeweilige Schädlingsart festlegen. Durch das Aufstellen verschiedener Verknüpfungen unter Einflussnahme äußerer Störparameter kann die Zuverlässigkeit des Systems weiter erhöht werden. Die Entwicklung der Algorithmen erfolgt mittels des Softwarepakets Matlab am PC (6). Dies macht es einfacher, den Datenpool zu verwalten, verschiedene Berechnungsmethoden auszutesten, den Zeitaufwand für Berechnungen abzuschätzen und Optimierungen vorzunehmen. Aufgrund der mehrjährigen erfolgreichen Hardwareentwicklung besteht die Möglichkeit, eine bereits entwickelte Mikrokontrollerplatine zur Aufnahme und Verarbeitung von Signalen zu verwenden. Die Mikrokontrollerplatine besteht aus einem schnellen digitalen Signalprozessor (DSP von Analog Devices, 600Mhz Taktfrequenz), Arbeitsspeicher, Verstärker und Filtereinheit, Analog Digital Wandler, Schnittstellen zur Datenaufzeichnung von piezoelektrischen Ultraschallsendern und einer Elektronik zur Emission von Schallimpulsen. Durch ihre Spezifikationen ist sie optimal für die Aufzeichnung und Weiterverarbeitung von bioakustischen Messdaten geeignet. Die vorhandene Elektronik soll auf bioakustische Fragestellungen adaptiert werden (7). Dazu gehört die Anpassung von Filterbausteinen und Operationsverstärkern, die Festlegung einer optimalen Samplegeschwindigkeit, das Speichermanagement, das Gehäusedesign, der Anschluss eines Displays und die Integration eines Betriebssystems (embedded Linux). Weiterhin muss die Verstärker- und Mikrofoneinheit in die Platine integriert werden (8). Für die Aufnahme einer Audiosequenz mit einer Abtastfrequenz von 44.100Hz (üblicher Wert bei Messungen im Hörbereich) und einer Auflösung von 16Bit benötigt man ca. 0.088 Megabyte pro aufgenommene Sekunde. Dieser relativ hohe Wert zeigt, dass bei Aufnahmen im Feldeinsatz ein großer Speicherbedarf zur Archivierung der Audiodateien besteht. Um die Aufnahme und Detektion mit einem Gerät bewerkstelligen zu können, muss die Mikrokontrollerplatine um eine Speicherschnittstelle erweitert werden. Durch die schnelle Entwicklung in diesem Bereich werden die genauen Spezifikationen der Schnittstelle (USB, SD, MMC) während des Projektverlaufs entschieden. Als nächstes Arbeitspaket (9) erfolgt die Programmierung des Mikrokontrollers mit den unter Punkt 6 entwickelten
9
Algorithmen. Dazu ist sowohl eine speziell an den Prozessor angepasste Entwicklungsumgebung als auch ein Emulator zum Aufspielen der Software nötig. Die genauen Spezifikationen sind unter den Sachausgaben des Antragstellers aufgeführt. Die weiteren Arbeitsschritte (10-14) dienen der Kontrolle und sukzessiven Verbesserung der Auswertelogik durch überprüfende Messungen im Labor- und Praxisbereich. Der ursprünglich geplante Aufbau einer Kornkäferzucht am BGT (10) wird nach Absprache mit der DBU nicht durchgeführt. Die notwendige Kontrolle der Auswertelogik, insbesondere während der ersten Entwicklungsphase wird mit Messungen und Ergebnissen aus der Zuchtanlage durchgeführt (11). Aufgrund der Messungen in den Zuchtanlagen ist es möglich, erste Aussagen über die Zuverlässigkeit der Ergebnisse zu treffen und Verbesserungen vorzunehmen (12). Bei zufriedenstellenden Ergebnissen erfolgt der Praxiseinsatz in Getreidelagern und der Zuchtanlage (13). Auch hier muss eine weitergehende Adaption der automatischen Auswertung erfolgen. Diese bezieht sich vor allem auf die Quantifizierung bzw. Elimination von Störeinflüssen durch entsprechende Filtertechnik (14). Endgültiges Entwicklungsziel ist eine praxistaugliche Lösung, welche automatisch Aussagen sowohl über den Befallszustand von Getreidelagern, als auch über Anzahl und Entwicklungsstadien der Getreideschädlinge Aufschluss gibt.
2.2.2 Zeitplan Die folgenden Tabellen stellen den Arbeitseinsatz des Antragstellers (BGT) und der beteiligten Kooperationspartner in den jeweiligen Projektjahren dar. Zusätzlich zu den in den Tabellen aufgezeigten projektspezifischen Arbeitsschritten ist ein Mitarbeiter des Antragstellers mit der Erstellung von Veröffentlichungen, Berichten, der Projektkoordination und Verwaltung betraut.
Arbeitsschritte 1. Projektjahr
Monat Summe
1 2 3 4 5 6 7 8 9 10 11 12
Aufbau und Erweiterung der hauseigenen Zuchtanlage (BVL)
3
Isolation verschiedener Entwicklungsstadien aus der Zuchtanlage
2
Akustische Messungen in der Zuchtanlage und im Praxisumfeld (BVL)
9
Datensichtung und Aufbau einer Datenbasis der vorkommenden Schädlingsgeräusche (BVL)
7
Vorauswahl und Beurteilung geeigneter Algorithmen (BGT)
7
Analyse der Datenbasis. Programmierung und Adaption der Auswertealgorithmen am PC (LPG)
7
10
Arbeitsschritte 2 Projektjahr
Monat Summe
1 2 3 4 5 6 7 8 9 10 11 12
Analyse der Datenbasis. Programmierung und Adaption der Auswertealgorithmen am PC (BGT)
4
Hardwareadaption des Mikrokontrollersystems (BGT)
8
Integration von Stabmikrophon und Verstärkereinheit in die Mikrokontrollerplatine (BGT, BVL))
6
Aufbau einer Kornkäferzucht am BGT (BGT, BVL)
3
Arbeitsschritte 3. Projektjahr
Monat Summe
1 2 3 4 5 6 7 8 9 10 11 12
Aufnahme und Überprüfung der vom automatischen Gerät ausgegebenen Befallszenarien in den Zuchtanlagen (BGT, BVL)
3
Sukzessive Verbesserung und Adaption der Auswertelogik (BGT)
11
Praxiseinsatz bei den Kooperationspartnern (Biopark e. V. und Schapfenmühle)
9
Elimination von Störeinflüssen und evtl. auftretenden Nebengeräuschen mittels geeigneter Filteralgorithmen, weitere Adaption der Auswertelogik an Praxisbedingungen (BGT)
8
11
2.3 Vorbereitende Arbeiten 2.3.1 Aufbau von Kornkäferzuchtstämmen und Darstellung verschiedener ‚Lebenssituationen‘ In der ersten Stufe des Projekts wurden verschiedene Kornkäferzuchtstämme aufgebaut. Eine Kornkäfergeneration umfasst 3 Monate, daher mussten im Projektverlauf immer wieder neue Stämme aufgebaut werden. Stabile Kornkäferstämme wurden über die gesamte Projektzeit erhalten, um jederzeit Praxissituationen simulieren und neue Soundsamples der entsprechenden Lebenssituationen generieren zu können. Hierbei erfolgten auch umfangreiche biologische Beobachtungen und Dokumentationen mit Hilfe von Stereomikroskopen. Die aufgenommenen Geräuschspektren wurden mit der jeweiligen Lebenssituation korreliert. „Lebenssituation“ umfasst das Larvenstadium innerhalb der Getreidekörner (Abb. 3a) sowie Bewegungsgeräusche adulter Kornkäfer (Abb. 3b) im Getreide, sowie das Anbohren der Körner durch Weibchen zur Eiablage (Abb. 3c).
Abbildung 3: (a) Befallene Getreideprobe; (b) Anbohren des Getreidekorns; (c) Adulter Kornkäfer
Die Weibchen bohren die einzelnen Getreidekörner an und legen pro Korn ein Ei. Anschließend wird das Bohrloch wieder verschlossen, so dass der Eingriff von außen nicht mehr sichtbar ist. Der adulte Kornkäfer hat eine Länge von ca. 2,5mm. Die Dauer des Entwicklungszyklus wird durch die Umgebungsbedingungen bestimmt. Der Käfer selbst ist im Vergleich zur Schwesternart dem Reiskäfer nicht flugfähig. Dies bedeutet für die Ökologie des Käfers, dass der Befallsherd nur sehr lokal auftritt.
2.3.2 Sensorentwicklung Die Anlieferung, bzw. die Lagerung von Getreide ergibt 2 Anwendungsszenarien für den zu entwickelnden Sensor. Bei der kontinuierlichen Überwachung von Lagerstätten/-Beständen ist eine stationäre Anwendung in Form von Probensensoren sinnvoll. Eine Getreideprobe wird entnommen, und die Messung wird vom Rest isoliert durchgeführt. Die stationäre Anwendung ist aus zeitlichen Gründen bei der Wareneingangskontrolle nicht anwendbar, da die Anlieferung und Einlagerung von Getreide im Minutentakt erfolgt. Um Einschleppung von infiziertem Getreide zu vermeiden, ist eine Zwischenlagerung in einem Quarantänelager in der Regel nicht realisierbar. Hieraus ergibt sich die Notwendigkeit von Schnell-Scans mittels Handgerät in Form eines Lanzensensors. Der Lanzensensor wird in das Getreidegut eingeschoben, ermöglicht flexible und schnelle Messungen, führt aber zu höheren technischen Herausforderungen, da Nebengeräusche beim Anlieferungsprozess in der Regel höher sind als im reinen Lagerbetrieb. Aufgrund der unterschiedlichen Anwendungsbedingungen in der Praxis wurden sowohl Lanzensensoren mit Teleskopstange (Abb. 4) als auch Probensensoren entwickelt.
12
Abbildung 4: Abbildung eines Lanzensensors
Nicht nur die Anwendungsform, auch die Auswahl des Messprinzips des zu verwendenden Sensors spielt eine wichtige Rolle für den Erfolg der Projektdurchführung. Prinzipiell stehen für die Aufnahme der bioakustischen Signale Luftschall- und Beschleunigungssensoren zur Verfügung. Das beste Signalabbildungsverhältnis haben die breitbandigen Luftschallsensoren, d.h. sie bilden das Signal komplett bei der Digitalisierung ab (Abb. 5). Allerdings werden überlagernde Störquellen ebenso gut abgebildet. Zudem sind die Fraßgeräusche der Kornkäfer sehr breitbandig und frequenzmoduliert, wodurch eine Filterung erschwert wird. Beschleunigungssensoren arbeiten auf der Basis von Piezokontaktsensoren und weisen eine gute Empfindlichkeit von mehreren kHz um die Resonanzfrequenz auf. Bei Aufnahmen mit Piezokontaktsensoren wird allerdings nicht das gesamte Signal abgebildet. Abbildung 5 veranschaulicht die aufgenommenen Signale beider Sensoren.
Abbildung 5: Vergleich der Signale von Beschleunigungssensor (links) und Luftschallsensor (rechts)
Um eine abschließende Bewertung durchzuführen, welcher Sensor für die Erreichung der Ziele besser geeignet ist, wurden die Signale beider Mikrophon-Sensoren, wie in Abschnitt 2.3.3 beschrieben, weiterverarbeitet und analysiert.
2.3.3 Bewertung der Mikrophon-Sensoren Bei den zwei untersuchten Sensortypen handelte es sich um einen Luftschall- und einen Piezokontaktsensor. Kornkäfersignale wurden mit beiden Sensoren aufgenommen und anschließend in der Zeit- und Frequenzdomäne analysiert, um den geeigneteren Sensor auszuwählen. Die Signalanalyse der Sensoren in der Zeitdomäne betraf Übereinstimmungen, Ähnlichkeiten und Zeitverzögerungen von Peaks. Dies ist in Abbildung 6 dargestellt.
13
(a)
(b)
(c)
Abbildung 6: Vergleich der Signale des Luftschall- und des Piezokontaktsensors. (a) Beide zeigen die gleiche Signalenergie. (b) Die Ähnlichkeit wird über den Korrelationskoeffizienten festgestellt, (c) die Zeitverzögerung wird über den Abstand zweier Peaks bestimmt.
Die höchste Abweichung bei den Signalamplituden liegt bei 15%, wobei der Korrelationskoeffizient zwischen den Signalen 0,211 beträgt. Die Signale des Piezokontaktsensors weisen eine Zeitverzögerung zu den Signalen des Luftschallsensors auf. Die Zeitverzögerung beträgt wenige Millisekunden und ist in Tabelle 1 dargestellt.
Tabelle 1: Zeitverzögerung zwischen den Signalen des Piezokontaktsensors und des Luftschallsensors.
Peaks Luftschallsensor [s] Peaks Piezokontaktsensor [s] Zeitverzögerung [s]
0,5779 - -
3,564 - -
5,4482 5,4501 0,0019
6,0779 6,0797 0,0018
9,555 9,5569 0,0019
10,1842 10,1859 0,0017
10,4669 10,4688 0,0019
14,0176 14,0194 0,0018
14,9817 14,9835 0,0018
19,1227 19,1246 0,0019
22,5532 22,555 0,0018
Die Anzahl der aufgenommenen Kornkäfergeräusche ist in einem mit dem Luftschallsensor aufgezeichneten Signal höher. Im direkten Vergleich mit dem Piezokontaktsensor ist im Frequenzbereich das Rauschen der Signale des Luftschallsensors geringer und das Leistungsspektrum höher (vgl. Abb. 7). Die Ergebnisse zeigen folglich, dass der Luftschallsensor besser für die geplante Anwendung geeignet ist.
14
(a)
(b)
(c)
(d)
Abbildung 7: Analyse des Signals im Frequenzbereich. (a) Leistungsspektrum der Luftschallsonde, mit Rauschen b) ohne Rauschen. (c) Leistungsspektrum der Piezosonde ohne Rauschen (d) mit Rauschen.
2.3.4 Aufnahme von Referenzsignalen Um Störquellen zu vermeiden, erfolgte die Aufnahme von Referenzsignalen in einem schalltoten Raum. Die Detektion der Schallsignale von Insekten mit 2,5mm Körperlänge bringt die Herausforderung mit sich, die sehr geringe Energie der Schallemissionen zu verstärken. Bei herkömmlichen Vorverstärkern unterbindet das Eigenrauschen der elektronischen Bauelemente die Trennung von Rauschen und Signal. Des Weiteren kann das Signal von Fremdsignalen überlagert werden. Als Vorverstärker kamen Laar WD60 Geräte mit verschiedenen Sensoren zum Einsatz. Der Frequenzbereich des Vorverstärkers reicht von 5Hz bis 120kHz mit einer Verstärkung von 70dB. Die Digitalisierung erfolgte mit Mehrkanalaufnahmesystemen vom Typ Edirol FA-101. Mit FA-101 sind Abtastraten von 192kHz/s möglich, was einen Aufnahmebereich bis 90kHz zulässt. Abbildung 8 zeigt die Aufnahme eines Referenzsignals.
Abbildung 8: Aufnahme eines Referenzsignals
15
2.3.5 Signalverarbeitung Schritt 1: Sound-Aufnahme und Vektorisierung Die Aufnahmen wurden im .wav-Format auf einem Rechner gespeichert, in MATLAB® mit 96.000Hz abgetastet und die Amplituden in Signal-Vektoren gespeichert (vgl. Abb. 11).
Abbildung 9: Aufgenommenes Signal mit einer Abtastfrequenz von 96.000Hz und anschließender Konvertierung in Vektoren für die mathematische Weiterverarbeitung.
Schritt 2: Entfernung geräuschloser Abschnitte Geräuschlose Passagen am Anfang oder am Ende der Signalvektoren wurden entfernt.
Schritt 3: Rauschunterdrückung in den Signalen Um das Frequenzband mit dem besten Signal-Rauschen-Verhältnis zu finden und dort Rauschen zu unterdrücken, wurden Untersuchungen zur Frequenz-Darstellung der Signale durchgeführt. Die Signale deckten einen Frequenzbereich von 0 bis 35.000Hz ab (Abb. 10), woraus Banden separiert wurden. Daraus wurden Bandpassfilter mit 15.000Hz bis 20.000Hz für den Luftschallsensor bzw. 10.000Hz bis 12.000Hz für den Piezokontaktsensor entwickelt, da diese Frequenzbänder das beste Signal-Rausch-Verhältnis zeigten.
16
Abbildung 10: Untersuchung der Signale für verschieden Frequenzbänder für die Entwicklung eines geeigneten Bandpassfilters: a) Luftschallsensor b) Piezokontaktsensor.
Schritt 4: Segmentierung Die aufgenommenen Signale wurden in der Zeitdomäne in Fenster der Breite L unterteilt. Diese Fenster liefen mit 60%, 70%, 80% und 90% Überlappung über das Schallsignal (Abb. 11), wobei der Einfluss der überlappenden Anteile auf die Detektion berücksichtigt werden muss. Die Überlappung ist nötig, um bei der Betrachtung der einzelnen Fenster keine Signalinformationen zu verlieren.
Abbildung 11: Schematische Darstellung für die Aufteilung des aufgenommenen Geräusches mittels eines Fensters mit 90 % Überlappung.
Schritt 5: Extraktion der Merkmale im Zeitbereich Eine Liste der zeitlichen Merkmale ist in Anhang A1 angegeben. Diese wurden für jedes Fenster extrahiert, um eine zeitliche Verteilung der Merkmale entlang des aufgezeichneten Signals zu erhalten. Dabei wurden drei nicht-indikative Merkmale verwendet: (1) roll-off, Beschreibung der Zeit, bei der 90% der Energieverteilung konzentriert ist, (2) die Steigung der Signal-Amplitude die durch lineare Regression
17
berechnet wurde, sowie (3) die Ausbreitung der Signalamplituden um ihren Mittelwert. Sie zeigten die höchste Sensitivität bezüglich der Kornkäfergeräusche.
Transformationen in den Frequenzbereich Um die Signale in den Frequenzbereich zu transformieren, wurden 2 Ansätze untersucht, die Fourier- und die Wavelet-Transformation. Letztere besitzt eine geringere Auflösung bei niedrigen Frequenzen, während erstere eine konstante Auflösung über den gesamten Frequenzbereich liefert (vgl. Abb. 12). Da die meisten Kornkäfergeräusche eine niedrige Frequenz in Bezug auf die Abtastrate aufweisen, wurde die Fourier-Transformation angewendet.
Abbildung 12: Vergleich der erreichten Auflösung zwischen der Fourier-Transformation (links) und der Wavelet-Transformation (rechts).
Für die Extraktion der spektralen Merkmale wurde jedes Fenster durch eine geeignete Fensterfunktion skaliert und unter Verwendung der Fast-Fourier-Transformation (FFT), Gleichung (1), in den Frequenzbereich transformiert. � = ∑�
= . . − �� = , , … ,
Die Frequenzachse wurde in 2.048 Punkte aufgeteilt, beginnend bei 0Hz (DC-Wert) und endend bei 96.000Hz (Abtastrate). Aufgrund der Symmetrie des Spektrums wurde die Hälfte der Abtastraten-Linien vernachlässigt und nur das Spektrum entsprechend den ersten 1.024 Stellen in Betracht gezogen, welches adäquate Daten lieferte. In einem späteren Stadium des Projektes wurde die Anzahl der Frequenz-Bins auf 64 reduziert, was den Berechnungsaufwand allerdings auch die Detektionsgenauigkeit reduzierte.
Schritt 6: Die Anwendung der Fensterfunktion Bei der FFT wird angenommen, dass ein Signal periodisch verläuft. Ist dies nicht der Fall und die FFT stößt auf ein nicht periodisches Signal (dies trifft auf die meisten Signale zu), kommt es zu Spektral-Leckagen, was eine Reduktion der Frequenzauflösung zur Folge hat. Die Fensterfunktion hat die Aufgabe einer besseren Darstellung des Frequenzspektrums mit gleichzeitiger Reduzierung der Spektral-Leckagen bzw. Erhöhung der Frequenzauflösung. Abhängig von der Aufgabe wurden verschiedene Fensterfunktionen verwendet, von der jede eine etwas andere Wellenform abbildet. Dies ändert die Leistung im Frequenzbereich, hier gilt der Grundsatz, dass die Frequenzauflösung umso besser ist, je enger die Funktion verläuft (Abb. 13). Zudem gilt, je höher die Reduktionsrate zwischen Haupt- und erster Seitenfunktion ist, desto weniger Leckage entsteht im Spektralbereich um die zentrale Frequenz.
18
Abbildung 13: Die Darstellung der häufigsten Fensterfunktionen im Zeit- (links), und Frequenzbereich (rechts). (a) zeigt die Hauptfunktion des Spektrums, (b) die erste Seitenfunktion.
Die Effizienz der Fensterfunktionen entsprechend ihrer Frequenzauflösung und ihrer Leckagen ist in Tabelle 2 dargestellt.
Tabelle 2: Darstellung der Effizienz der Fenster-Funktionen mit Frequenzauflösung und Leckage.
Fenster Frequenzauflösung Leckage Verringerung
Hamming Gut Befriedigend
Hanning Gut Gut
Blackman Ungenügend Sehr gut
Flat top Ungenügend Gut
Rectangular Sehr gut Ungenügend
Das rechteckige Fenster wurde verwendet, um die spektralen Eigenschaften der Hochfrequenz-Auflösung (z.B. Spektraler roll-off) zu berechnen. Das Blackmann-Fenster wurde verwendet, um die spektralen Eigenschaften zu berechnen, wenn geringe Spektralleckage für die Berechnung nötig ist (z.B. spektraler Schwerpunkt).
Schritt 7: Extraktion der Frequenz-Merkmale Nach der Anwendung der FFT für die in der Zeitdomäne bestimmten Fenster wurden Merkmalen aus der Frequenzdomäne (spektrale Merkmale) extrahiert. Die Liste der Frequenzmerkmale befindet sich im Anhang A2.
Schritt 8: Algorithmus zur Merkmalsauswahl In den Kornkäfer-Signalen zeigten sich mehrere Features unverwechselbar und repräsentativ für bestimmte Tätigkeiten. Allerdings wurden auch Features detektiert, über die keine Aussage getroffen werden konnte. Der Zweck des Algorithmus war es, die dominierenden Merkmale mittels zweier Kategorien zu gliedern: Feature-Ranking (Peng et al. 2005) und Untergruppenauswahl (Singhi & Liu 2006). Feature-Ranking gliederte die Eigenschaften mit Hilfe einer Metrik und eliminierte alle
19
Funktionen, die keine ausreichende Anzahl an Punkten erreichten. Die Untergruppenauswahl durchsuchte die Menge der möglichen Merkmale für die optimale Untergruppe und entfernte alle irrelevanten und redundanten Funktionen. Bei der Anwendung des Feature-Ranking wurden die zeitlichen und spektralen Merkmale für 40 Kornkäfer-Soundstreams extrahiert und anschließend die Mittelwerte der Merkmale berechnet. Ein Merkmal wurde als dominant gewählt, wenn der Mittelwert eine geringere Abweichung als 5% für 80% des untersuchten Soundstreams aufwies. Der Algorithmus (Abb. 14) wurde für Fenster mit einer 90 % Überlappung umgesetzt. Die acht ausgewählten Merkmale waren: temporal energy, temporal entropy, temporal spread, temporal crest factor, temporal slope, spectral energy, attenuation, spectral slope.
Abbildung 14: a) Darstellung für den Feature-Auswahl-Algorithmus. (b) Ablaufschema für den Feature-Auswahl-Algorithmus. (po) Prozentsatz der Frame-Überlappung für einen Frame von 4 ms, (j) die Nummer des Sets, (n) die Gesamtzahl der extrahierten Merkmale.
Schritt 9: Berechnung der Feature-Statistik Da die Features für jedes Fenster berechnet wurden, gab es Werte, die aufgrund der Überlappung der Fenster mehrfach vorkamen. Um nur einen Wert für alle Features aus einem Klangmuster zu erhalten, wurde ihr Mittelwert nach Gleichung 2 berechnet,
�� = ∑�=�
wobei der Werte der Features in Frame i und K die gesamte Anzahl an Frames ist.
2.4 Ergebnisse und Anwendung 2.4.1 Erzeugung der Datenbank für das Erfassungssystem
20
Die zur Verfügung gestellten Tonaufnahmen mit einer Länge von 4ms enthalten Signale mit und ohne Kornkäfergeräusche (Abb. 15). Aus diesen Streams werden 455 Tonproben mit (4ms=0,004*96.000=384 Punkte) und 455 Tonproben ohne Geräusche gesammelt.
Abbildung 15: Ein Signal, welches Kornkäfergeräusche (Peaks) und Passagen ohne Käfergeräusche beinhaltet.
Für jedes „Geräuschmuster“ und jedes „Nicht-Geräuschmuster“ werden die acht ausgewählten Features extrahiert. Die Datenbasis, die für den Kornkäfer-Detektor genutzt wird, besteht aus 2*455*8=7.280 Werten, wobei die Hälfte Geräusche von Kornkäfern enthielt, während die andere Hälfte keine Geräusche enthielt.
2.4.2 Entwurf des neuronalen Netzwerks Die ausgewählten acht Merkmale werden aus Signalen mit einer Länge von 4ms extrahiert, um anschließend eine Entscheidung zu treffen. Stimmen die Merkmale mit den Werten der Datenbank überein, wird der Ton als Kornkäfergeräusch behandelt. Um diese Aufgabe zu erfüllen, wird ein neuronales Netzwerk (KNN) (Abb. 16) entworfen und trainiert. Das KNN besteht aus einer Eingangsschicht mit acht Neuronen (für die Features), einer verborgenen Schicht mit fünf Neuronen und einer Ausgabeschicht mit einem Neuron (für {0,1} Entscheidungen).
Abbildung 16: Neuronales Netz mit drei Schichten, acht Neuronen in der Eingangsschicht, fünf in der verborgenen Schicht und einem in der Ausgangsschicht.
Ein Neuron besteht aus einer Summation und einer Transferfunktion, vgl. Abbildung 17.
21
Abbildung 17: Aufbau eines Neuron n=p*w+b. Wobei w und b das Gewicht und den Biasdarstellen. f steht für die Übertragungsfunktion.
Für die Neuronen der Eingangsschicht wird die TAN-Transferfunktion verwendet (Gleichung 3). � = + − −
Für die Neuronen der verdeckten Schicht wird eine LOG-Transferfunktion genutzt (Gleichung 4). � = + −
Das KNN wird mit 60% aller Daten trainiert. Für die Entwicklung des KNN wird ein Backpropagations-Algorithmus verwendet, der die Gewichtung und den Bias jedes Neurons so lange variiert, bis der Fehler zwischen gewünschter und tatsächlicher Aussage minimal ist. Das Training ist beendet, sobald der Gesamtfehler des KNN minimal ist (hier: 9,11×10-15), und die Gewichtung und der Bias wird gespeichert. Das KNN ist in der Lage alle Trainingsdaten korrekt zu erkennen.
2.4.3 Testen des Erfassungssystems Weitere 10% der Datenbank werden verwendet, um das KNN zu validieren, und 30%, um das KNN zu testen. Insgesamt werden 93 % der Daten korrekt erkannt (s. Tabelle 3).
Tabelle 3: Gegenüberstellung der Datenbasis und der korrekt detektierten Käfergeräusche.
Datenbasis Korrekt detektiert
Kornkäfergeräusche 91 87
Keine Kornkäfergeräusche 91 83
Bei der Anwendung des entwickelten KNN auf kontinuierliche Soundstreams werden ebenfalls gute Ergebnisse erzielt. In Abb. 18 ist das Ergebnis eines Streams dargestellt.
22
Abbildung 18: Ergebnis des KNN für einen Audio-Stream von 35 Sekunden Länge. Das KNN erkennt alle von Käfern stammenden Signale.
2.4.4 Implementierung der Käferdetektion auf einem Mikrokontroller (MC) und Entwicklung eines Handgerätes Nach Validierung und Prüfung der entwickelten Algorithmen wird der MATLAB® Code für den MC in C++ übertragen. Verwendet werden 32-Bit-Blackfin-MC sowie 8-Bit-ATXmega-MC (Abb.19).
Abbildung 19: ATXmega 128A1 8-Bbit- und AVR UC3C0512C1 32-Bit-Mikrokontroller. Der 32-Bit-Blackfin-MC ist für die Berechnung komplexer Zahlen sehr gut geeignet, da 8 Bit für die Berechnung des Realteils und 8 Bit für die Berechnung des Imaginärteils notwendig sind. Der 8-Bit-ATXmega-MC enthält aufgebohrte Prozessoren, die dadurch in der Lage sind, 16-Bit-Werte zu verarbeiten. Die Rechengeschwindigkeiten beider MCs sind in Tabelle 4 dargestellt.
Tabelle 4: Vergleich der Rechengeschwindigkeiten eines 8-Bit und eines 32-Bit ATMEL Mikrokontrollers
Nummernformat Rechengeschwindigkeit
16 bit 32 bit MC 8 bit MC
23
0.453 µs 1.569 µs
Die Berechnung des 32-Bit-MC verläuft schneller, hat dabei aber einen höheren Stromverbrauch (>1A) als der 8-Bit-MC (140-180mA). Der geringere Stromverbrauch sowie der niedrigere Preis wären für ein Handgerät von großem Vorteil und wurden daher als Entscheidungskriterium zu Grunde gelegt. Die für die FFT benötigten Berechnungen mit komplexen Zahlen müssen auf einem 8-Bit-MC in Reihe durchgeführt werden, ein 32-Bit-MC kann sie parallel vornehmen. Da der 8-Bit-MC langsamer ist als der 32-Bit-MC, wird die Anzahl der verwendeten Frequenz-Bins von 1024 auf 64 reduziert. Das beschleunigt die Berechnung, verschlechtert jedoch die Detektionsgenauigkeit (86% statt 93%). Die Rechenzeit beträgt 40 Sekunden, um eine Entscheidung für ein 4ms-Signal zu berechnen. Alle Funktionen des Detektionsalgorithmus werden integriert (FFT, Bandpassfilterung, Inverse FFT, KNN) und auf den 8-Bit-MC programmiert, wobei die Entscheidung des KNN über die Anwesenheit und Abwesenheit von Kornkäfern mittels LED angezeigt wird. Die acht LED auf dem Evaluations-Board des Mikrokontrollers (Abb. 20) werden folgendermaßen charakterisiert:
1- leuchtet, wenn erste FFT beendet ist 2- leuchtet, wenn IFFT beendet ist 3- leuchtet nach Berechnung der zweiten FFT 4- leuchtet nach Beendung der Feature Extraktion 5- leuchtet, wenn Kornkäfer erkannt ist 6- nicht belegt 7- leuchtet, wenn keine Kornkäfer vorhanden sind 8- nicht belegt
("O" kennzeichnen die LED's auf dem Board)
------------DATA IN PDI----USB-----
| O (1) (5) O |
| O (2) (6) O |
| O (3) (7) O |
| O (4) (8) O |
-----------------------------------------
Abbildung 20: Beschreibung der Nomenklatur der 8 LED auf dem Board des Mikrokontrollers
Während der Berechnung werden die LED automatisch ein- und ausgeschaltet (Abb. 21).
24
Abbildung 21: Abbildung des 8-Bit MC-Prototypen. Zu Beginn sind alle LED angeschaltet, bis die Verarbeitung der ersten FFT beendet ist. Anschließend leuchtet nur die erste LED und so weiter. Wird ein Kornkäfergeräusch erkannt, leuchtet LED 5, sonst LED 7.
Um den Hauptprozessor zu entlasten, werden drei RISC-Prozessoren eingesetzt, des Weiteren verfügen die Geräte über folgende Spezifikationen:
einen 16-Bit Mess-ADC einen 10-Bit DAC einen Mikrokontroller zur Überwachung der Umweltbedingungen, zur
Realisierung von Schutzschaltungen im Sensor und im Vorverstärkermodul einen Mikrokontroller zum Treiben des Grafikdisplays zur Berechnung und
Aufbereitung der Grafikdaten einen Mikrokontroller gekoppelt mit einem 8 MB SD-Ram für Datenpufferung
und Rechenoperationen Des Weiteren stehen ein SD-Card-Slot mit wechselbarer SD-Karte zur
Datenspeicherung sowie ein interner Mikro-SD-Card-Slot zur Verfügung. auf dem Gerätedaten und Referenz-Aufnahmen abgelegt werden.
Damit ist ein erster Prototyp entwickelt worden, der Kornkäfer detektieren kann. Die Detektion und Entscheidung des KNN läuft dabei automatisch ab, indem das Signal als .txt-Datei auf den Mikrokontroller geladen wird. Um die Signalaufnahme zu automatisieren, muss zusätzlich ein Schallaufnehmer (Mikrophon) zusammen mit einer Verstärkereinheit in den MC integriert werden.
2.4.5 Diskussion der Ergebnisse Durch den Umzug der Forschungsstelle von der Universität Hohenheim, Stuttgart (LPG), an die Technische Universität München, Freising (BGT), hat sich das Projekt allgemein um ca. drei Monate verzögert. Dabei wurde auch der Projektstart nach Projektbewilligung wiederholt hinausgeschoben. Dies erschwerte den Aufbau einer stabilen Kornkäferzucht (typischer Entwicklungszyklus ca. 3 Monate), da regelmäßig Ersatzmaterial bei lokalen Landwirten und Lagerbetrieben beschafft werden musste. Laut Antrag sollte der Projektpartner Biopark die Aufgabe übernehmen, die Kornkäferzucht zu beaufsichtigen und aufrechtzuerhalten. Des Weiteren war geplant, dass eine Kornkäferzucht am BGT aufgebaut wird. Aufgrund des Ausstiegs von Biopark aus dem Projekt und nach Absprache mit der DBU übernahm BVL die Kornkäferzucht. Der Kooperationspartner Schapfenmühle sorgte für die Bereitstellung und Sortierung der Käfer für die Weiterzucht und die Signalaufnahme bei BVL. Die bei BVL aufgenommenen Signale wurden dann an BGT zur weiteren Auswertung weitergeleitet. Die detaillierten Tätigkeitsberichte der Forschungsstellen und von Schapfenmühle befinden sich im Anhang A3. Ziel des Projektes ist es, in einem vorwettbewerblichen Kontext eine praxistaugliche Lösung zu entwickeln, um Kornkäferbefall in Getreide zu detektieren. Alle dafür im
25
Antrag geforderten notwendigen Arbeitsschritte, wie die Kornkäferzucht, der Aufbau einer Kornkäfergeräuschdatenbank, die Auswahl des Mikrophons, die Bestimmung und Extraktion der bestgeeignetsten Merkmale, die Entwicklung der Klassifizierungsmethode sowie die Implementierung der notwendigen Algorithmen auf einen Mikrokontroller, sind erfolgreich bearbeitet und umgesetzt worden. Für eine gute Detektionssicherheit muss die Genauigkeit möglichst hoch sein (>90%) und Nutz- und Störsignal müssen eindeutig voneinander unterschieden werden können (gutes Signal-Rauschen-Verhältnis). Die Ergebnisse zeigen, dass mehr als 93% der Testdaten korrekt detektiert werden. Somit ist das Ziel erreicht, ein lernendes System zu entwickeln, das bei der Entscheidung auf eine bekannte Datenbasis zurückgreift. Das entwickelte Messsystem ist in der Lage, aufgenommene Signale in Form einer .txt-Datei automatisch auszuwerten und Kornkäfer zu detektieren. Eine LED zeigt am Ende der Berechnung an, ob Kornkäfer detektiert werden oder nicht. Allerdings muss für eine automatisierte Signalaufnahme noch eine Stromversorgung (Batterie) und eine Mikrophoneinheit einschließlich Verstärker in den Mikrokontroller integriert werden. Die Bioakustik stellt komplexe Anforderungen an die digitale Signalanalyse. Die Entwicklung eines Systems, das zuverlässig und genau Kornkäfer detektiert, ist dabei zeit- und ressourcenintensiv, und die Detektionsgenauigkeit variiert im Verlauf der Entwicklung. Dabei hat die Auswahl von Hardware und Software gravierende Auswirkungen auf die Detektionsgenauigkeit der Auswertung. Diese nimmt ab, da aufgrund des kleineren Mikrokontrollers weniger Frequenzbins (64 statt 1024) verwendet werden können. Dies verringert die Signalauflösung und damit auch die Detektionsgenauigkeit. Da aber die Entwicklung eines praxistauglichen Apparates mit geringem Stromverbrauch im Vordergrund stand, wurde der 8-Bit MC-Prototyp verwendet.
2.5 Öffentlichkeitsarbeit In direktem Zusammenhang zur Detektion von Käfern befindet sich ein Artikel für eine Fachzeitschrift in Vorbereitung. Weitere Veröffentlichungen beziehen sich auf die Anwendung der im Projekt entwickelten Feature-Extraktion und sind in Zeitschriften mit Review-Prozess veröffentlicht. Die Beratung interessierter Unternehmen wird durch die Forschungsstellen ermöglicht. Ebenso werden die Ergebnisse in die akademische Lehre bzw. berufliche Aus- und Weiterbildung übernommen (u.a. im Rahmen folgender Veranstaltungen: Vorlesung Getreidetechnologie und Rohstoffe des Brauwesens an der TU München).
2.5.1 Veröffentlichungen Hussein, W. B., von Laar, B., Hussein, M. A., Becker, T.: Possibilities and difficulties involved in the bioacoustics detection of grain weevils. (In preparation). Im Folgenden sind Publikationen aufgelistet, in denen die digitale Signalverarbeitung auf andere Forschungsbereiche angewandt wird: Wallhäußer, E., Hussein, W. B., Hussein, M. A., Becker, T.: On the usage of acoustic properties combined with an artificial neural network - a new approach of determining presence of dairy fouling type A. Journal of Food Engineering 103 (2011), 449-456.
26
Elfawakhry, H., Hussein, M. A., Becker, T.: Characterization of Cereal Dough by an Innovative Ultrasonic Measuring Approach. 5th International Technical Symposium on Food Processing, Monitoring technology in Bioprocesses and Food Quality Management, Potsdam, Germany, 2009-09-01. Krause, D., Schöck, T., Hussein, M.A., Becker, T.: Ultrasonic characterisation of aqueous solutiosn with varying sugar and ethanol content using multivariate regression methods. Journal of Chemometrics 25 (2011), 216-223. Hoche, S., Hussein, W.B., Hussein, M.A., Becker, T.; Time of flight prediction for fermentation process in-line application. Engineering in Life Sciences 11 (2011), 417-428
2.5.2 Wissenstransfer zwischen den Forschungsstellen Austausch des entwickelten Codes samt notwendiger Subroutinen (von BGT
an BVL) Austausch der Mikrokontroller (8-Bit bzw. 32-Bit von BGT an BVL bzw.
umgekehrt) Bereitstellung verschiedener Signale und Daten für die Entwicklung der
Signalauswertung (von BVL an BGT) Regelmäßige, mehrtägige Treffen mit Bereitstellung des Protokolls
2.5.3 Umsetzung in die Wirtschaft Die Anwendung eines preisgünstigen Handgerätes zur Detektion des Kornkäfers bei der Anlieferung des Getreides mittels bioakustischer Detektion in einer frühen Phase des Befalls verringert die ökonomischen Schäden insbesondere für kleine und mittlere Unternehmen stark und erlaubt diesen dadurch eine Verbesserung ihrer Wettbewerbssituation. Dabei garantieren die Projektpartner, den entwickelten Code an interessierte Firmen weiterzugeben. Auf der Basis des erfolgreich entwickelten Konzepts und des Wissenstransfers in die Wirtschaft besteht die Möglichkeit durch KMU, innerhalb eines Zeithorizontes von ein bis zwei Jahren ein Handgerät industriell einzusetzen. Dabei können landwirtschaftliche Betriebe sowie weitere in der Landwirtschaft tätige Betriebe von diesem Handgerät profitieren.
2.6 Fazit Für Unternehmen und Forschungseinrichtungen mit Interesse an der Bioakustik-Detektion besteht der Bedarf eines Messsystems zur automatischen Erkennung von Schädlingen. Um eine praxistaugliche Lösung zu entwickeln, wurden mehrere Konferenzen und Workshops besucht, um mögliche Ideen und Lösungen zu diskutieren. Entwickelte Algorithmen und Features wurden zudem in vielen weiteren Mustererkennungsproblemen umgesetzt. Zudem wurden die Herausforderungen einer Geräteentwicklung zur Detektion von Schädlingen untersucht. In Zusammenarbeit mit Mikrokontroller-Design-Unternehmen, Signalverarbeitungs- und Elektronik-Instituten in Deutschland wurden die Probleme bezüglich Sensorik, Signalfilterung und Feature-Extraktion diskutiert und Lösungen entwickelt. Die Kornkäfer-Detektion erfolgt in zwei separaten Schritten. Zunächst wird das bioakustische Signal mittels eines Sensors detektiert und anschließend mit Hilfe des Mikrokontrollers analysiert. Durch Kombination von Mikrokontroller und Signaldetektor kann die Detektion mit einem Handgerät durchgeführt werden. 8-Bit-Mikrokontroller bieten einen akzeptablen Stromverbrauch, sind jedoch in ihrer
27
Rechenkapazität beschränkt. Dies führt zu langen Analysezeiten bei einem reduzierten Analysepotential und zu einer reduzierten Genauigkeit für eine erfolgreiche Detektion. Mit 32-Bit-Mikrokontroller fallen viele Beschränkungen weg (es existieren Modelle mit eingebautem Mikrophon), eine Realisierung bei akzeptablem Stromverbrauch konnte jedoch bisher nicht getestet werden. Die Ergebnisse zeigen, dass die zur Verfügung gestellten Geräuschspektren alle Klangmuster enthalten, die durch Käfer verursacht werden. Die Entwicklung bioakustischer Detektionsalgorithmen wird an den Forschungsstellen fortgesetzt, um das entwickelte System durch Training mit weiteren Klangmustern zu verbessern. Ebenso ist geplant, die zweistufige Detektion mit einem 32-Bit-Mikrokontroller zu realisieren. Als zielführend wird die Untersuchung geeigneter Mikrokontroller mit niedrigem Stromverbrauch und leistungsstärkere Stromversorgungskonzepte angesehen. Die akustischen Aufnahmen von Käfern zeigen Signale mit zeitlichen und spektralen Merkmalen, die eine eindeutige und einfache Detektion ermöglichen. Der Lösungsansatz des Projektes basiert auf der Annahme, dass durch die Kombination dieser markanten spektralen und zeitlichen Merkmale Messgrößen definiert werden können, mit denen eine automatische Detektion des Käferbefalls möglich ist. Der entwickelte Mikrokontroller (8-Bit) kann Kornkäfer anhand ihrer ausgesandten Geräusche mit einer Genauigkeit von 86 % erkennen. Zu Projektende steht ein praxistaugliches Gerät zur Verfügung, mit dem es möglich ist, ein eingelesenes akustisches Signal auszuwerten und eine Entscheidung bezüglich der Anwesenheit, bzw. Abwesenheit von Kornkäfern zu treffen. Dabei muss das aufgenommene Signal bislang als .txt-Datei auf den Mikrokontroller geladen werden, dann wird es mit dem oben detailliert beschriebenen Algorithmus ausgewertet und anschließend trifft das KNN eine Entscheidung. Bislang kann immer nur ein Signal nach dem anderen eingelesen und ausgewertet werden, eine automatische Signalaufnahme ist zur Zeit noch nicht möglich, da die Integration eines Mikrophons bis zum Projektende nicht realisiert werden konnte. Des Weiteren wurden alle relevanten Grundlagen für die Signalverarbeitung für einen 32-bit Kontroller erarbeitet. Dieses System erlaubt eine kontinuierliche Signalaufzeichnung und eine leistungsstarke, simultane Signalverarbeitung. Auch für das 32-bit System konnte die Integration der Signalaufzeichnung bis zum Projektende nicht realisiert werden. Für zukünftige Anwendungen mit dem 32-bit System wird empfohlen, das integrierte Mikrophon auf Potential zur Aufzeichnung bioakustischer Signale zu testen. Damit steht sowohl die Möglichkeit zur Detektion von Schädlingen in Lagern und Silos, als auch zur Qualitätssicherung bei der Rohstoffanlieferung zur Verfügung. Der Schädlingsbefall kann frühzeitig entdeckt bzw. möglicherweise verhindert werden. Punktuelle Befallszentren können vom Lagerbestand entfernt und damit die Populationsdynamik der Schädlinge wesentlich verlangsamt werden. Der Einsatz toxischer Begasungsmitteln kann nachhaltig reduziert bzw. möglicherweise verhindert werden.
3. Literaturverzeichnis
Andrieu, A. J. & Fleurat-Lessard, F. (1990). Insect noise in stored foodstuffs. Compact disk, INRA, Versailles, France.
Drosopoulos, S. & Claridge, M. (2006). Insect sounds and communication. Physiology, behaviour, ecology and evolution. CRC Press LLC, New York, USA.
28
Hetzroni, A., Mizrach, A., Nakache, Y. & Soroker, V. (2004). Developing Spectral Model to Monitor Activity of Red Palm Weevil. Alon Hanotea, 58(10), 466-469.
Mankin, R. W., Shuman, D. & Coffelt, J. A. (1997). Acoustic counting of adult insects with differing rates and intensities of sound production in stored wheat. Journal of Economic Entomology, 90(4), 1032-1038.
Mankin, R. W., Osbrink, W. L. , Oi, F. M. & Anderson, J. B. (2002).Acoustic Detection of Termite Infestations in Urban Trees. Journal of Economic Entomology, 95(5), 981-988.
Mankin, R. W., Hubbard, J. L. & Flanders, K. L. (2007). Acoustic indicators for mapping infestation probabilities of soil invertebrates. Journal of Economic Entomology, 100(3), 790-800.
Mizrach, A., Hetzroni, A., Nacashe, Y. & Soroker, V. (2003). Acoustic detection of Red Palm Weevil activity in the tree trunk. Proceeding of the International Congress on Information Technology in Agriculture, Food and Environment (Ed. by Sindir, K. O.). P.25. Izmir, Turkey.
Palestrini C., Pavan G. & Zunino M. (1991). Acoustic signals in Copris incertus Say (Coleoptera Scarabaeidae Coprinae). Ethology, Ecology & Evolution, 1, 143-146.
Peng, H., Long, F. & Ding, C. (2005). Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(8), 1226-1238.
Singhi, S. & Liu, H. (2006). Feature subset selection bias for classification learning. Proceedings of the 23rd international conference on Machine learnin. Pittsburgh, Pennsylvania 2006, 849-856.
Soroker, V., Nakache, Y., Landau, U., Mizrach, A., Hetzroni, A. & Gerling, D. (2004). Utilization of sounding methodology to detect infestation by Rhynchophorus ferrugineus on palm offshoots. Phytoparasitica, 32, 6-8.
Soroker, V., Gindin, G., Glazer, I., Pinhas, J., Levsky, S., Eliahu, M., Biton, S., Haberman, A., Nakache, Y., Mizrach, A. & Hetzroni, A. (2006). The red palm weevil infestation in Israel: occurrence and management. Jornada International sobre el Picudo Rojo de la Palmeras. Agroalimed, Generalitat Valenciana 2006, 59-79.
Zhang, M., Crocker, R. L., Mankin, R. W., Flanders, K. L. & Brandhorst-Hubbard, J. L. (2003). Acoustic identification and measurement of activity patterns of white grubs in soil. Journal of Economic Entomology, 96(6), 1704-1710.
29
4. Appendix
