Dies ist eine Überschrift, zentral
Imaging und intelligente Sensorsysteme Schlüsseltechnologien innovativer Landtechnik
Arno Ruckelshausen Hochschule Osnabrück / Fakultät für Ingenieurwissenschaften und Informatik COALA - Competence in Applied Agricultural Engineering
Quelle: “Semiconductor Devices: Basic Principles“, J.Singh, John Wily & Sons, 2001 Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
1
2 Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
2
Landwirtschaft 2015+ 2011: 7,0 Billion people 2050: 9,3 Billion people Too many people making too many problems. Genesis, Land of Confusion, 1986
Globale Relevanz:
Herausforderungen:
Ernährung
Steigerung der Produktion
Energie
Schonung der Umwelt
Ressourcen
Ressourceneinsparung
Landschaftspflege
Verteilung von Ressourcen Sozialverträglichkeit
Quellen: UN World Population Prospects, May 2011; : http://www.aces.edu/pubs/ systemsview.wordpress.com , MSClipArt (2011)
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
3
Übersicht
Von Pflanzen und Sensoren draußen auf dem Feld Kann doch alles nicht so schwer sein … !?
Schlüsseltechnologien: Sensorik – Simulation - Feldrobotik xxs Agriculture – die wollen doch nur spielen ?
Blick in die Zukunft – Schlüsseltechnologien treffen Prozesse Einzelpflanzenlandwirtschaft , Remote Farming , … ?
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
4
Übersicht
Von Pflanzen und Sensoren draußen auf dem Feld Kann doch alles nicht so schwer sein … !?
Schlüsseltechnologien: Sensorik – Simulation - Feldrobotik xxs Agriculture – die wollen doch nur spielen ?
Blick in die Zukunft – Schlüsseltechnologien treffen Prozesse Einzelpflanzenlandwirtschaft , Remote Farming , … ?
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
5
Noch immer
Sensor in der Landwirtschaft: GPS
Beispiel: AutoTrac/StarFire RTK (John Deere)
Quelle: John Deere, Bruchsal Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
6
Sensoren für Erntegut (Beispiele)
NIR / Feuchte NIR-VIS / Reifegrad
Quelle: Autoscan (2008) und NIR-Moisture Sensor (2013/2014) ; Maschinenfabrik Bernard Krone, Hochschule Osnabrück
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
7
Innovationstreiber: Imaging
1969
Woodstock
Mondlandung
Entwicklung des CCD-Sensors
Top-Technologie „Optoelektronische Systeme“ - (Anwendungsorientierte ;-) Nobelpreise in Physik: CCD-Bildsensor (2009), blaue LED (2014) Dennoch sind wir erst in der “Steinzeit“ der Bildverarbeitung …
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
8
Pflanzenbau Frage: Wie wächst eine Pflanze ?
Antwort:
Es kommt drauf an …
Source: H.Poorter et al. , Journal of Expoerimental Botany, Vol. 61, No.8, pp.2043-2055, 2010
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
9
Technology meets nature
Sources: HS Osnabrück, agrarheute.com, H.Poorter et al. , Journal of Expoerimental Botany, Vol. 61, No.8, pp.2043-2055, 2010
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
10
Draußen auf dem Feld …
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
11
Draußen auf dem Feld …
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
12
Crop sensing example (1): 3D Time-of-flight Imaging
Source: Ralph Klose, Hochschule Osnabrück, PhD (in preparation Universität Hannover) Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
13
Crop sensing example (2) : Spectral Imaging Miniature spectrometer
1 pixel
Soil Intensität
Plant
(non selective)
Wellenlänge Spectral Imaging
n pixel
...
Intensität
(selective)
n
Wellenlänge Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
14
Crop sensing example (2) : Spectral Imaging
Spectral Imaging
Spectral Cube
Moisture parameter
(Technology)
(Data)
(Algorithms)
Soruce: Marius Thiel, Hochschule Osnabrück, PhD (in preparation, University Hanover) Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
15
Crop sensing example (2) : (Hyper-)Spectral Imaging
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
16
Crop sensing example (3) : „Shadow Sensors“ (light barrier) Light curtains or laser line sensors “1-bit-imaging“
Laboratory
Field
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
17
Crop sensing example (3) : „Shadow Sensors“ (light barrier)
Rough shape information (low resolution light curtain)
Stalk and ears of corn (high resolution light curtain)
Stalk, ears and awns (ultra-high resolution laser line sensor)
18 Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
18
Crop sensing example (3) : „Shadow Sensors“ (light barrier)
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
19
Crop sensing example (3) : „Shadow Sensors“ (light barrier)
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
20
Crop sensing example (4): „Multiwavelength Laser Line Profile Sensing“
Source: Wolfram Strothmann ; Arno Ruckelshausen and Joachim Hertzberg: "Multiwavelength laser line profile sensing for agricultural crop characterization ", Proc. SPIE 9141, Optical Sensing and Detection, 2014, http://dx.doi.org/10.1117/12.2052009
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
21
Crop sensing example (4): „Multiwavelength Laser Line Profile Sensing“
Quelle: Wolfram Strothmann ; Dissertation, in Vorbereitung
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
22
Crop sensing example (4): „Multiwavelength Laser Line Profile Sensing“
Quelle: Wolfram Strothmann ; Dissertation, in Vorbereitung
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
23
Anwendungsbeispiel: „Phänotypisierung“ (Plattformen/Outdoor)
Soruces: Schmidhalter/TU München, Bayerische Landesanstalt für Landwirtschaft, Lemnatec, N-Tester/landwirt.com, Sengis/Uni Hohenheim, Imko, AgriCon, satimagingcorp, HS Osnabrück
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
24
Sensor- und Datenfusion
Das Auge sagte eines Tages: „ Ich sehe hinter diesen Tälern im blauen Dunst einen Berg. Ist er nicht wunderschön ?“ Das Ohr lauschte und sagte nach einer Weile: „ Wo ist ein Berg, ich höre keinen.“
Darauf sagte die Hand: „Ich versuche vergeblich ihn zu greifen. Ich finde keinen Berg.“
Die Nase sagte: „ Ich rieche nichts. Da ist kein Berg.“
Da wandte sich das Auge in eine andere Richtung. Die anderen diskutierten weiter über dies merkwürdige Täuschung und kamen zu dem Schluss: „Mit dem Auge stimmt etwas nicht.“ Khalil Gibran: „The Madman“ (1918)
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
25
Sensor-Fusion / Phänotypisierung
Projects: BreedVision, predbreed, BoniRob (BMEL,BLE, BMBF)
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
26
Konzept „BreedVision“
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
27
Konzept „BreedVision“
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
28
„BreedVision“
Juni 2015
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
29
Sensor- and data fusion (field measurements)
Light curtain
Laser distance
3D-camera
Spectral imaging
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
30
Technische Wiederholbarkeit in Feldmessungen Lichtgitter versus Mensch (Feldmessung)
31/12
Technische Wiederholbarkeit
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
31
Biomass detection (field trials): Sensor fusion
Ignore water content
Take into account water content (+Spectral Imaging)
Busemeyer et al., BreedVision – A MultiSensor Platform for Non-Destructive Field-Based Phenotyping in Plant Breeding, Sensors, 2013, Vol. 13, pp. 2830-284. Busemyer. Lucas, PhD Thesis, 2013 (University Stuttgart-Hohenheim / Univerrsity of Applied Sciences Osnabrück) Busemeyer et al., Precision phenotyping of biomass accumulation in triticale reveals temporal genetic patterns of regulations, Nature Scientific Reports 3, Article Number 3442, 2013.
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
32
Übersicht
Von Pflanzen und Sensoren draußen auf dem Feld Kann doch alles nicht so schwer sein … !?
Schlüsseltechnologien: Sensorik – Simulation - Feldrobotik xxs Agriculture – die wollen doch nur spielen ?
Blick in die Zukunft – Schlüsseltechnologien treffen Prozesse Einzelpflanzenlandwirtschaft , Remote Farming , … ?
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
33
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
34
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
35
Simulation
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
36
Teststände
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
37
Nature in the loop …
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
38
Simulation
Projekt: elWObot/BMEL-BLE; Andreas Linz/HS Os
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
39
Simulation „ist“ Realität
Autonomer Feldroboter Cäsar (Raussendorf, Projekt elWObot)
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
40
Realität für die Simulation
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
41
Übersicht
Von Pflanzen und Sensoren draußen auf dem Feld Kann doch alles nicht so schwer sein … !?
Schlüsseltechnologien: Sensorik – Simulation - Feldrobotik xxs Agriculture – die wollen doch nur spielen ?
Blick in die Zukunft – Schlüsseltechnologien treffen Prozesse Einzelpflanzenlandwirtschaft , Remote Farming , … ?
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
42
Traktor-Anbaugerät - Field Robot-App
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
43
„App-Konzept“ zur Feldrobotik
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
44
BoniRob – autonomous field robot platform
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
45
Historie – Agritechnica (Beispiel: BoniRob)
2007
2009
2011
2013
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
2015
46
Applikation: “Soil Scout”
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
47
Applikation: “Soil Scout”
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
48
“Remote Farming“
Quelle: Gerhard Holzapfel /1975 (Dank@Oliver Hensel )
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
49
Stand der Technik – Mechanische Beikrautregulierung Möhren
(ca. 100-400 h/ha) Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
50
Prozessablauf: RemoteFarming.1
Image capturing
Cooperative Process
Image preprocessing
(Human-Machine)
Reaction of weeding tool
Remote worker marks weed postions
Transfer of weed positions, movement of manipulator to weed
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
51
Systemintegration: Manipulator (Roboterarm) mit Aktor
Manipulator
Localization camera 1
Actuator
Visual servoing camera 2
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
52
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
53
Hey Joe, du siehst besser aus als letzte Woche. Auch bist du 2 Zentimeter gewachen. Bis nächste Woche !
Joe
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
54
Individual plant phenotyping
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
55
Individual plant phenotyping
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
56
BoniRob-Applikationsbeispiel: Feldphänotypisierung von Einzelpflanzen
OpenJump (GIS) Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
57
Robots@Landtechnik: Gesamtprozess/Human-Robot-Logistik
Wirtschaftlichkeit zur Feldroboter-basierte Bodenparameter-Bestimmung (Christian Scholz, Masterarbeit HS Os, Mai 2015) Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
58
Robots@Landtechnik: Gesamtprozess/Human-Robot-Logistik
Quelle: Deepfield Robics (Bosch Startup) Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
59
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
60
Arno Ruckelshausen / Imaging und intelligente Sensorsysteme
61
