MR - Compatible robotics to investigate

MR - Compatible robotics to investigate human motor control THÈSE NO 3552 (2006) PRÉSENTÉE le 7 juillet 2006 à la faculté sciences et techniques de l...
Author: Mathias Beltz
0 downloads 2 Views 120KB Size
MR - Compatible robotics to investigate human motor control

THÈSE NO 3552 (2006) PRÉSENTÉE le 7 juillet 2006 à la faculté sciences et techniques de l'ingénieur Laboratoire de systèmes robotiques 1 SECTION DE microtechnique

ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES

PAR

Roger GASSERT ingénieur en microtechnique diplômé EPF de nationalité suisse et originaire de Grüningen (ZH)

acceptée sur proposition du jury: Prof. O. Blanke, président du jury Prof. H. Bleuer, directeur de thèse Prof. E. Burdet, rapporteur Prof. M. Kawato, rapporteur Prof. Y. Perriard, rapporteur

Lausanne, EPFL 2006

Abstract Robotic interfaces can dynamically interact with humans performing movements and can be used to study neuromuscular adaptation. Such devices can produce computer controlled dynamics during movement and measure the interaction force and movement trajectory. On the other hand, functional magnetic resonance imaging (fMRI) can provide insight into the functional organization and plasticity of the brain. Using a robotic interface in conjunction with fMRI could allow neuroscientists to investigate the brain mechanisms of manipulation and motor learning, give therapists a tool for adaptive and patient-specific rehabilitation therapies, and assist medical doctors in functional diagnostics of motor dysfunctions. However, the MR environment imposes severe safety and electromagnetic compatibility constraints on mechatronic components, and the accessible workspace around the subject is limited. In addition, interaction with human motion must be safe and gentle. This thesis investigates the MR compatibility and performances of mechatronic elements, and develops an fMRI-compatible robotic technology consisting of sensors and actuators as well as adequate safety, control and synchronization strategies. It thus becomes possible to design various robotic systems for interaction with human motion during fMRI. This novel technology is benchmarked through the realization of several MR-compatible robotic systems which are currently being used by neuroscience groups in Japan and Europe. These include a highly MR-compatible interface for wrist motion, a tactile finger stimulation device using both intrinsically compatible and electrically powered components, as well as a two-degreesof-freedom interface to investigate the control of multi-joint arm movements. The MR compatibility of these devices is successfully tested using a protocol developed for the particularly sensitive functional MRI sequences. In a further step towards performing multi-joint arm movements during fMRI, movement-related artifacts and biomechanical constraints are examined, and movements suitable for motor control studies are identified. Preliminary experiments with the realized systems demonstrate the potential of such robotic interfaces: the brain activation patterns during mental simulation of wrist motion are different from the patterns obtained during actual movements in interaction with the interface, and activation patterns in all conditions agree with results from literature. The well-controlled conditions as well as the recorded position and force data during fMRI open up new possibilities in data analysis and may allow new insights into the brain mechanisms involved in human motor control. Keywords—robotics, haptics, functional magnetic resonance imaging (fMRI), MR compatibility, human motor control

vii

viii

ABSTRACT (ENGLISH, FRENCH, GERMAN)

Version Abrégée En effectuant des mouvements avec une interface robotique à retour de force, il est possible d’étudier comment le système nerveux central adapte le contrôle à une dynamique nouvelle. De telles interfaces peuvent produire des environnements dynamiques programmables durant le mouvement et mesurer la force d’interaction et la trajectoire. L’imagerie par résonance magnétique nucléaire fonctionnelle (IRMf) est utilisée pour examiner l’organisation fonctionnelle du cerveau et sa plasticité. Utiliser ces deux techniques simultanément permettrait d’examiner les mécanismes neuronaux de la manipulation et de l’apprentissage moteur, de développer de nouveaux outils pour la réhabilitation après une attaque cérébrale et pour le diagnostic de dysfonctions motrices. Cependant, les défis que représente le développement d’une technologie robotique compatible IRMf sont nombreux. L’environnement RM impose des contraintes de sécurité et de compatibilité électromagnétique sévères pour des éléments mécatroniques, l’espace de travail autour du sujet est très réduit, et l’interface doit interagir avec les mouvements du sujet sans danger et sans produire d’accoup. Cette thèse étudie la compatibilité RM et les performances d’éléments mécatroniques, et développe une technologie robotique compatible avec l’IRMf, composée de capteurs et actionneurs, ainsi que de stratégies adéquates pour la sécurité, le contrôle et la synchronisation avec l’IRMf. Grâce à ces développements, il devient possible de construire des systèmes robotiques interagissant avec les mouvements humains pendant l’IRMf. Les performances et le potentiel de cette technologie ont été démontrés par la réalisation de plusieurs systèmes actuellement utilisés par des groupes de recherche au Japon et en Europe ; en particulier une interface pour les mouvements du poignet intrinsèquement compatible, un stimulateur tactile hybride composé de parties intrinsèquement compatibles et de composants alimentés par voie électrique, et une interface à deux degrés de liberté pour étudier des mouvements du bras impliquant plusieurs articulations. La compatibilité RM de ces interfaces est testée avec succès en utilisant un nouveau protocole adapté aux séquences d’imagerie fonctionnelles (particulièrement sensibles aux interférences électromagnétiques). Les artefacts d’imagerie et les contraintes biomécaniques liés au mouvements du bras pendant l’IRMf sont examinés, et des mouvements adéquats sont identifiés. Une étude préliminaire effectuée avec l’interface de poignet démontre l’utilité et le potentiel de cette technologie : l’activation cérébrale correspondant à la simulation mentale du mouvement est différente de l’activation associée au mouvement réel. Ces interfaces, qui permettent de contrôler et mesurer la force d’interaction et la position, pourront donc être exploitées pour analyser des données fonctionnelles, et permettront peut-être une meilleure compréhension des mécanismes du contrôle moteur humain. ix

x

ABSTRACT (ENGLISH, FRENCH, GERMAN)

Mots-clés—robotique, haptique, imagerie par résonance magnétique fonctionnelle (IRMf), compatibilité RM, contrôle moteur humain

Kurzfassung Robotische Schnittstellen können dynamisch mit menschlichen Bewegungen interagieren, und ermöglichen dabei die Erforschung der neuromuskulären Anpassung an neue Umgebungen. Während der Bewegung können computergesteuerte Kräftefelder generiert werden und sowohl die Interaktionskräfte als auch die Bewegungsabläufe gemessen werden. Andererseits ermöglicht die funktionelle Mangetresonanz-Tomographie (fMRT) einen Einblick in die funktionelle Organisation und die Plastizität des Gehirns. Durch eine Verbindung dieser beider Techniken – Bewegungen in Interaktion mit einer robotischen Schnittstelle in Verbindung mit einem nicht-invasiven bildgebenden Verfahren wie der fMRT – können Hirnmechanismen erforscht werden, welche bei der Manipulation von Gegenständen und dem Lernen motorischer Fähigkeiten involviert sind. Des Weiteren könnte dies Therapeuten bei der adaptiven und patienten-spezifischen Rehabilitation von Schlaganfallpatienten unterstützen und Medizinern die funktionellen Diagnosen von motorischen Funktionsstörungen erleichtern. Allerdings fordert die MR-Umgebung strenge Sicherheitsmassnahmen und stellt hohe Anforderungen an die elektromagnetische Verträglichkeit von mechatronischen Komponenten, und der Zugang zum Probanden sowie das Arbeitsvolumen sind aufgrund des MR-Gerätes beschränkt. Zusätzlich muss die Interaktion mit der menschlichen Bewegung sowohl sicher als auch sanft sein. Die vorliegende Dissertation untersucht die MR-Kompatibilität und die Leistungscharakteristik mechatronischer Elemente für deren Anwendung in einer MR-Umgebung, und entwickelt eine fMRT-kompatible robotische Technologie bestehend aus Sensoren, Aktuatoren und adäquaten Sicherheits-, Kontroll- und Synchronisationsstrategien. So können verschiedenartige robotische Systeme konzipiert werden, welche eine Interaktion mit menschlichen Bewegungen während der fMRT ermöglichen. Diese neuartige Technologie wird evaluiert durch mehrere umgesetzte MR-kompatible robotische Schnittstellen, welche momentan von neurowissenschaftlichen Gruppen in Japan und Europa zur Anwendung gelangen. Darunter befinden sich ein voll MR-kompatibles System für Bewegungen des Handgelenks, ein Instrument zur taktilen Fingerstimulation, welches sowohl intrinsisch kompatible als auch elektrisch betriebene Komponenten enthält, und ein System mit zwei Freiheitsgraden zur Erforschung der Motorsteuerung von mehrgelenkigen Armbewegungen. Die MR-Kompatibilität dieser Systeme wird erfolgreich unter Benutzung eines Protokolls getestet, welches für die besonders empfindlichen funktionellen MRT-Sequenzen entwickelt wurde. Als weiterer Schritt in Richtung mehrgelenkiger Armbewegungen während der fMRT werden Bewegungsartefakte und biomechanische Einschränkungen untersucht, wobei Bewegungen, wie sie für die Studie der motorischen Steuerung geeignet sind, identifiziert werden. Grundlegende Experimente mit den bereits entwickelten Systemen zeigen das Potential und xi

xii

ABSTRACT (ENGLISH, FRENCH, GERMAN)

den Nutzen solcher robotischer Systeme: die Aktivierungsmuster im Gehirn während der mentalen Simulation von Handgelenkbewegungen unterscheiden sich von jenen, welche während der Bewegung in Interaktion mit dem System erzielt werden, und die Aktivierungsmuster unter jeder einzelnen Bedingung stimmen mit den Resultaten der Literatur überein. Sowohl die gut kontrollierbaren Bedingungen als auch die aufgezeichneten Positions- und Kraftwerte während der fMRT eröffnen neue Möglichkeiten der Datenanalyse und könnten neue Einblicke in die Hirnmechanismen gewähren, welche bei der menschlichen Motorik involviert sind. Schlagwörter—Robotik, Haptik, funktionelle Magnetresonanz-Tomographie (fMRT), MRKompatibilität, menschliche motorische Regelung

Contents Acknowledgements

v

Abstract (English, French, German)

vii

1 Introduction 1.1 Investigation of Human Motor Control . 1.2 Motivation for MR-Compatible Robotics 1.3 Challenges of MR-Compatible Robotics 1.4 Objectives and Approach . . . . . . . . 1.5 Thesis Outline . . . . . . . . . . . . . .

I

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

MRI, Safety and Compatibility of Mechatronic Devices

2 fMRI, MR Safety and Compatibility 2.1 Functional in vivo Neuroimaging Techniques . . . . . . . . . 2.1.1 EEG and MEG . . . . . . . . . . . . . . . . . . . . . 2.1.2 PET and fMRI . . . . . . . . . . . . . . . . . . . . . 2.1.3 NIRS . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.4 Multimodal Neuroimaging . . . . . . . . . . . . . . . 2.2 Functional Magnetic Resonance Imaging . . . . . . . . . . . 2.2.1 MR Environment . . . . . . . . . . . . . . . . . . . . 2.2.2 Magnetic Resonance Imaging . . . . . . . . . . . . . 2.2.3 Functional Magnetic Resonance Imaging . . . . . . . 2.2.4 MR Hardware . . . . . . . . . . . . . . . . . . . . . . 2.2.5 Experimental Design . . . . . . . . . . . . . . . . . . 2.3 Safety and Compatibility in MR Environments . . . . . . . 2.3.1 MR Safety . . . . . . . . . . . . . . . . . . . . . . . 2.3.2 Electromagnetic Compatibility in MR Environments 2.3.3 Imaging Artifacts . . . . . . . . . . . . . . . . . . . . 2.4 fMRI Compatibility Test for Mechatronic Devices . . . . . . 2.4.1 Part A: Phantom Compatibility Test . . . . . . . . . 2.4.2 Part B: Functional Study . . . . . . . . . . . . . . . 2.4.3 Evaluation Method . . . . . . . . . . . . . . . . . . . xiii

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

1 1 2 4 4 5

7 . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

9 9 9 10 11 11 12 12 13 15 15 18 18 19 20 25 26 28 28 29

CONTENTS

xiv 2.5

Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3 Mechatronics for Applications in MR Environments 3.1 Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Force and Position Sensing . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.1 Reflected Light Intensity Measurement over Optical Fibers . . . . 3.2.2 Signal Variation due to Fiber Bending and Sensor Motion . . . . . 3.3 Actuation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3.2 Tradeoff between MR Safety, MR Compatibility and Performances 3.3.3 Existing MR-Compatible Robotic Systems . . . . . . . . . . . . . . 3.3.4 Classification of MR-Compatible Actuation Methods . . . . . . . . 3.4 Mechanical Actuation and Transmissions . . . . . . . . . . . . . . . . . . . 3.4.1 Actuators Based on Potential Energy . . . . . . . . . . . . . . . . 3.4.2 Mechanical Transmissions . . . . . . . . . . . . . . . . . . . . . . . 3.5 Pneumatic Transmissions and Actuators . . . . . . . . . . . . . . . . . . . 3.6 Hydraulic Transmissions and Actuators . . . . . . . . . . . . . . . . . . . 3.7 Electric Actuators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.7.1 Piezoelectric / Ultrasonic Actuators . . . . . . . . . . . . . . . . . 3.7.2 Electrostatic Actuators . . . . . . . . . . . . . . . . . . . . . . . . 3.7.3 Electroactive and Ion Conducting Polymers . . . . . . . . . . . . . 3.7.4 Electro-Rheological Fluid Brakes . . . . . . . . . . . . . . . . . . . 3.8 Electromagnetic Actuators . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.8.1 Lorentz Actuators / Magnetomechanical Vibrotactile Devices . . . 3.8.2 Shielded DC Motor . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.9 Synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.9.1 Compatibility and Performances of Electric Actuators . . . . . . . 3.9.2 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.9.3 Actuation Methods for Future MR-Compatible Robots . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . .

30 31 31 33 33 34 35 35 35 36 37 37 38 38 41 42 42 43 45 46 48 48 48 50 53 53 56 58

II fMRI-Compatible Robotic Interfaces for Interaction with Human Motion 59 4 Interaction with Human Motion 4.1 Haptics and Force Feedback . . . . . . . . . . . . . . 4.1.1 Robots to Interact with Human Motion . . . 4.1.2 Constraints for Multi-Joint Arm Movements . 4.2 Redundant Safety . . . . . . . . . . . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

61 61 62 62 63

5 Force Feedback during fMRI 65 5.1 MR-Compatible Robot Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 5.1.1 Actuation over Hydrostatic Transmission . . . . . . . . . . . . . . . . . 65 5.1.2 Force and Torque Sensing over Optical Fibers . . . . . . . . . . . . . . . 66

CONTENTS . . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

68 69 69 70 71 72 72 73 75

6 2-DOF Interface to Investigate Arm Movements 6.1 Design Constraints . . . . . . . . . . . . . . . . . . 6.2 Concept . . . . . . . . . . . . . . . . . . . . . . . . 6.2.1 Kinematic Design and Workspace Analysis 6.3 Implementation . . . . . . . . . . . . . . . . . . . . 6.3.1 Design Kinematics . . . . . . . . . . . . . . 6.3.2 Master Actuation Box . . . . . . . . . . . . 6.3.3 Optimized Hydrostatic Transmission . . . . 6.3.4 Supporting Structure . . . . . . . . . . . . . 6.3.5 Sensors for Force Feedback . . . . . . . . . 6.3.6 Encoders . . . . . . . . . . . . . . . . . . . 6.3.7 System Control . . . . . . . . . . . . . . . . 6.3.8 Redundant Safety . . . . . . . . . . . . . . 6.4 Performances . . . . . . . . . . . . . . . . . . . . . 6.4.1 Force Sensors . . . . . . . . . . . . . . . . . 6.4.2 MR Compatibility . . . . . . . . . . . . . . 6.5 Conclusion . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

79 79 79 81 83 83 84 84 85 86 88 88 89 89 89 89 92

7 Multi-Joint Movements and Related Artifacts 7.1 Movement Artifacts . . . . . . . . . . . . . . . . . . . . . . . . . 7.1.1 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . 7.1.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2 Multi-Joint Arm Movements in an MR Scanner Bore . . . . . . . 7.2.1 Movements Involving Elbow and Wrist Joints . . . . . . . 7.2.2 Elbow and Extension of the Wrist . . . . . . . . . . . . . 7.2.3 Plane of Motion and Physical Constraints of the Scanner 7.2.4 Shoulder/Elbow Reaching Movements during fMRI . . . . 7.3 Minimizing Movement-Related Artifacts . . . . . . . . . . . . . . 7.3.1 Covariates Based on Realignment Parameters . . . . . . . 7.3.2 Movement with Distal Joints . . . . . . . . . . . . . . . . 7.3.3 Noise Variance Estimation . . . . . . . . . . . . . . . . . . 7.3.4 Event-Related Experimental Paradigm . . . . . . . . . . . 7.3.5 Movement Related Regressor . . . . . . . . . . . . . . . . 7.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

95 95 96 96 96 97 98 98 98 100 101 101 102 102 102 103

5.2

5.3

5.4

5.1.3 Fiber-Optic Displacement Sensors Implementation . . . . . . . . . . . . . . . 5.2.1 Actuation . . . . . . . . . . . . . . 5.2.2 Torque Sensor . . . . . . . . . . . 5.2.3 System Control . . . . . . . . . . . Experimental Results . . . . . . . . . . . . 5.3.1 MR Compatibility Tests . . . . . . 5.3.2 Performance . . . . . . . . . . . . Discussion . . . . . . . . . . . . . . . . . .

xv . . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

xvi

CONTENTS

8 Conclusion 8.1 Results of Preliminary Studies . . . . . . . . . . . . . . . . . . . . . . . . . 8.1.1 Neural Correlates of Motor Imagery, Active and Passive Movements 8.1.2 Multi-Joint Reaching Movements during fMRI . . . . . . . . . . . . 8.2 Contributions of This Thesis . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2.2 Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2.3 Textbook Character of the Thesis . . . . . . . . . . . . . . . . . . . 8.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . .

105 105 105 106 110 110 110 111 111

Bibliography

113

List of Figures

124

List of Tables

125

Nomenclature

127

Curriculum Vitae

131