Zadanie 4: Zaawansowane techniki edukacyjne w naukach medycznych

Zadanie 4: Zaawansowane techniki edukacyjne w naukach medycznych. Ocena umiejętności i postaw Dariusz Kubicz Agata Stalmach-Przygoda Ocena umiejęt...
1 downloads 0 Views 1MB Size
Zadanie 4: Zaawansowane techniki edukacyjne w naukach medycznych.

Ocena umiejętności i postaw Dariusz Kubicz Agata Stalmach-Przygoda

Ocena umiejętności – Agata Stalmach-Przygoda

Ocena postaw i kompetencji Anna Kocurek www.ed.ac.uk

Ocena umiejętności-plan zajęć Wstęp Egzamin kliniczny -przyłóżkowy Mini-Cex Mini Clinical Evaluation Exercise DOPS - Direct Observation of Procedural Skills OSCE

Kliniczny egzamin

Kliniczny egzamin przyłóżkowy Wady? Zalety ?

Mini-CEX

Mini Cex –Mini Clinical Evaluation Exercise 10-20 min obserwacji studenta w realnych sytuacjach. Ocena umiejętności przeprowadzenia wywiadu, umiejętności komunikacyjnych, badania fizykalnego. Często używana do oceny formatywnej

Mini-CEX

http://www.abim.org/program-directorsadministrators/assessment-tools/minicex.aspx#guidelines

DOPS-

Direct Observation of Procedural Skills Do oceny procedur, które są ważne a technicznie wymagające np. opatrywanie ran, cytologia, badanie piersi, badanie prostaty, badanie per rectum. RCGP- 8 procedur obowiązkowych, można zaliczać w trakcie szkolenia u wyznaczonych obserawtorów

OSCE-

Objective Structured Clinical Examination

Warunek konieczny udanego OSCE? rzetelne przygotowanie egzaminu zaangażowanie personelu

Elementy projektu OSCE Blueprintinting: pewność że treść egzaminu zgadza się z efektami kształcenia (LO) kursu↑ trafności Opracowanie stacji: dobrze funkcjonujący scenariusz

Trening egzaminatorów: zaangażowanie egzaminatorów, konsekwentne, spójne ocenianie ↑ rzetelności Trening symulowanych pacjentów: spójne, powtarzalne odgrywanie roli – każdy kandydat ma to samo zadanie- ↑ rzetelności Organizacja- dokładny plan- ↑ łatwość

Projekt wstępny- blueprinting Identyfikacja treści oraz umiejętności które mają być oceniane Specyfikacja celów (learning objectives)oraz ich wagi Właściwy projekt – większa trafność (validity) egzaminu

Projekt wstępny- blueprinting Matryca treść x umiejętność np. układy x „zadania lekarskie” Wybór choroby/problemu medycznego dla każdego układu Połączenie „zadania lekarskiego”- z

określoną chorobą / problemem medycznym „X” w każdej kolumnie i wierszu

Określenie najbardziej odpowiedniego zadania

Blueprinting-matryca Ukł. Krąz. Wywiad

Ukł odech.

X

Badanie fiz.

Ukł. Pok.

X

X

X

Planowanie działania

X X

Patofizjologia Epidemiologia

X X

CSN

X

Interpretacja danych

Prewencja

Ukł. moczowy

X

Blueprinting-matryca c.d Ukł. Krąż. Wywiad

Ukł. Oddech.

bóle w klatce

hemipareza ostra oliguria bóle dysuria nadbrzusz a

Planowanie działania hiperchole sterolemia

Patofizjologia

astma nadciśnien ie

CSN

Krew z odbytu

Interpretacja danych

Epidemiologia

Ukł mocz.

duszność

Badanie fiz.

Prewencja

Ukł. Pokar.

Blueprinting-matryca cd Ukł. Krąż. Wywiad

Ukl. oddechowy

OSCE

Badanie fiz.

Ukł pokarm.

OSCE

OSCE Test pisemny

Planowanie działania

Test pisemny Test pisemny

Patofizjologia Epidemiologia

OSCE Test pisemny

CSN

OSCE

Interpretacja danych

Prewencja

Ukł.moczo

Test pisemny

Blueprinting- przykłady c.d Wywiad

Objaśnianie

Badanie fizykalne

Procedura

CVS

Bóle w klatce

Leki przy wypisie

Bad. serca

BP

Respiratory

Krwioplucie

Badanie płuc

Peakflometri a

GI

Ból brzucha

Badanie brzucha

PR

Reprodactive

Amenorrhoe Nieprawidłowa a cytologia

Pobieranie cytologii

Nervous

Ból głowy

Badanie oczu

Musculoscel.

Bóle grzbietu

Badanie biodra

Generic

Ocena Przed operacyj.

Gastroskopia

Zgoda na badanie postmortem

oftalmoskopi a

Wkłucie dożylne

OSCE w ZDM Układ oddecho wy

Male badanie Duże badanie Fantom Symulator Wywiad

Układ krążenia

Guzy i inne

CSN

Brzuch

Projekt stacji

Każda stacja powinna wymagać

zademonstrowania umiejętności klinicznych oraz komunikacji i/lub umiejętności psychomotorycznych

Typy stacji krótkie / długie z pacjentem/ bez pacjenta (SP, fantom, symulator,) z materiałami klinicznymi/bez materiałów klinicznych

niezależne/ połączone (PEP-Post Encounter Probe) w tym przygotowawcze

z interakcją SP/bez interakcji wypoczynkowe

Wybór stacji Pierwszeństwo dla częstych chorób/ problemów zdrowotnych, ewentualnie rzadkie choroby te gdzie wczesna diagnostyka/interwencja jest krytyczna

Pierwszeństwo dla stacji które „skłaniając” do diagnostyki różnicowej –niezbyt proste

ani jednoznaczne. Jeżeli tylko możliwe- oparte na faktach Zadanie odpowiednie do oczekiwanego poziomu studenta/odpowiedni czas

Opracowanie stacji Zawartość: co chcemy żeby sprawdzała Jasna instrukcja dla kandydata Jasna instrukcja dla egzaminatora (zawierająca kopie instrukcji dla kandydata) Schemat oceny (kryteria zaliczenia stacji, kryteria zaliczenia egzaminu, stacje krytyczne) Lista wyposażenia (formularze, komunikacja pisemna) Wymagania personalne

Scenariusz symulowanego pacjenta

Instrukcja dla kandydata Zwięzła i jednoznaczna Powinna zawierać opis okoliczności- gdzie jestem? Podany czas Może wisieć na drzwiach

Jeżeli trzeba może zawierać opis tego czego nie trzeba zrobić

Instrukcja dla symulowanego pacjenta Główna dolegliwość podana dosłownie Instrukcja w II-osobie Przewidzieć pytania, podpowiedzi Podkreślić wagę standaryzacji (trzyma się faktów, fakty z wywiadu lub badania nie wymienione w skrypcie uważa się za negatywne, nie dramatyzuje)

Instrukcja dla oceniającego Precyzyjne checklisty – „waga” określonych czynności – punkt odcięcia

– listy binarne, 3 stopniowe, 5 stopniowe – zawiera kopie zadania

Listy znane dla symulowanego pacjenta Nie-lekarz jako oceniający? Symulowany pacjent jako oceniający?

Global rating lepsze niż checlisty?

Kryteria zaliczenia Metoda stałego procentu (Fix Percentage) Metoda Hofstee- metoda kompromisu Metoda Angoffa- z modyfikacją dla OSCE Metoda Borderline group

Kryteria zaliczenia

Metoda stałego procentu –odsetek zdających ustalony z góry przez egzaminatorówmetoda nie zależna od zawartości testu ani kompetencji kandydatów

Kryteria zaliczenia Metoda Hofstee- metoda kompromisu pomiędzy ocenianiem „relatywnym” a „absolutnym” • Określenie maksymalnego i minimalnego tolerowanego punktu odcięcia • Określenie maksymalnej i minimalnej tolerowalnej liczby niezdających • Sporządzenie wykresu wyznaczanie „skrzynki” i punktu odcięcia • Określenie czy standardy określone w stosunku do kryteriów mieszczą się w „skrzynce”

Kryteria zaliczenia Metoda Hofstee-

Kryteria zaliczenia Metoda Angoffa- z modyfikacją dla OSCE • Grupa jurorów ocenia poszczególne zadania testu • Każdy z nich określa odsetek studentów granicznych którzy powinni odpowiedzieć na to pytanie • Wartości sumuje się dla każdego jurora • Te określa się średnią ze wszystkich jurorów Określić wagę każego pytania w checkliście? W modyfiakacji punkt odcięcia dla całej stacji

Kryteria zaliczenia Metoda Borderline Group Punkty do zdania takie jakie otrzymałby student „graniczny student” nie całkiem zadawalający ale jeszcze nie niezadawalający 1. Zdefiniuj zadawalający niezadawalający i graniczny poziom umiejętności

2. Zidentyfikuj „granicznych” egzaminowanych 3. Zbierz wyniki „granicznych” egzaminowanych 4. Ustal punkt odcięcia na medianie wyników studentów granicznych

Kryteria zaliczenia Metoda Borderline Egzaminator przy każdej stacji –checklista + global rating (pass –borderline-fail lub outstanding-clear pass- borderline pass-borderlinefail- poorinadequate) U kandydatów granicznych wyciąga się punkty i wylicza średnią i to decyduje o tym czy zdali

Kryteria zaliczenia„Passing Scores A Manual for Settings Standarts of Performance on Educational and Occupational Testis” Samuel A. Livingston Michael J. Zieky

Logistyka Ilu kandydatów? Ile stacji? Jak długie są stacje? Jak się zmieścić? Ile stacji ( trafność vs trudność organizacji)? – minimum 10, egzaminy sumatywne minimum 2h Przykład 60 kandydatów 10 10-min stacji • 10 na raz, 6 „rund”- czasochłonne- 6 h • Duplikujemy stacje 20 naraz- 3 „rundy” • Potrajamy stacje 30 naraz-2”rundy”-trwa 2h ale wymaga 30 egzaminatorów

Logistyka c.d przygotowanie

8

7

1

2

Sala oczekujących- wspólna instrukcja Stacja wypoczynka-1 na 40 min Grupować stacje o jednej długości Dublować dłuższe stacje 6

5

3

odpoczynek

4

Lokalizacja Idealny korytarz z pomieszczeniami po obu stronach – dający się odizolować- kolejne pomieszczenia blisko siebie, wyposażone w potrzebny sprzęt np. leżanki umywalki (przychodnia w weekend) Pokoje egzaminacyjne + pokój administracyjny+ poczekalnia +pokój socjalny dla egzaminatorów i pacjentów symulowanych)

Personel Egzaminujący- zwykle lekarz Identyfikuje kandydata wpisując jego

nazwisko lub numer na checkliste lub formularz zaliczenia Wypełnia checkliste w trakcie egzaminu dodatkowe dokumenty np. global ratings wypełnia pomiędzy „zmianami” Nieobecny.

Personel Egzaminujący- standaryzowany pacjent? SP- może oceniać egzaminowanego ale musi być tego nauczony Dobra korelacja z ocenami „eksperów” Zwykle używa checklist Petrusa ER. Taking standardized patient-based examinations to the next level. Teaching and learning in Medicine 2004; 16:98-110 Van der Vleuten CPM and Swanson DB. Assessment of clinical skills with standardised patients: state of the art. T eaching a Learning in Medicine 1990; 2:58-76

Personel C.D Pacjent Standaryzowany SPodpowiedzialny i przeszkolony (trening 2 sesje po 1,5-2h) Inni ;-): timekeeper, bell ringers/doorknockers/whistle blowers, orientation leaders, escorts, chaperons,

PEP collectors

Zaopatrzenie Znaki- numery stacji, strzałki Mapki lub kolejności stacji Instrukcja wstępna Instrukcje do stacji Checklisty (co najmniej tyle co kandydatów) Tabele wyników- dla każdego studenta Catering

Przykłady scenariuszy 56 letnia kobieta zgłasza się do Oddziału Ratunkowego z powodu 3h bólu zamostkowego. Pielęgniarka podaje Ci EKG. Zbierz wywiad z uwzględnieniem możliwej etiologii, przeprowadź badanie fizykalne. Zinterpretuje EKG.

Przykłady scenariuszy 38 letni mężczyzna z cukrzycą typu I zgłasza się do gabinetu lekarza rodzinnego na rutynowe badania. Przeprowadź wywiad zogniskowany oraz przeprowadź badanie dna oka u tego pacjenta. Opisz wynik badania

Przykłady scenariuszy 61 letnia kobieta zgłasza się do lekarza rodzinnego z powodu samodzielnie wybadanego guzka piersi. Zbierz wywiad z ogniskowany na czynnikach ryzyka złośliwości tego procesu

Post Encounter Probe- stacje powiązane Stacja 1: Instrukcja dla kandydata Pacjent którego zaraz poznasz zgłosił się do SOR z powodu bólu brzucha. Proszę zebrać wywiad dotyczący tych dolegliwości

(Masz 5 minut na to zadanie)

Post Encounter Probe- stacje powiązane Stacja 2: Instrukcja dla kandydata W oparciu o informacje zebrane od pacjenta z poprzedniego zadania, przeprowadź diagnostykę różnicową. Jakie testy laboratoryjne byś mu zlecił? (Masz 5 minut na to zadanie)

stacja zadanie

sposób oceny

czas

1

Guz piersi -porada

Stacja przygotowawcza

5min

2

Guz piersi- porada

Bezpośr. Obserwacja checklist - SP

5

3

Interpretacja RTG

Short answer questions

5

4

Badanie dłoni

Bezpośr. Obs. checklist – pacjent z RZS

5

5

Odpoczynek

6

Interpretacja audiogramu

Short answer questions

5

7

Wywiad w astmie

Bezposred obs checklistSP

5

8

Oftalmoskopia w zaćmie

Bez. Obs checklist pacjent

5

9

Interpretacja CT

Short answer questions

5

10

Reanimacja

Bezposrednia obserwacja manekin

5

5

Przykłady-Checklists Przeprowadź badanie neurologiczne kończyn dolnych szukając objawów uszkodzenia górnego neuronu motorycznego. Powiedz co oczekujesz znaleźć

Przykłady-Checklists

OSCE na wielką skale- USMLE 12 stacji 15 minut spotkania z pacjentem + 10 minut notatki 8 godzin, 2 przerwy stacje niepunktowane dwa zadania na stację np. wywiad i badanie lub wywiad i porada w opisie zawsze podane dane osobowe, okoliczności wizyty i czynności życiowe egzamin nagrywany

OSCE take home message OSCE jest przydatny do oceny biegłości w zakresie umiejętności w tym klinicznych Jeżeli chcesz ocenić coś co można dobrze cenić przez inne formy egzaminu – użyj innej formy egzaminu być może będzie to tańsze i mniej czasochłonne

Zaliczenie Projekt stacji OSCE jako składowa Portfolio 1 instrukcja dla kandydata 2 instrukcja dla egzaminatora w tym cheklista, kryteria zaliczenia stacji, punkty „krytyczne” jeżeli są 3 Scenariusz symulowanego pacjenta- krótki ! Najlepiej stacja do sprawdzenia umiejętności nauczanych na „własnym„ przedmiocie

Nie więcej niż strona A4 –

Pytania? Dziękuję za uwagę