Zadanie 4: Zaawansowane techniki edukacyjne w naukach medycznych.
Ocena umiejętności i postaw Dariusz Kubicz Agata Stalmach-Przygoda
Ocena umiejętności – Agata Stalmach-Przygoda
Ocena postaw i kompetencji Anna Kocurek www.ed.ac.uk
Ocena umiejętności-plan zajęć Wstęp Egzamin kliniczny -przyłóżkowy Mini-Cex Mini Clinical Evaluation Exercise DOPS - Direct Observation of Procedural Skills OSCE
Kliniczny egzamin
Kliniczny egzamin przyłóżkowy Wady? Zalety ?
Mini-CEX
Mini Cex –Mini Clinical Evaluation Exercise 10-20 min obserwacji studenta w realnych sytuacjach. Ocena umiejętności przeprowadzenia wywiadu, umiejętności komunikacyjnych, badania fizykalnego. Często używana do oceny formatywnej
Mini-CEX
http://www.abim.org/program-directorsadministrators/assessment-tools/minicex.aspx#guidelines
DOPS-
Direct Observation of Procedural Skills Do oceny procedur, które są ważne a technicznie wymagające np. opatrywanie ran, cytologia, badanie piersi, badanie prostaty, badanie per rectum. RCGP- 8 procedur obowiązkowych, można zaliczać w trakcie szkolenia u wyznaczonych obserawtorów
OSCE-
Objective Structured Clinical Examination
Warunek konieczny udanego OSCE? rzetelne przygotowanie egzaminu zaangażowanie personelu
Elementy projektu OSCE Blueprintinting: pewność że treść egzaminu zgadza się z efektami kształcenia (LO) kursu↑ trafności Opracowanie stacji: dobrze funkcjonujący scenariusz
Trening egzaminatorów: zaangażowanie egzaminatorów, konsekwentne, spójne ocenianie ↑ rzetelności Trening symulowanych pacjentów: spójne, powtarzalne odgrywanie roli – każdy kandydat ma to samo zadanie- ↑ rzetelności Organizacja- dokładny plan- ↑ łatwość
Projekt wstępny- blueprinting Identyfikacja treści oraz umiejętności które mają być oceniane Specyfikacja celów (learning objectives)oraz ich wagi Właściwy projekt – większa trafność (validity) egzaminu
Projekt wstępny- blueprinting Matryca treść x umiejętność np. układy x „zadania lekarskie” Wybór choroby/problemu medycznego dla każdego układu Połączenie „zadania lekarskiego”- z
określoną chorobą / problemem medycznym „X” w każdej kolumnie i wierszu
Określenie najbardziej odpowiedniego zadania
Blueprinting-matryca Ukł. Krąz. Wywiad
Ukł odech.
X
Badanie fiz.
Ukł. Pok.
X
X
X
Planowanie działania
X X
Patofizjologia Epidemiologia
X X
CSN
X
Interpretacja danych
Prewencja
Ukł. moczowy
X
Blueprinting-matryca c.d Ukł. Krąż. Wywiad
Ukł. Oddech.
bóle w klatce
hemipareza ostra oliguria bóle dysuria nadbrzusz a
Planowanie działania hiperchole sterolemia
Patofizjologia
astma nadciśnien ie
CSN
Krew z odbytu
Interpretacja danych
Epidemiologia
Ukł mocz.
duszność
Badanie fiz.
Prewencja
Ukł. Pokar.
Blueprinting-matryca cd Ukł. Krąż. Wywiad
Ukl. oddechowy
OSCE
Badanie fiz.
Ukł pokarm.
OSCE
OSCE Test pisemny
Planowanie działania
Test pisemny Test pisemny
Patofizjologia Epidemiologia
OSCE Test pisemny
CSN
OSCE
Interpretacja danych
Prewencja
Ukł.moczo
Test pisemny
Blueprinting- przykłady c.d Wywiad
Objaśnianie
Badanie fizykalne
Procedura
CVS
Bóle w klatce
Leki przy wypisie
Bad. serca
BP
Respiratory
Krwioplucie
Badanie płuc
Peakflometri a
GI
Ból brzucha
Badanie brzucha
PR
Reprodactive
Amenorrhoe Nieprawidłowa a cytologia
Pobieranie cytologii
Nervous
Ból głowy
Badanie oczu
Musculoscel.
Bóle grzbietu
Badanie biodra
Generic
Ocena Przed operacyj.
Gastroskopia
Zgoda na badanie postmortem
oftalmoskopi a
Wkłucie dożylne
OSCE w ZDM Układ oddecho wy
Male badanie Duże badanie Fantom Symulator Wywiad
Układ krążenia
Guzy i inne
CSN
Brzuch
Projekt stacji
Każda stacja powinna wymagać
zademonstrowania umiejętności klinicznych oraz komunikacji i/lub umiejętności psychomotorycznych
Typy stacji krótkie / długie z pacjentem/ bez pacjenta (SP, fantom, symulator,) z materiałami klinicznymi/bez materiałów klinicznych
niezależne/ połączone (PEP-Post Encounter Probe) w tym przygotowawcze
z interakcją SP/bez interakcji wypoczynkowe
Wybór stacji Pierwszeństwo dla częstych chorób/ problemów zdrowotnych, ewentualnie rzadkie choroby te gdzie wczesna diagnostyka/interwencja jest krytyczna
Pierwszeństwo dla stacji które „skłaniając” do diagnostyki różnicowej –niezbyt proste
ani jednoznaczne. Jeżeli tylko możliwe- oparte na faktach Zadanie odpowiednie do oczekiwanego poziomu studenta/odpowiedni czas
Opracowanie stacji Zawartość: co chcemy żeby sprawdzała Jasna instrukcja dla kandydata Jasna instrukcja dla egzaminatora (zawierająca kopie instrukcji dla kandydata) Schemat oceny (kryteria zaliczenia stacji, kryteria zaliczenia egzaminu, stacje krytyczne) Lista wyposażenia (formularze, komunikacja pisemna) Wymagania personalne
Scenariusz symulowanego pacjenta
Instrukcja dla kandydata Zwięzła i jednoznaczna Powinna zawierać opis okoliczności- gdzie jestem? Podany czas Może wisieć na drzwiach
Jeżeli trzeba może zawierać opis tego czego nie trzeba zrobić
Instrukcja dla symulowanego pacjenta Główna dolegliwość podana dosłownie Instrukcja w II-osobie Przewidzieć pytania, podpowiedzi Podkreślić wagę standaryzacji (trzyma się faktów, fakty z wywiadu lub badania nie wymienione w skrypcie uważa się za negatywne, nie dramatyzuje)
Instrukcja dla oceniającego Precyzyjne checklisty – „waga” określonych czynności – punkt odcięcia
– listy binarne, 3 stopniowe, 5 stopniowe – zawiera kopie zadania
Listy znane dla symulowanego pacjenta Nie-lekarz jako oceniający? Symulowany pacjent jako oceniający?
Global rating lepsze niż checlisty?
Kryteria zaliczenia Metoda stałego procentu (Fix Percentage) Metoda Hofstee- metoda kompromisu Metoda Angoffa- z modyfikacją dla OSCE Metoda Borderline group
Kryteria zaliczenia
Metoda stałego procentu –odsetek zdających ustalony z góry przez egzaminatorówmetoda nie zależna od zawartości testu ani kompetencji kandydatów
Kryteria zaliczenia Metoda Hofstee- metoda kompromisu pomiędzy ocenianiem „relatywnym” a „absolutnym” • Określenie maksymalnego i minimalnego tolerowanego punktu odcięcia • Określenie maksymalnej i minimalnej tolerowalnej liczby niezdających • Sporządzenie wykresu wyznaczanie „skrzynki” i punktu odcięcia • Określenie czy standardy określone w stosunku do kryteriów mieszczą się w „skrzynce”
Kryteria zaliczenia Metoda Hofstee-
Kryteria zaliczenia Metoda Angoffa- z modyfikacją dla OSCE • Grupa jurorów ocenia poszczególne zadania testu • Każdy z nich określa odsetek studentów granicznych którzy powinni odpowiedzieć na to pytanie • Wartości sumuje się dla każdego jurora • Te określa się średnią ze wszystkich jurorów Określić wagę każego pytania w checkliście? W modyfiakacji punkt odcięcia dla całej stacji
Kryteria zaliczenia Metoda Borderline Group Punkty do zdania takie jakie otrzymałby student „graniczny student” nie całkiem zadawalający ale jeszcze nie niezadawalający 1. Zdefiniuj zadawalający niezadawalający i graniczny poziom umiejętności
2. Zidentyfikuj „granicznych” egzaminowanych 3. Zbierz wyniki „granicznych” egzaminowanych 4. Ustal punkt odcięcia na medianie wyników studentów granicznych
Kryteria zaliczenia Metoda Borderline Egzaminator przy każdej stacji –checklista + global rating (pass –borderline-fail lub outstanding-clear pass- borderline pass-borderlinefail- poorinadequate) U kandydatów granicznych wyciąga się punkty i wylicza średnią i to decyduje o tym czy zdali
Kryteria zaliczenia„Passing Scores A Manual for Settings Standarts of Performance on Educational and Occupational Testis” Samuel A. Livingston Michael J. Zieky
Logistyka Ilu kandydatów? Ile stacji? Jak długie są stacje? Jak się zmieścić? Ile stacji ( trafność vs trudność organizacji)? – minimum 10, egzaminy sumatywne minimum 2h Przykład 60 kandydatów 10 10-min stacji • 10 na raz, 6 „rund”- czasochłonne- 6 h • Duplikujemy stacje 20 naraz- 3 „rundy” • Potrajamy stacje 30 naraz-2”rundy”-trwa 2h ale wymaga 30 egzaminatorów
Logistyka c.d przygotowanie
8
7
1
2
Sala oczekujących- wspólna instrukcja Stacja wypoczynka-1 na 40 min Grupować stacje o jednej długości Dublować dłuższe stacje 6
5
3
odpoczynek
4
Lokalizacja Idealny korytarz z pomieszczeniami po obu stronach – dający się odizolować- kolejne pomieszczenia blisko siebie, wyposażone w potrzebny sprzęt np. leżanki umywalki (przychodnia w weekend) Pokoje egzaminacyjne + pokój administracyjny+ poczekalnia +pokój socjalny dla egzaminatorów i pacjentów symulowanych)
Personel Egzaminujący- zwykle lekarz Identyfikuje kandydata wpisując jego
nazwisko lub numer na checkliste lub formularz zaliczenia Wypełnia checkliste w trakcie egzaminu dodatkowe dokumenty np. global ratings wypełnia pomiędzy „zmianami” Nieobecny.
Personel Egzaminujący- standaryzowany pacjent? SP- może oceniać egzaminowanego ale musi być tego nauczony Dobra korelacja z ocenami „eksperów” Zwykle używa checklist Petrusa ER. Taking standardized patient-based examinations to the next level. Teaching and learning in Medicine 2004; 16:98-110 Van der Vleuten CPM and Swanson DB. Assessment of clinical skills with standardised patients: state of the art. T eaching a Learning in Medicine 1990; 2:58-76
Personel C.D Pacjent Standaryzowany SPodpowiedzialny i przeszkolony (trening 2 sesje po 1,5-2h) Inni ;-): timekeeper, bell ringers/doorknockers/whistle blowers, orientation leaders, escorts, chaperons,
PEP collectors
Zaopatrzenie Znaki- numery stacji, strzałki Mapki lub kolejności stacji Instrukcja wstępna Instrukcje do stacji Checklisty (co najmniej tyle co kandydatów) Tabele wyników- dla każdego studenta Catering
Przykłady scenariuszy 56 letnia kobieta zgłasza się do Oddziału Ratunkowego z powodu 3h bólu zamostkowego. Pielęgniarka podaje Ci EKG. Zbierz wywiad z uwzględnieniem możliwej etiologii, przeprowadź badanie fizykalne. Zinterpretuje EKG.
Przykłady scenariuszy 38 letni mężczyzna z cukrzycą typu I zgłasza się do gabinetu lekarza rodzinnego na rutynowe badania. Przeprowadź wywiad zogniskowany oraz przeprowadź badanie dna oka u tego pacjenta. Opisz wynik badania
Przykłady scenariuszy 61 letnia kobieta zgłasza się do lekarza rodzinnego z powodu samodzielnie wybadanego guzka piersi. Zbierz wywiad z ogniskowany na czynnikach ryzyka złośliwości tego procesu
Post Encounter Probe- stacje powiązane Stacja 1: Instrukcja dla kandydata Pacjent którego zaraz poznasz zgłosił się do SOR z powodu bólu brzucha. Proszę zebrać wywiad dotyczący tych dolegliwości
(Masz 5 minut na to zadanie)
Post Encounter Probe- stacje powiązane Stacja 2: Instrukcja dla kandydata W oparciu o informacje zebrane od pacjenta z poprzedniego zadania, przeprowadź diagnostykę różnicową. Jakie testy laboratoryjne byś mu zlecił? (Masz 5 minut na to zadanie)
stacja zadanie
sposób oceny
czas
1
Guz piersi -porada
Stacja przygotowawcza
5min
2
Guz piersi- porada
Bezpośr. Obserwacja checklist - SP
5
3
Interpretacja RTG
Short answer questions
5
4
Badanie dłoni
Bezpośr. Obs. checklist – pacjent z RZS
5
5
Odpoczynek
6
Interpretacja audiogramu
Short answer questions
5
7
Wywiad w astmie
Bezposred obs checklistSP
5
8
Oftalmoskopia w zaćmie
Bez. Obs checklist pacjent
5
9
Interpretacja CT
Short answer questions
5
10
Reanimacja
Bezposrednia obserwacja manekin
5
5
Przykłady-Checklists Przeprowadź badanie neurologiczne kończyn dolnych szukając objawów uszkodzenia górnego neuronu motorycznego. Powiedz co oczekujesz znaleźć
Przykłady-Checklists
OSCE na wielką skale- USMLE 12 stacji 15 minut spotkania z pacjentem + 10 minut notatki 8 godzin, 2 przerwy stacje niepunktowane dwa zadania na stację np. wywiad i badanie lub wywiad i porada w opisie zawsze podane dane osobowe, okoliczności wizyty i czynności życiowe egzamin nagrywany
OSCE take home message OSCE jest przydatny do oceny biegłości w zakresie umiejętności w tym klinicznych Jeżeli chcesz ocenić coś co można dobrze cenić przez inne formy egzaminu – użyj innej formy egzaminu być może będzie to tańsze i mniej czasochłonne
Zaliczenie Projekt stacji OSCE jako składowa Portfolio 1 instrukcja dla kandydata 2 instrukcja dla egzaminatora w tym cheklista, kryteria zaliczenia stacji, punkty „krytyczne” jeżeli są 3 Scenariusz symulowanego pacjenta- krótki ! Najlepiej stacja do sprawdzenia umiejętności nauczanych na „własnym„ przedmiocie
Nie więcej niż strona A4 –
Pytania? Dziękuję za uwagę