Statistische Auswertung von Ringversuchen

Roesebeckstr. 4-6 30449 Hannover Tel. 0511/4505-0 Fax 0511/4505-140

… mehr als nur „erfolgreich“ oder „nicht erfolgreich“ Lüchtenburger Weg 24 26603 Aurich Tel. 04941/9171-0 Fax 04941/9171-10

Niedersächsisches Landesgesundheitsamt Bereich: Wasserhygiene - Standort Aurich – Dr. Sven Gebhardt

16. Jahrestagung Trinkwasserringversuche NRW - Niedersachsen, Osnabrück, 04. März 2015 www.nlga.niedersachsen.de

Normen 

DIN 38402-42 (2005-09) Ringversuche zur Verfahrensvalidierung, Auswertung (A42)



DIN 38402-45 (2014-06) Ringversuche zur Eignungsprüfung von Laboratorien (A45)



DIN ISO 13528 (2009-01), derzeit in Überarbeitung Statistical methods for use in proficiency testing by interlaboratory comparisons

2

Ablauf Ringversuchsauswertung 1. Sichtung der Einzelergebnisse

2. Festlegung des zugewiesenen Wertes (Sollwert)

3. Ermittlung / Festlegung der Vergleichsbzw. Soll-Standardabweichung

4. Leistungsbewertung (z.B. anhand von z-scores) 3

Festlegung des zugewiesenen Wertes (Sollwert) a) Bekannter Wert b) Zertifizierter Referenzwert c) Referenzwert

d) Konsenswert von Expertenlaboratorien

Unsicherheit des zugewiesenen Wertes

e) Konsenswert aus Teilnehmerergebnissen Die verschiedenen Möglichkeiten unterscheiden sich in Ihren Eigenschaften (z. B. Unsicherheit, Rückführbarkeit, Aufwand, Kosten, Machbarkeit)

 „Fit for purpose“ 4

Einwaage vs. Zugewiesener Wert (Konsenswert) 0,9

Eisen

1,6

0,7

1,4

0,6

1,2

Konz. [mg/l]

Konz. [mg/l]

0,8

1,8

0,5 0,4 0,3 0,2

Ergebnisse aus RV 1-2014

Kupfer

Einwaage (Zielwert)

1

Zugew. Wert (Sollwert)

0,8

Mittel Homogenität (QK)

0,6 0,4

0,1

0,2

0,0

A

B Niveau

0

C

A

B Niveau

C

0,8

30

Nitrat

2

Nitrit

0,7

25

1,8

Färbung

1,6 0,6 1,4

15 10

0,5

[m-1]

Konz. [mg/l]

Konz. [mg/l]

20

0,4

1,2 1 0,8

0,3

0,6 0,2 0,4

5 0

A

B Niveau

C

0,1

0,2

0

0

A

B Niveau

5

C

A

B Niveau

C

Voraussetzung für die Verwendung eines Konsenswertes  Es besteht ein Konsens zwischen den Teilnehmerergebnissen

 Ermittlung durch ein robustes statistisches Verfahren  Genügend hohe Anzahl an Teilnehmerergebnissen (mind. 12)

 Konsenswertes sollte durch Messungen bestätigt werden

 Frage nach Ziel des Ringversuchs? Bewertung der Richtigkeit oder der Vergleichbarkeit von Ringversuchsergebnissen 6

?

Konsenswert mittels robuster Statistik  DIN 38402-45: HAMPEL-Schätzer Dabei haben Laborergebnisse, die vom Mittelwert mehr als das 4,5-fache der Vergleichsstandardabweichung abweichen keinerlei Einfluss auf das Ergebnis.

7

Unsicherheit des zugewiesenen Wertes Bedingung: u x ≤ 0,3 𝛿𝑃𝑇

u(x) … Standardunsicherheit des zugewiesenen Wertes dPT … Standardabweichung für die Eignungsbeurteilung

Berechnung für Konsenswert: u x = 1,25 ×

𝑠𝑅 𝑛

u(x) … Standardunsicherheit des zugewiesenen Wertes sR … Vergleichsstandardabweichung der Ergebnisse n … Anzahl der Teilnehmerergebnisse

(DIN ISO 13528)

Multiplikation von u(x) mit dem Faktor k=2 ergibt die erweiterte Unsicherheit U(x).

 Kein Rückschluss auf Messunsicherheit einer bestimmten analytischen Methode!  Nutzen bei der Berücksichtigung von RV-Ergebnissen als Komponente der Messunsicherheitsabschätzung  s. DEV A0-4 8

Beispiel: RV 1-2014, Enterokokken, Gruppe B 100

Ausschlussgrenzen

90

erw. Unsicherheit (Vertrauensbereich) des Vorgabewertes

80

KBE / 100ml

70 60 50 40

u x = 1,25 ×

30 20 10

X = 53,6 sR= 13,7 (25,6%) n = 100

X = 53,1 sR= 13,8 (25,9%) n = 87

X = 57,2 sR= 14,5 (25,3%) n = 13

alle Methoden

DIN EN ISO 7899-2

Chromocult

𝑠𝑅 𝑛

0

Die Zuverlässigkeit des Konsenswertes als zugewiesener Wert erhöht sich mit steigender Anzahl an Ergebnissen. Der resultierende Vertrauensbereich erlaubt keine Verschiebung der festgelegten Ausschlussgrenzen zur Beurteilung der Teilnehmerergebnisse! 9

Festlegung der Standardabweichung für die Eignungsbeurteilung a) Vorgabewert b) Wert aus Erkenntnissen

c) Wert aus einem allgemeinen Modell d) Wert aus Ergebnissen von Präzisionsversuchen e) Statistisch ermittelter Wert aus Teilnehmerergebnissen eines Ringversuchs

10

Häufig Kombination verschiedener Verfahren 

Schätzung der Vergleichsstandardabweichung sR mit robustem statistischem Verfahren  DIN 38402-45: Q-Methode



Limitierung der Standardabweichung auf 5% bzw. 25%



Anwendung der Varianzfunktion

11

Varianzfunktion am Beispiel Oxidierbarkeit NLGA RV-Ergebnisse 2012-2014

rel. Vergleichsstandardabweicjhung [%]

25

20

15

10

5

0 0

1

2

3

4

5

Konzentration [mg/l]

s. auch: www.aqsbw.de

12

6

7

8

z-Score - Leistungsbeurteilung 𝑥 − 𝑋 z − score = 𝛿𝑃𝑇

𝑥−𝑋

dPT

… Differenz Messwert zum Sollwert … Standardabweichung für die Eignungsbeurteilung

Der z-Score wird mittels Korrekturfaktoren zum z(u)-Score modifiziert. Bewertung nach DIN 38402-45 |z(u)| ≤ 2:

erfolgreich

68,27%

|z(u)| 2 bis < 3: fragwürdig 95,45%

|z(u)| ≥ 3:

unzureichend

X-2s X-1s

X

X+1s X+2s

Als Toleranzgrenze für eine „erfolgreiche“ Beurteilung wird |z(u)|=2 vorgegeben. 13

ζ-Score – Einschätzung Messunsicherheiten 𝑥 − 𝑋

=

2 2 𝑢𝑙𝑎𝑏 + 𝑢𝑟𝑒𝑓

𝑥−𝑋

ulab uref

… Differenz Messwert zum Sollwert … Standardunsicherheit Teilnehmerergebnis … Standardunsicherheit des Sollwertes

(DIN SO 13528)

 Abweichung vom Sollwert im Verhältnis zur Unsicherheit  Größenordnung wie der z(u)-score zu bewerten.  Wird nicht zur Leistungsbeurteilung (Bewertung) herangezogen.

14

ζ-Score (zeta) vs. Erweiterte Messunsicherheit [%] Nitrit

RV-Ergebnisse NLGA, 2014

 Der ζ-score ist hervorragend

Oxidierbarkeit

15

geeignet, um die vom Labor angegebene Messunsicherheit in Kombination mit dem erreichten z(u)-score auf Plausibilität zu prüfen.

Kombinationsscores – langfristige Beurteilung von RV-Ergebnissen RSZ = standardisierte Summe aller z(u)-Scores (systematische Abweichung)

RLP = relative Leistungsfähigkeit (mittlere Abweichung im Verhältnis zur Vergleichsstandardabweichung)

Quelle: www.lanuv.nrw.de

16

Vielen Dank für Ihre Aufmerksamkeit !

Kontakt: Niedersächsisches Landesgesundheitsamtes Standort Aurich - Ringversuche Tel.: 04941-9171-0 E-Mail: [email protected]

17