PRESENTATION OVERVIEW  Stochastic Modeling  Monte Carlo Simulation (MCS) Modeling—An 

Overview  Benefits of MCS

STOCHASTIC MODELING IN PHARMACOECONOMICS: COMMON MISTAKES AND HOW TO AVOID THEM COMMON MISTAKES AND HOW TO AVOID THEM

 Software to Support MCS Software to Support MCS  Three common mistakes in stochastic modeling:  Uncertainty versus Variability

Huybert Groenendaal, PhD, MBA, Francisco Zagmutt, DVM, MPVM (EpiX Analytics)  Jane Castelli‐Haley, MBA (Teva Pharmaceuticals) 

 Multiplication of Distributions  Duplications of Uncertainties

INTRODUCTION

UNCERTAINTY

 Clinical, humanistic and economic data guide important 

decisions about patient care



Modeling studies in are typically based on data from a  limited number of patients



In addition, typically variability between patients (groups)  dd ll bl b ( ) in the outcomes of treatments



As a consequence, always uncertainty in the results of a  modeling study (e.g. ICER)



Monte Carlo the most common technique to  quantitatively deal with uncertainty and/or variability

 Researchers have an ethical mandate to evaluate and 

disclose the accuracy and reliability of their findings  Research results can be compromised when appropriate  R h lt b i d h i t

techniques are not used accurately to evaluate and  disclose the level of uncertainty in the findings

UNCERTAINTY

4

UNCERTAINTY

Results of a study shown with and without uncertainty: 1. ICER = $23,000 2. ICER, shown as a cost‐effectiveness acceptability curve:

Sensitivity Analysis: Answers the following question: What uncertainty mostly  affects the overall uncertainty of the results?

Cost‐effectiveness acceptability curve 100.00%

Cummulative probability

80.00%

60.00%

40.00%

20.00%

0.00% 0

10000

20000

30000

40000 ICER (US$)

50000

60000

70000

80000

5

6

1

MONTE CARLO SIMULATION  Monte Carlo Simulation (MCS)  is the most common  technique to deal with uncertainty, as it allows us to  approximate complex‐‐and often impossible to solve  scenarios‐‐via simulation. g g Benefits of Stochastic Modeling Using MCS  MCS takes into account variability and/or randomness  of patient characteristics and treatment outcomes that  cannot be addressed mathematically. MCS addresses statistical uncertainty about model  parameters MCS is a useful (most common) tool to develop a cost‐ effectiveness acceptability curve.

COMMON MISTAKE #1: Mistake: Incorrect use of variability distribution  instead of uncertainty distribution





Interpretation of uncertainty in CE studies is related  to the level of knowledge associated with the   parameters, and not with the underlying random  variation.



Decision‐makers interested in overall ICER, not on the  basis of an individual patient

MONTE CARLO SIMULATION  Available Software to Support MCS Excel Goldsim Crystal Ball / @RISK Treeage

COMMON MISTAKE #1: Two ways to perform Monte Carlo simulation: 1. First‐order uncertainty (randomness/variability) – following (large number of) individuals through the  Markov Model 2. Second‐order uncertainty – reflects uncertainty in  parameters within the model In CE‐analysis, we are interested in mean treatment costs  and mean treatment effect across patient population ‐ variability is generally not important for decision‐ makers! 

Difference:  What is the difference between variability and  uncertainty? Uncertainty (lack of knowledge):  

Variability only:

e.g. N(,)

Variability and parameter uncertainty together:

N(

,

)

Parameter Uncertainty  Model Uncertainty (can be dealt with using Bayesian Model Model Uncertainty (can be dealt with using Bayesian Model  Averaging, BMA)

Especially relevant when there is little ‘data’ Variability: 

Patients within a clinical trial are randomly selected and will  differ from patient to patient in ‘outcome’

How do we deal with variability (e.g. targeted  patients/subpopulations)?

In CE studies, typically we are interested in parameter uncertainty only!

2

COMMON MISTAKE #1 – example A:

COMMON MISTAKE #1 – example B:

Example 1:

Example 2:

“The Monte Carlo simulations of the model were performed,  using microsimulations trails with 1000 hypothetical  patients.”

“The costs per month were modeled using a Lognormal  distribution with a mean of $860 and 95‐percentile of  $530 – 10,000”

COMMON MISTAKE #1 – example C:

COMMON MISTAKE #2: Multiplication of  Distributions

Example 3:

 Theoretically impossible from the mathematicians 

“The base case simulations in Table 6 use mean costs and  mean utilities for the Markov states, ignoring the   variability and distribution.”

 No way to define the outcome when two (or more) 

perspective

“Acceptability curves are generated by Monte Carlo  simulation, using individual draws (500 in this case) from  the entire distribution of costs and utilities in different  states.” ……. 

distributions are multiplied  Still frequently used in medical decision making (i.e. 

incorrectly multiplying a variability distributions (e.g.  the costs of getting a certain disease) by a frequency  (e.g. the number of patients getting the disease) to  estimate total expenditures from a public health  perspective.

45

40

35

30

25

20

5

0

15

762.9

656.3

443.2

549.7

35,000

30,000

25,000

20,000

15,000

How would we calculate the total disease cost  Example model with uncertainty for next year?    

10,000

 Cost/person  $Lognormal(10000, 7000)

230.0

Chulera outbreaks, thus next year cases could be  modeled as NegBin(15, 1/(1+1/2))   # of people affected per city  N(500,80)

336.6

 In the last 2 years we observed 50 cities with 

5,000

 Possible correct approaches:  Central Limit Theory  Simulate individual patients  Other aggregate distribution methods (e.g. Fast Fourier  Transfer method, FFT)

Assume the following:

Values x 10^-4

multiplication, because it works using expected values  but not once you simulate variability.

0

 Issue is that people are trying to do an addition via 

Estimate the cost (with uncertainty) of outbreaks of  infectious disease (Chulera) in a large urban  population next year. As the disease is highly  infectious, the outbreaks cluster within cities and  exhibits a similar pattern of spread on each  disease regardless of the population size of city. 

-5,000

COMMON MISTAKE #2: Multiplication of  Distributions

10

Handling Multiplication of  Distributions

3

Comparing the correct and  wrong approach Multiplying distributions 76.73 1.0

5.0% 34.3%

178.26 90.0% 46.5%

COMMON MISTAKE #3: Duplication of  Uncertainties

5.0% 19.2% Total money (CLT) Minimum €46,947,600.37 Maximum €244,399,161.41 Mean €125,003,283.41 Std Dev €30,722,030.01 2.5% €69,559,733.86 97.5% €189,396,336.10 Values 1000

0.8

0.6



Representing an uncertain variable more than once in a  model or (mistake related to this) having two uncertain model or (mistake related to this) having two uncertain  variables that are highly correlated

Wrong answer

0.4

Minimum €7,520,049.85 Maximum €975,690,351.98 Mean €124,243,361.31 Std Dev €95,593,736.45 2.5% €23,779,278.16 97.5% €369,987,136.43 Values 1000

0.2

0.0 Values in Millions (€)

COMMON MISTAKE #3: Duplication of  Uncertainties  Examples:  Two separate distributions for one input in a model,  obviously gives incorrect scenarios and can result in  b i l i i i d l i smaller variance of the outputs (less uncertainty in  results), as the variability among iterations will be  less than when using only one distribution.

COMMON MISTAKE #3: Duplication of  Uncertainties Good health Treatment A P= Bad health

Treatment

Costs/QALY’s

Good health

 Two distributions that have common components, 

Treatment B

for example the costs with and without a certain  treatment, which are not independent.

P=

Bad health

Costs/QALY’s

Empirical data available suggests that ‘p’ is different between A and B

Percentiles 1% 5% 10% 50% 91% 95% 99%

ICER (incorrect) $                     (47,791.95) $                       (9,360.42) $                       (3,994.10) $                            328.21 $                         5,326.18 $                         9,110.34 $                      45,729.60

ICER (correct) $            (49,308.53) $            (10,246.56) $               (4,401.72) $                    529.54 $                5,526.70 $                9,737.50 $              50,080.15

Lesson: Parameters of which no empirical data for differences should not be simulated for each treatment arm separately!

COMMON MISTAKE #3: Duplication of  Uncertainties 

A related common mistake is that an assumption is  made that all uncertainty distributions are  independent (uncorrelated) While this is a very independent (uncorrelated). While this is a very  common (and often unmentioned) assumption, it is  also a very strong assumption!



If you have no dependencies in your model, be aware!



The use of the WinBUGS software can help estimate  uncertainty distribution as their dependencies

Useful paper: O’Hagan et al., 2005. PharmacoEconomics, 2005; 23 (6): 529-536

4

IN SUMMARY: 1.

Only 2nd order uncertainty is important in CE studies  (e.g. ICE‐ratio)

2.

Do not multiply distribution of variability;

3.

Be aware of (hidden) dependencies / correlations in  your model!

Questions?  [Course instructor name] [Course Instructor Email and phone] Vose Consulting

Consequence: Common mistakes can have large effects on  the results that can really influence decision‐makers

Dr. H.Groenendaal Managing partner EpiX Analytics LLC [email protected] P: 303 440 8524

5