CI2612: Algoritmos y Estructuras de Datos II An´ alisis probabil´ıstico

Blai Bonet Universidad Sim´on Bol´ıvar, Caracas, Venezuela

c 2016 Blai Bonet

Objetivos

Espacio de probabilidad

Las probabilidades se definen sobre un espacio de probabilidad

• Estudiar los elementos b´ asicos de la teor´ıa de probabilidad para

realizar los an´alisis necesarios de algoritmos

El espacio de probabilidad lo conforman: – el espacio muestral Ω que contiene todos los posibles resultados del experimento o proceso probabil´ıstico

• Ejemplos de an´ alisis probabil´ıstico

– el conjunto F de eventos a considerar (en nuestro caso todos los subconjuntos de Ω) – la funci´ on o medida de probabilidad P(·) definida sobre los eventos

c 2016 Blai Bonet

c 2016 Blai Bonet

Ejemplo: Lanzar una moneda

Eventos

Considere el experimento de lanzar una moneda Existen dos posibles resultados del experimento: Ω = {H, T } El conjunto de eventos es F = {∅, {H}, {T }, {H, T }}:

Para cada ω ∈ Ω, el evento {ω} se llama evento at´ omico y representa un u ´nico resultado del experimento Los otros eventos denotan conjuntos de posibles resultados los cuales son u ´tiles para el an´alisis del experimento

– El evento ∅ denota que el experimento no di´o ningu´ n resultado – El evento {H} denota que la moneda sali´ o cara

Por ejemplo, si el experimento es lanzar un dado, podemos hablar del evento que el dado cae en un n´ umero par

– El evento {T } denota que la moneda sali´ o cruz – El evento {H, T } denota que la moneda sali´o cara o cruz Si la moneda es insesgada (resultados equiprobables), definimos: P(∅) = 0, P({H}) = P({T }) = 12 , y P({H, T }) = 1 c 2016 Blai Bonet

Despu´es de realizar el experimento, podemos decir cuando un evento es cierto o falso. Si el resultado del experimento es ω, decimos que el evento E es cierto si ω ∈ E. Si ω ∈ / E, el evento E es falso

c 2016 Blai Bonet

Funci´ on (medida) de probabilidad

La funci´on de probabilidad P es una funci´ on P : F → [0, 1] que asigna probabilidaddes a los eventos y debe satisfacer:

Probabilidad del evento complemento

Considere un evento E que denota un posible resultado del experimento

P1. P(Ω) = 1 P2. para toda colecci´ on {Ei }i de eventos que sean disjuntos dos a dos (i.e. Ei ∩ Ej = ∅ para todo 1 ≤ i < j ≤ n): P(∪ni=1 Ei ) = P(E1 ) + P(E2 ) + · · · + P(En )

P(E) es la probabilidad de que dicho resultado suceda mientras que P(E c ), donde E c = Ω \ E, es la probabilidad de que no suceda Por la aditividad de la medida y la propiedad P1: P(E c ) = P(Ω) − P(E) = 1 − P(E)

Por lo tanto, 1 = P(Ω) = P(Ω) + P(∅) =⇒ P(∅) = 0

c 2016 Blai Bonet

c 2016 Blai Bonet

Ejemplo: Lanzar dos monedas

Independencia de dos eventos

Ahora considere dos monedas insesgadas e “independientes” Definimos:

Considere un espacio (Ω, F, P) y dos eventos E1 , E2 ∈ F E1 es independiente de E2 si conocer alguna informaci´on sobre la ocurrencia de E1 no altera nuestra creencia sobre la ocurrencia de E2 (y vice versa)

– Ω = {HH, HT, T H, T T } – F = {E ⊆ Ω} – P(E) = 14 para todo evento at´ omico E (la probabilidad de los dem´as eventos queda determinada por la propiedad P2) Probabilidad primera moneda salga cara: P({HH, HT }) = Probabilidad segunda moneda salga cara: P({HH, T H}) =

1 2

E1 es independiente de E2 ssi P(E1 ∩ E2 ) = P(E1 ) P(E2 ) En el ejemplo de las dos monedas, considere E1 = {HH, HT } y E2 = {HH, T H}, los eventos que la primera y segunda moneda salen cara respectivamente:

1 2

P(E1 ∩ E2 ) = P({HH}) =

1 4

=

1 2

×

1 2

= P(E1 ) P(E2 )

c 2016 Blai Bonet

c 2016 Blai Bonet

Independencia de m´ as de dos eventos Dos formas de definirla Considere la colecci´ on E = {E1 , E2 , . . . , En } de eventos: – E es independiente dos a dos ssi Ei es independiente de Ej para cualquier (i, j) con i 6= j; i.e. P(Ei ∩ Ej ) = P(Ei ) P(Ej ) para todo 1≤i 0 cuando mH + mT > 2n c 2016 Blai Bonet

c 2016 Blai Bonet

Independencia de variables aleatorias

Propiedades de esperanza E[αX + βY ] =

P

=

P

Dos variables aleatorias X, Y definidas sobre el mismo espacio (Ω, F, P) son independientes ssi

= α

P(X = x, Y = y) = P(X = x) × P(Y = y)

ω∈Ω

[αX(ω) + βY (ω)] P({ω})

[αX(ω) P({ω}) + βY (ω) P({ω})] P ω∈Ω X(ω) P({ω}) + β ω∈Ω Y (ω) P({ω})

ω∈Ω

P

= αE[X] + βE[Y ]

para todo x, y ∈ R Si Y = g(X) para g : R → R, entonces Y es variable aleatoria y

Una colecci´on {Xi }ni=1 de variables aleatorias definidas sobre el mismo espacio es independiente ssi Qn P(∩ni=1 Xi = xi ) = i=1 P(Xi = xi ) para todo x1 , x2 , . . . , xn ∈ R c 2016 Blai Bonet

E[Y ] =

P

y

yP(Y = y) =

P

x

g(x)P(X = x)

Si X e Y son independientes, P xyP(X = x, Y = y) = x,y xyP(X = x)P(Y = y) P P = x xP(X = x) y yP(Y = y) = E[X] E[Y ]

E[XY ] =

c 2016 Blai Bonet

P

x,y

Variables aleatorias indicadoras

Cota para la probabilidad de la uni´ on Considere una colecci´on de eventos {E1 , E2 , . . . , En }

Una variable aleatoria X : Ω → R tal que Rg(X) = {0, 1} se llama variable aleatoria indicadora Calculemos su esperanza:

Queremos obtener una cota para P(∪1≤i≤n Ei ) Defina A1 = E1 , A2 = E2 \ E1 , . . . , Ai = Ei \ (E1 ∪ · · · ∪ Ei−1 )

E[X] =

P

=

P

ω∈Ω X(ω) P({ω})

Los conjuntos {Ai }i son disjuntos dos a dos y ∪1≤i≤n Ei = ∪1≤i≤n Ai

ω∈Ω,X(ω)=1 P({ω})

= P({ω ∈ Ω : X(ω) = 1})

P(∪1≤i≤n Ei ) = P(∪1≤i≤n Ai ) =

X

P(Ai ) ≤

1≤i≤n

= P(E) donde E es el evento E = {ω ∈ Ω : X(ω) = 1} = {X = 1}

X

P(Ei )

1≤i≤n

ya que P(Ai ) ≤ P(Ei ) porque Ai ⊆ Ei

c 2016 Blai Bonet

c 2016 Blai Bonet

Esperanza de variables enteras

Regla de probabilidad total

Considere una v.a. entera no-negativa X; i.e. con rango {0, 1, 2, . . .} E[X] =

P

x≥0 x P(X

= x) =

P

x≥1 x P(X

Consider un evento A y una colecci´on de eventos {Bi }i que particionan el espacio muestral Ω

= x) P(A) =

X

P(A ∩ Bi )

i

= 1) = 2) = 3) = 4) .. .

P(X = 2) P(X = 3) P(X = 4) .. .

P(X = 3) P(X = 4) .. .

P(X = 4) .. .

··· .. .

P(X ≥ 1)

P(X ≥ 2)

P(X ≥ 3)

P(X ≥ 4)

···

P(X P(X P(X P(X

La prueba es sencilla ya que la colecci´on de eventos {A ∩ Bi }i es una colecci´on disjunta dos a dos

Por aditividad de P, X

E[X] = c 2016 Blai Bonet

P

x≥1 P(X

≥ x)

P(A ∩ Bi ) = P(∪i (A ∩ Bi )) = P(A ∩ ∪i Bi ) = P(A ∩ Ω) = P(A)

i

c 2016 Blai Bonet

Desigualdad de Markov La desigualdad de Markov permite acotar la probabilidad de una variable X no negativa utilizando la esperanza de X Para todo t > 0, P (X ≥ t) ≤

E[X] t

Ejemplos de an´ alisis probabil´ıstico

Sea X : Ω → R una v.a. no negativa definida sobre (Ω, F, P) E[X] =

X x≥0

≥

∞ X x=t

x P(X = x) =

t−1 X

x P(X = x) +

x=0

x P(X = x) ≥ t

∞ X

∞ X

x P(X = x)

x=t

P(X = x) = t P(X ≥ t)

x=t

c 2016 Blai Bonet

c 2016 Blai Bonet

Paradoja del d´ıa de nacimiento 1/3

Paradoja del d´ıa de nacimiento 2/3 Ahora acotaremos P(Bm ) donde Bm es el evento que los d´ıas de nacimiento de las primeras m personas son todos distintos

¿Cu´antos estudiantes deben haber en un sal´ on para que la probabilidad que dos de ellos nazcan el mismo d´ıa sea > 12 ?

Observe Bm = Bm−1 ∩ Am donde Am es el evento que las T personas m 1, . . . , m − 1 nacen en d´ıas distinto a bm . Entonces, Bm = i=1 Ai

Asumiremos que el a˜ no tiene n = 365 d´ıas (obviando a˜ nos bisiestos) e indizamos a las personas con los enteros 1, 2, . . . , k Sea bi ∈ {1, 2, . . . , n} el d´ıa de nacimiento de la persona i. Asumimos P(bi = r) = 1/n y P(bi = r & bj = s) = 1/n2 para todo i, j, r, s La probabilidad que las personas i y j nazcan el mismo d´ıa es Pn Pn 1 P(bi = bj ) = r=1 P(bi = r & bj = r) = r=1 n2 =

Para responder la pregunta queremos calcular el n´ umero k de personas tal que 1 − P(Bk ) ≥ 12 . Es decir, k tal que P(Bk ) ≤ 12 P(Bk ) = P(B1 ) × P(A2 |B1 ) × P(A3 |B2 ) × · · · × P(Ak |Bk−1 ) = 1×

n−1 n

×

n−2 n

× ··· ×

n−k+1 n

= 1 × (1 − n1 ) × (1 − n2 ) × · · · × (1 − ≤ e−1/n × e−2/n × · · · × e−(k−1)/n

1 n

1

= e− n

Pk−1 i=1

i

= e−k(k−1)/2n ≤

k−1 n )

[α < 1 =⇒ 1 − α ≤ e−α ]

1 2

cuando −k(k − 1)/2n ≤ ln(1/2). Para n = 365, basta k ≥ 23 c 2016 Blai Bonet

c 2016 Blai Bonet

Paradoja del d´ıa de nacimiento 3/3 Resolvamos ahora usando variables indicadoras y la linealidad de la esperanza. Considere la v.a. indicadora Xij = II{bi = bj }: E[Xij ] = P(Xij = 1) = P(bi = bj ) = 1/n Sea X el n´ umero de pares P de personas distintas con el mismo d´ıa de nacimiento: i.e. X = 1≤i