Distribuições de Probabilidade

machine-learning, redes, algoritmos intermediario probabilidade

Distribuições de Probabilidade

Distribuições são os modelos padronizados de aleatoriedade. Reconhecer qual delas se aplica a um problema costuma resolver metade dele.

Distribuições discretas

Bernoulli

Um único experimento com dois resultados. Parâmetro $p$.

$$E[X] = p, \qquad \operatorname{Var}(X) = p(1-p)$$

A variância é máxima em $p = 0{,}5$ — incerteza máxima quando os resultados são equiprováveis.

Binomial

Número de sucessos em $n$ tentativas independentes.

$$P(X=k) = \binom{n}{k}p^k(1-p)^{n-k}, \qquad E[X]=np, \qquad \operatorname{Var}(X)=np(1-p)$$

Modela: número de pacotes perdidos em $n$ envios, número de bits corrompidos, taxa de conversão em teste A/B.

Geométrica

Número de tentativas até o primeiro sucesso.

$$P(X=k) = (1-p)^{k-1}p, \qquad E[X] = \frac1p$$

Modela: número de tentativas até uma retransmissão dar certo, número de sondagens até achar posição livre em hash aberto.

É sem memória: já ter falhado 10 vezes não muda a distribuição do que falta. Essa propriedade é a razão de estratégias de repetição precisarem de recuo exponencial — sem ele, a espera não melhora.

Poisson

Número de eventos num intervalo, com taxa média $\lambda$.

$$P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}, \qquad E[X]=\operatorname{Var}(X)=\lambda$$

Modela: requisições por segundo, falhas por dia, chegadas numa fila. Surge como limite da binomial com $n$ grande e $p$ pequeno, $\lambda = np$.

A igualdade entre média e variância é um teste diagnóstico útil: se os dados têm variância muito maior que a média, o modelo de Poisson não serve (superdispersão), e a binomial negativa costuma ser a alternativa.

Distribuições contínuas

Uniforme

Densidade constante em $[a,b]$.

$$E[X] = \frac{a+b}{2}, \qquad \operatorname{Var}(X) = \frac{(b-a)^2}{12}$$

É a saída dos geradores pseudoaleatórios e a base para gerar todas as outras distribuições.

Exponencial

Tempo até o próximo evento de um processo de Poisson.

$$f(x) = \lambda e^{-\lambda x}, \qquad E[X] = \frac1\lambda, \qquad \operatorname{Var}(X)=\frac{1}{\lambda^2}$$

Também sem memória — a versão contínua da geométrica. Modela tempo entre chegadas, tempo até falha de componente sem desgaste.

Cuidado: a ausência de memória frequentemente não descreve a realidade. Componentes reais envelhecem, e a distribuição de Weibull costuma ser mais adequada.

Normal

$$f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

A distribuição mais importante, pelo teorema central do limite: a soma de muitas variáveis independentes com variância finita tende à normal, qualquer que seja a distribuição original.

A regra prática de dispersão: cerca de $68%$ da massa em $\mu \pm \sigma$, $95%$ em $\mu\pm2\sigma$ e $99{,}7%$ em $\mu\pm3\sigma$.

Cuidado com o abuso. Latências de rede, tamanhos de arquivo e popularidade de itens não são normais — são fortemente assimétricas, com cauda pesada. Reportar média e desvio padrão de latência é enganoso; é por isso que a prática correta é reportar percentis (p50, p95, p99).

Tabela de referência

DistribuiçãoModela$E[X]$$\operatorname{Var}(X)$
Bernoulli($p$)Um ensaio$p$$p(1-p)$
Binomial($n,p$)Sucessos em $n$$np$$np(1-p)$
Geométrica($p$)Tentativas até sucesso$1/p$$(1-p)/p^2$
Poisson($\lambda$)Eventos por intervalo$\lambda$$\lambda$
Uniforme($a,b$)Sem preferência$(a+b)/2$$(b-a)^2/12$
Exponencial($\lambda$)Tempo entre eventos$1/\lambda$$1/\lambda^2$
Normal($\mu,\sigma^2$)Soma de muitos efeitos$\mu$$\sigma^2$

Distribuições de cauda pesada

Muitos fenômenos computacionais seguem lei de potência: $P(X > x) \propto x^{-\alpha}$.

Exemplos: número de seguidores numa rede social, tamanho de arquivos, frequência de palavras (lei de Zipf), grau de vértices na web.

Consequências práticas que quebram a intuição formada com a normal:

  • A média pode não ser representativa e, para $\alpha \le 2$, a variância é infinita.
  • Valores extremos são comuns, não raros.
  • O caso médio não protege contra o pior caso.
  • Dimensionar por média é receita para saturação.

Ignorar isso é a origem de muitas surpresas em produção: um cache dimensionado pela média de tamanho de objeto estoura quando chega o objeto da cauda.

Gerando amostras

O método da transformada inversa: se $U \sim \text{Uniforme}(0,1)$ e $F$ é a acumulada desejada, então $F^{-1}(U)$ tem a distribuição desejada.

import numpy as np
rng = np.random.default_rng(42)

# exponencial por transformada inversa
u = rng.random(1000)
x = -np.log(1 - u) / lam

# na prática, use a biblioteca
x = rng.exponential(1 / lam, 1000)

Sempre fixe a semente em experimentos que precisam ser reproduzíveis, e nunca use o gerador padrão (random) para fins criptográficos — para isso existe secrets.

Exemplo trabalhado

Um servidor recebe em média 3 requisições por segundo (Poisson). Qual a probabilidade de receber exatamente 5 num dado segundo?

$$P(X=5) = \frac{3^5 e^{-3}}{5!} = \frac{243 \cdot 0{,}0498}{120} \approx 0{,}1008$$

E a probabilidade de receber mais de 5? Somando de 0 a 5 e complementando, chega-se a cerca de $8{,}4%$ — o tipo de conta que dimensiona capacidade.

Erros comuns

  • Supor normalidade em dados assimétricos, especialmente latências.
  • Reportar média de latência em vez de percentis.
  • Confundir densidade com probabilidade.
  • Usar gerador não criptográfico para tokens e senhas.
  • Ignorar caudas pesadas ao dimensionar capacidade.
  • Aplicar o teorema central do limite com poucas amostras ou variância infinita.

Leituras recomendadas

  • Ross, capítulos 4 a 6 — catálogo completo de distribuições.
  • Mitzenmacher e Upfal, capítulos 2 a 4 — as distribuições que aparecem em análise de algoritmos.
  • Documentação do numpy.random e do scipy.stats — parametrizações e convenções, que variam entre bibliotecas.
  • Gil Tene, palestras sobre medição de latência — por que média e desvio padrão enganam.

Sheldon M. Ross (2014). A First Course in Probability. Pearson. ISBN 9781292024929. Michael Mitzenmacher and Eli Upfal (2017). Probability and Computing: Randomization and Probabilistic Techniques. Cambridge University Press. ISBN 9781107154889.

Referências

  1. Sheldon M. Ross (2014). A First Course in Probability. Pearson.
  2. Michael Mitzenmacher; Eli Upfal (2017). Probability and Computing: Randomization and Probabilistic Techniques. Cambridge University Press.