Modelo probit

Gráfica del modelo probit

En estadística, un modelo probit es un área de regresión donde la variable dependiente puede tomar solo dos valores, por ejemplo, casados o no casados. La palabra es un acrónimo, viene de probabilidad + unit (unidad). El propósito del modelo es estimar la probabilidad de que una observación con características particulares caerá en una categoría específica; además, clasificando las observaciones basadas en sus probabilidades predichas es un tipo de modelo de clasificación binario .

Un modelo probit es una especificación popular para un modelo de respuesta ordinal o binario. Como tal, trata el mismo conjunto de problemas que la regresión logística utilizando técnicas similares. El modelo probit, que emplea una función de enlace probit, se suele estimar utilizando el procedimiento estándar de máxima verosimilitud , que se denomina una regresión probit.

Los modelos Probit fueron presentados por Chester Bliss en 1934; Ronald Fisher propuso un método rápido para calcular las estimaciones de máxima verosimilitud para ellos como apéndice del trabajo de Bliss en 1935.

Marco conceptual

Supongamos que una variable de respuesta $Y$ es dicotómica, es decir, que puede tener solo dos resultados posibles que denotaremos como $1$ y $0$. Por ejemplo, $Y$ puede representar la presencia o ausencia de una determinada condición, éxito o falla de algún dispositivo, responder sí o no en una encuesta, etc. También tenemos un vector de regresores que denotaremos por $X$, que se supone influyen en el resultado de $Y$. Específicamente, suponemos que el modelo toma la forma:

$\mathrm{P}[Y=1\mid X]=\mathrm{\Phi }(X^T\beta ),$

donde $P$ denota la probabilidad, y $\mathrm{\Phi }$ es la función de distribución acumulada (FDA) de la distribución normal estándar. Los parámetros $\beta$ se estiman típicamente por máxima verosimilitud.

Es posible motivar el modelo probit como un modelo de variable latente. Supongamos que existe una variable aleatoria auxiliar

$Y^{\ast }=X^T\beta +\epsilon ,$

donde $\epsilon \sim N(0,1)$. Entonces $Y$ puede verse como un indicador de si esta variable latente es positiva:

$Y=\{\begin{array}{cc}1& Y^{*}>0\\ 0& \text{en otro caso}\end{array}=\{\begin{array}{cc}1& -\epsilon <X^T\beta ,\\ 0& \text{en otro caso}.\end{array}$

El uso de la distribución normal estándar no causa pérdida de generalidad en comparación con el uso de una media arbitraria y una desviación estándar porque la suma de una cantidad fija a la media puede compensarse restando la misma cantidad de la intersección y multiplicando la desviación estándar por una cantidad fija se puede compensar multiplicando los pesos por la misma cantidad.

Para ver que los dos modelos son equivalentes, tenga en cuenta que:

$\begin{array}{cc}\mathrm{P}[Y=1\mid X]& =\mathrm{P}[Y^{\ast }>0]\\ & =\mathrm{P}[X^T\beta +\epsilon >0]\\ & =\mathrm{P}[\epsilon >-X^T\beta ]\\ & =\mathrm{P}[\epsilon <X^T\beta ]& \text{por simetría de la distribución normal}\\ & =\mathrm{\Phi }[X^T\beta ]\end{array}$

Estimación del modelo

Estimación de máxima verosimilitud

Supongamos que el conjunto de datos $\{y_i,x_i{\}}_{i=1}^n$ contiene $n$ unidades estadísticas independientes que corresponden al modelo anterior. Entonces su función conjunta de verosimilitud de $\log$ es

$\ln ℒ(\beta )=\sum _{i=1}^n(y_i\ln \mathrm{\Phi }({x_i}^{\prime }\beta )+(1-y_i)\ln (1-\mathrm{\Phi }({x_i}^{\prime }\beta )\left)\right)$

El estimador $\hat{\beta }$ que maximiza esta función será consistente, asintóticamente normal y eficiente siempre que $X{X}^T$ exista y sea no singular. Se puede demostrar que esta función de verosimilitud de $\log$ es cóncava globalmente en $\beta$, y, por lo tanto, los algoritmos numéricos estándar para la optimización convergerán rápidamente al máximo único.

Distribución asintótica para $\hat{\beta }$ está dado por:

$\sqrt{n}(\hat{\beta }-\beta )\stackrel{d}{\to }𝒩(0,{\mathrm{\Omega }}^{-1}),$

donde

$\mathrm{\Omega }=\mathrm{E}\left[\frac{{\phi }^2(X^{\prime }\beta )}{\mathrm{\Phi }(X^{\prime }\beta )(1-\mathrm{\Phi }(X^{\prime }\beta ))}X{X}^{\prime }\right],\hat{\mathrm{\Omega }}=\frac{1}{n}\sum _{i=1}^n\frac{{\phi }^2(x{\text{'}}_i\hat{\beta })}{\mathrm{\Phi }(x{\text{'}}_i\hat{\beta })(1-\mathrm{\Phi }(x{\text{'}}_i\hat{\beta }))}{x}_{i}x{\text{'}}_i$

y φ = Φ' es la función de densidad de probabilidad (PDF) de la distribución normal estándar.

El método mínimo de ji-cuadrado de Berkson

Este método solo se puede aplicar cuando hay muchas observaciones de variables de respuesta y $y_i$ teniendo el mismo valor del vector de regresores $x_i$ (tal situación puede denominarse "muchas observaciones por celda"). Más específicamente, el modelo se puede formular de la siguiente manera.

Supongamos que entre n observaciones $\{y_i,x_i{\}}_{i=1}^n$ solo hay T valores distintos de los regresores, que se pueden denotar como $\{x_{(1)},\dots ,x_{(T)}\}$. Sea $n_t$ el número de observaciones con $x_i=x_{(t)},$ y $r_t$ el número de tales observaciones con $y_i=1$. Suponemos que efectivamente hay "muchas" observaciones por cada "célula": para cada $t,\underset{n\to \mathrm{\infty }}{\lim }{n}_t/n=c_t>0$.

Denotemos:

${\hat{p}}_t=r_t/n_t$

${\hat{\sigma }}_t^2=\frac{1}{n_t}\frac{{\hat{p}}_t(1-{\hat{p}}_t)}{{\phi }^2({\mathrm{\Phi }}^{-1}({\hat{p}}_t))}$

Entonces, el estimador mínimo de chi-cuadrado de Berkson es un estimador de mínimos cuadrados generalizados en una regresión de ${\mathrm{\Phi }}^{-1}({\hat{p}}_t)$ en $x_{(t)}$ con ponderadores ${\hat{\sigma }}_t^{-2}$:

$\hat{\beta }=(\sum _{t=1}^T{\hat{\sigma }}_t^{-2}{x}_{(t)}x{\text{'}}_{(t)}{)}^{-1}\sum _{t=1}^T{\hat{\sigma }}_t^{-2}{x}_{(t)}{\mathrm{\Phi }}^{-1}({\hat{p}}_t)$

Se puede demostrar que este estimador es consistente (como n→∞ y T fijo), asintóticamente normal y eficiente. [ cita requerida ] Su ventaja es la presencia de una fórmula de forma cerrada para el estimador. Sin embargo, solo es significativo llevar a cabo este análisis cuando las observaciones individuales no están disponibles, solo sus cuentas agregadas $r_t$, $n_t$, y $x_{(t)}$ (por ejemplo, en el análisis del comportamiento electoral).