Entropía de transferencia

La entropía de transferencia es una estadística no paramétrica que mide la cantidad de información transferida de manera dirigida (es decir, asimétrica en el tiempo) entre dos procesos aleatorios. Específicamente, la entropía de transferencia de un proceso X a otro proceso Y cuantifica la reducción en la incertidumbre de los valores futuros de Y al conocer los valores pasados de X, dando el conocimento de valores pasados de Y. Formalmente, si $X_t$ y $Y_t$ para $t\in \mathbb{N}$ reoresentan dos procesos aleatorios y la cantidad de información se mide mediante la entropía de Shannon, la entropía de transferencia se puede se expresa como:

$T_{X\to Y}=H(Y_t\mid Y_{t-1:t-L})-H(Y_t\mid Y_{t-1:t-L},X_{t-1:t-L}),$

donde H(X) es la entropía de Shannon de X. La definición anterior de entropía de transferencia se ha ampliado con otros tipos de medidas de entropía, como la entropía de Rényi.

La entropía de transferencia es información mutua condicional, con la historia de la variable influenciada $Y_{t-1:t-L}$ en la condición:

$T_{X\to Y}=I(Y_t;X_{t-1:t-L}\mid Y_{t-1:t-L}).$

La entropía de transferencia se reduce a la causalidad de Granger para los procesos autorregresivos vectoriales. Por lo tanto, es ventajosa cuando la suposición del modelo de causalidad de Granger no se cumple, por ejemplo, en el análisis de señales no lineales. Sin embargo, normalmente requiere más muestras para una estimación precisa.

Las probabilidades en la fórmula de la entropía pueden estimarse utilizando diferentes enfoques (agrupamiento en bins, vecinos más cercanos) o, para reducir la complejidad, mediante una incrustación no uniforme. Aunque originalmente se definió para el análisis bivariado, la entropía de transferencia se ha extendido a formas multivariadas, ya sea condicionada a otras posibles variables fuente o considerando la transferencia desde una colección de fuentes, aunque estas formas requieren aún más muestras.

La entropía de transferencia se ha utilizado para estimar la conectividad funcional de las neuronas, la influencia social en las redes sociales y la causalidad estadística entre eventos de conflicto armado. La entropía de transferencia es una versión finita de la información dirigida que fue definida en 1990 por James Massey como $I(X^n\to Y^n)=\sum _{i=1}^{n}I(X^i;Y_i|Y^{i-1})$, dónde $X^n$ denota el vector $X_1,X_2,...,X_n$ y $Y^n$ denota $Y_1,Y_2,...,Y_n$. La información dirigida juega un papel importante en la caracterización de los límites fundamentales ( capacidad del canal ) de los canales de comunicación con o sin retroalimentación y el juego con información secundaria causal.

Enlaces externos

• Plantilla:Cita web, a toolbox, developed in C++ and MATLAB, for computation of transfer entropy between spike trains.
• Plantilla:Cita web, a toolbox, developed in Java and usable in MATLAB, GNU Octave and Python, for computation of transfer entropy and related information-theoretic measures in both discrete and continuous-valued data.
• Plantilla:Cita web, a toolbox, developed in MATLAB, for computation of transfer entropy with different estimators.