Ver el código de «AIXI»

'''AIXI'''{{AFI2|'ai̯k͡siː|}} es un [[Lógica matemática|formalismo matemático]] teórico para [[Inteligencia artificial fuerte|la inteligencia general artificial]] . Combina la inducción de Solomonoff con [[Teoría de la decisión|la teoría de decisión secuencial]] . AIXI fue propuesto por primera vez por Marcus Hutter en 2000<ref>{{Cita libro|apellidos=Marcus Hutter|título=A Theory of Universal Artificial Intelligence based on Algorithmic Complexity|url=https://archive.org/details/arxiv-cs0004001|año=2000|bibcode=2000cs........4001H}}</ref> y varios resultados con respecto a AIXI se prueban en el libro de 2005 de Hutter ''Universal Artificial Intelligence''.<ref name="uaibook">{{Cita libro|apellidos=Marcus Hutter|título=Universal Artificial Intelligence: Sequential Decisions Based on Algorithmic Probability|serie=Texts in Theoretical Computer Science an EATCS Series|url=https://books.google.com/books?id=NP53iZGt4KUC|año=2005|editorial=Springer|isbn=978-3-540-22139-5|doi=10.1007/b138233}}</ref> AIXI es un [[Aprendizaje por refuerzo|agente de aprendizaje por refuerzo (RL)]] . Maximiza las recompensas totales esperadas recibidas del entorno. Intuitivamente, considera simultáneamente todas las hipótesis (o entornos) computables. En cada paso de tiempo, analiza todos los programas posibles y evalúa cuántas recompensas genera ese programa en función de la siguiente acción que se realice. Las recompensas prometidas se ponderan luego por la creencia subjetiva de que este programa constituye el verdadero entorno. Esta creencia se calcula a partir de la duración del programa: los programas más largos se consideran menos probables, en línea con [[Navaja de Ockham|la navaja de Occam]] . Luego, AIXI selecciona la acción que tiene la recompensa total esperada más alta en la suma ponderada de todos estos programas.

== Definición ==
AIXI es un agente de aprendizaje por refuerzo que interactúa con algún entorno estocástico y desconocido pero computable <math>\mu</math> . La interacción procede en pasos de tiempo, desde <math>t=1</math> a <math>t=m</math>, dónde <math>m \in \mathbb{N}</math> es la vida útil del agente AIXI. En el paso de tiempo ''t'', el agente elige una acción <math>a_t \in \mathcal{A}</math> (por ejemplo, un movimiento de una extremidad) y lo ejecuta en el entorno, y el entorno responde con una "percepción" <math>e_t \in \mathcal{E} = \mathcal{O} \times \mathbb{R}</math>, que consiste en una "observación" <math>o_t \in \mathcal{O}</math> (por ejemplo, una imagen de cámara) y una recompensa <math>r_t \in \mathbb{R}</math>, distribuidos según la [[Probabilidad condicionada|probabilidad condicional]] <math>\mu(o_t r_t | a_1 o_1 r_1 ... a_{t-1} o_{t-1} r_{t-1} a_t)</math>, dónde <math>a_1 o_1 r_1 ... a_{t-1} o_{t-1} r_{t-1} a_t</math> es la "historia" de acciones, observaciones y recompensas. El entorno <math>\mu</math> por lo tanto, se representa matemáticamente como una [[distribución de probabilidad]] sobre "percepciones" (observaciones y recompensas) que dependen del historial ''completo'', por lo que no existe [[Propiedad de Márkov|la suposición de Markov]] (a diferencia de otros algoritmos de RL). Nótese nuevamente que esta distribución de probabilidad es ''desconocida'' para el agente AIXI. Además, nótese nuevamente que <math>\mu</math> es computable, es decir, las observaciones y recompensas que recibe el agente del entorno <math>\mu</math> puede ser calculado por algún programa (que se ejecuta en una [[máquina de Turing]] ), dadas las acciones pasadas del agente AIXI.<ref name="veness2009">{{Cita arXiv|last1=Veness|first1=Joel|author2=Kee Siong Ng|last3=Hutter|first3=Marcus|last4=Uther|first4=William|last5=Silver|first5=David|eprint=0909.0801|title=A Monte Carlo AIXI Approximation|year=2009|class=cs.AI}}</ref>

El ''único'' objetivo del agente AIXI es maximizar <math>\sum_{t=1}^m r_t</math>, es decir, la suma de las recompensas desde el paso de tiempo 1 hasta m.

El agente AIXI está asociado a una política estocástica <math>\pi : (\mathcal{A} \times \mathcal{E})^* \rightarrow \mathcal{A}</math>, que es la función que utiliza para elegir acciones en cada paso de tiempo, donde <math>\mathcal{A}</math> es el espacio de todas las acciones posibles que AIXI puede tomar y <math>\mathcal{E}</math> es el espacio de todas las "percepciones" posibles que puede producir el entorno. El entorno (o distribución de probabilidad) <math>\mu</math> también se puede considerar como una política estocástica (que es una función): <math>\mu : (\mathcal{A} \times \mathcal{E})^* \times \mathcal{A} \rightarrow \mathcal{E} </math>, donde el <math>*</math> es la operación [[Clausura de Kleene|estrella de Kleene]] . En general, en el paso de tiempo <math>t</math> (que va de 1 a m), AIXI, habiendo ejecutado previamente acciones <math>a_1\dots a_{t-1}</math> (que a menudo se abrevia en la literatura como <math>a_{<t}</math> ) y habiendo observado la historia de las percepciones <math>o_1 r_1 ... o_{t-1} r_{t-1}</math> (que se puede abreviar como <math>e_{<t}</math> ), elige y ejecuta en el entorno la acción, <math>a_t</math>, definido de la siguiente manera<ref>[http://hutter1.net/ai/uaibook.htm Universal Artificial Intelligence]</ref>

: <math>
a_t := \arg \max_{a_t} \sum_{o_t r_t} \ldots \max_{a_m} \sum_{o_m r_m} [r_t + \ldots + r_m] \sum_{q:\; U(q, a_1 \ldots a_m) = o_1 r_1 \ldots o_m r_m} 2^{-\textrm{length}(q)} 
</math>

o, usando paréntesis, para eliminar la ambigüedad de las precedencias

: <math>
a_t := \arg \max_{a_t} \left( \sum_{o_t r_t} \ldots \left( \max_{a_m} \sum_{o_m r_m} [r_t + \ldots + r_m] \left( \sum_{q:\; U(q, a_1 \ldots a_m) = o_1 r_1 \ldots o_m r_m} 2^{-\textrm{length}(q)} \right) \right) \right)
</math>

Intuitivamente, en la definición anterior, AIXI considera la suma de la recompensa total sobre todos los "futuros" posibles hasta <math>m - t</math> el tiempo avanza (es decir, desde <math>t</math> a <math>m</math> ), pondera cada uno de ellos por la complejidad de los programas <math>q</math> (es decir, por <math>2^{-\textrm{length}(q)}</math> ) consistente con el pasado del agente (es decir, las acciones ejecutadas previamente, <math>a_{<t}</math>, y percepciones recibidas, <math>e_{<t}</math> ) que puede generar ese futuro, y luego elige la acción que maximiza las recompensas futuras esperadas.<ref name="veness2009">{{Cita arXiv|last1=Veness|first1=Joel|author2=Kee Siong Ng|last3=Hutter|first3=Marcus|last4=Uther|first4=William|last5=Silver|first5=David|eprint=0909.0801|title=A Monte Carlo AIXI Approximation|year=2009|class=cs.AI}}</ref>

Desglosemos esta definición para intentar entenderla completamente.

<math>o_t r_t</math> es el "percepto" (que consiste en la observación <math>o_t</math> y recompensa <math>r_t</math> ) recibido por el agente AIXI en el paso de tiempo <math>t</math> del entorno (que es desconocido y estocástico). Similarmente, <math>o_m r_m</math> es la percepción recibida por AIXI en el paso de tiempo <math>m</math> (el último paso de tiempo en el que AIXI está activo).

<math>r_t + \ldots + r_m</math> es la suma de las recompensas del paso de tiempo <math>t</math> paso de tiempo <math>m</math>, por lo que AIXI necesita mirar hacia el futuro para elegir su acción en el paso de tiempo <math>t</math> .

<math>U</math> denota una [[máquina de Turing universal]] monótona, y <math>q</math> rangos sobre todos los programas (deterministas) en la máquina universal <math>U</math>, que recibe como entrada el programa <math>q</math> y la secuencia de acciones <math>a_1\dots a_m</math> (es decir, todas las acciones), y produce la secuencia de percepciones <math>o_1 r_1 \ldots o_m r_m</math> . La máquina de Turing universal <math>U</math> por lo tanto, se utiliza para "simular" o calcular las respuestas o percepciones del entorno, dado el programa <math>q</math> (que "modela" el entorno) y todas las acciones del agente AIXI: en este sentido, el entorno es "computable" (como se indicó anteriormente). Tenga en cuenta que, en general, el programa que "modela" el entorno ''actual'' y real (donde AIXI debe actuar) es desconocido porque el entorno actual también es desconocido.

<math>\textrm{length}(q)</math> es la duración del programa <math>q</math> (que se codifica como una cadena de bits). Tenga en cuenta que <math>2^{-\textrm{length}(q)} = \frac{1}{2^{\textrm{length}(q)}}</math> . Por lo tanto, en la definición anterior, <math>\sum_{q:\; U(q, a_1 \ldots a_m) = o_1 r_1 \ldots o_m r_m} 2^{-\textrm{length}(q)}</math> debe interpretarse como una mezcla (en este caso, una suma) sobre todos los entornos computables (que son consistentes con el pasado del agente), cada uno ponderado por su complejidad <math>2^{-\textrm{length}(q)}</math> . Tenga en cuenta que <math>a_1 \ldots a_m</math> también se puede escribir como <math>a_1 \ldots a_{t-1}a_t \ldots a_m</math>, y <math>a_1 \ldots a_{t-1} = a_{<t}</math> es la secuencia de acciones ya ejecutadas en el entorno por el agente AIXI. Similarmente, <math>o_1 r_1 \ldots o_m r_m = o_1 r_1 \ldots o_{t-1} r_{t-1}o_{t} r_{t} \ldots o_m r_m</math>, y <math>o_1 r_1 \ldots o_{t-1} r_{t-1}</math> es la secuencia de percepciones producidas por el entorno hasta el momento.

Pongamos ahora todos estos componentes juntos para entender esta ecuación o definición.

En el paso de tiempo t, AIXI elige la acción <math>a_t</math> donde la función <math>\sum_{o_t r_t} \ldots \max_{a_m} \sum_{o_m r_m} [r_t + \ldots + r_m] \sum_{q:\; U(q, a_1 \ldots a_m) = o_1 r_1 \ldots o_m r_m} 2^{-\textrm{length}(q)}</math> alcanza su máximo.

=== Parámetros ===
Los parámetros para AIXI son la máquina de Turing universal ''U'' y el tiempo de vida del agente ''m'', que deben elegirse. El último parámetro se puede eliminar mediante el uso de [[Descuento (finanzas)|descuentos]] .

== El significado de la palabra AIXI ==
Según Hutter, la palabra "AIXI" puede tener varias interpretaciones. AIXI puede representar AI según la distribución de Solomonoff, denotada por <math>\xi</math> (que es la letra griega xi), o por ejemplo, puede significar AI "cruzado" (X) con inducción (I). Hay otras interpretaciones.

== Optimalidad ==
El desempeño de AIXI se mide por el número total esperado de recompensas que recibe. Se ha demostrado que AIXI es óptimo de las siguientes maneras.<ref name="uaibook">{{Cita libro|apellidos=Marcus Hutter|título=Universal Artificial Intelligence: Sequential Decisions Based on Algorithmic Probability|serie=Texts in Theoretical Computer Science an EATCS Series|url=https://books.google.com/books?id=NP53iZGt4KUC|año=2005|editorial=Springer|isbn=978-3-540-22139-5|doi=10.1007/b138233}}</ref>

* [[Eficiencia de Pareto|Óptimo de Pareto]] : no hay otro agente que funcione al menos tan bien como AIXI en todos los entornos mientras se desempeña estrictamente mejor en al menos un entorno.{{Cita requerida|fecha=June 2014}}
* Optimismo de Pareto equilibrado: como el óptimo de Pareto, pero considerando una suma ponderada de entornos.
* Autooptimización: una política ''p'' se denomina autooptimización para un entorno. <math>\mu</math> si el rendimiento de ''p'' se acerca al máximo teórico para <math>\mu</math> cuando la duración de la vida del agente (no el tiempo) llega al infinito. Para las clases de entorno en las que existen políticas de optimización automática, AIXI se optimiza automáticamente.

Más tarde, Hutter y Jan Leike demostraron que la optimización de Pareto equilibrada es subjetiva y que cualquier política puede considerarse óptima de Pareto, lo que describen como que socava todas las afirmaciones de optimización anteriores para AIXI.<ref>{{Cita conferencia|conferencia=Proceedings of the 28th Conference on Learning Theory|fecha=2015}}</ref> Sin embargo, AIXI tiene limitaciones. Se limita a maximizar las recompensas basadas en percepciones en lugar de estados externos. También asume que interactúa con el entorno únicamente a través de canales de acción y percepción, evitando que considere la posibilidad de ser dañado o modificado. Coloquialmente, esto significa que no se considera contenido por el entorno con el que interactúa. También asume que el entorno es computable.<ref>{{Cita web|url=https://intelligence.org/files/RealisticWorldModels.pdf|título=Formalizing Two Problems of Realistic World-Models|fechaacceso=2015-07-19|autor=Soares|nombre=Nate|sitioweb=Intelligence.org}}</ref>

== Aspectos computacionales ==
Al igual que la inducción de Solomonoff, AIXI es [[Problema indecidible|incomputable]] . Sin embargo, existen aproximaciones computables de la misma. Una de esas aproximaciones es AIXI ''tl'', que funciona al menos tan bien como el mejor agente limitado en tiempo ''t'' y espacio ''l''.<ref name="uaibook">{{Cita libro|apellidos=Marcus Hutter|título=Universal Artificial Intelligence: Sequential Decisions Based on Algorithmic Probability|serie=Texts in Theoretical Computer Science an EATCS Series|url=https://books.google.com/books?id=NP53iZGt4KUC|año=2005|editorial=Springer|isbn=978-3-540-22139-5|doi=10.1007/b138233}}</ref> Otra aproximación a AIXI con una clase de entorno restringido es MC-AIXI (FAC-CTW) (que significa [[Método de Montecarlo|Monte Carlo]] AIXI FAC- Context-Tree Weighting ), que ha tenido cierto éxito en juegos simples como [[Pac-Man]] parcialmente observable.<ref name="veness2009">{{Cita arXiv|last1=Veness|first1=Joel|author2=Kee Siong Ng|last3=Hutter|first3=Marcus|last4=Uther|first4=William|last5=Silver|first5=David|eprint=0909.0801|title=A Monte Carlo AIXI Approximation|year=2009|class=cs.AI}}</ref><ref>[https://www.youtube.com/watch?v=yfsMHtmGDKE Playing Pacman using AIXI Approximation – YouTube]</ref>

== Véase también ==
* [[máquina de Gödel]]

== Referencias ==
{{Listaref}}

==Enlaces externos ==
* "Inteligencia algorítmica universal: un enfoque matemático de arriba hacia abajo", Marcus Hutter, {{Arxiv|cs/0701125}}   ; también en ''Inteligencia General Artificial'', eds. B. Goertzel y C. Pennachin, Springer, 2007,{{ISBN|9783540237334}}, págs.&nbsp;227–290,{{Doi|10.1007/978-3-540-68677-4_8}}   .
{{Control de autoridades}}
[[Categoría:Aprendizaje automático]]
[[Categoría:Teoría de la decisión]]
[[Categoría:Wikipedia:Páginas con traducciones sin revisar]]