Ver el código de «Teorema de aproximación universal»

Los '''teoremas de aproximación universal''' en la teoría [[Matemáticas|matemática]] de las [[Red neuronal artificial|redes neuronales artificiales]],  son [[teorema]]s <ref name="MLP-UA">{{Cita publicación |título=Multilayer feedforward networks are universal approximators |nombre=Kurt |apellidos2=Stinchcombe |nombre2=Maxwell |fecha=enero de 1989 |publicación=Neural Networks |volumen=2 |número=5 |páginas=359–366 |doi=10.1016/0893-6080(89)90020-8 |apellidos3=White |nombre3=Halbert |apellido1=Hornik}}</ref><ref>Balázs Csanád Csáji (2001) Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungary</ref> de la siguiente forma: {{cita|Dada una familia de redes neuronales, para toda función <math>f</math> en cierto [[espacio funcional]] existe una secuencia de redes neuronales <math>\phi_1, \phi_2, \dots</math> pertenecientes a esta familia tales que <math>\phi_n \to f</math> de acuerdo a algún criterio.}} Esto es, la familia de redes neuronales es [[Conjunto denso|densa]] en ese espacio funcional.

La versión más difundida establece que las [[Red neuronal prealimentada|redes neuronales prealimentadas]] con [[Función de activación|funciones de activación]] no-[[Polinomio|polinómicas]] son densas en el espacio de las [[Función continua|funciones continuas]] entre dos [[Espacio euclidiano|espacios euclidianos]], con respecto a la [[topología]] de [[convergencia compacta]].

* <u>Los teoremas de aproximación universal son teoremas de existencia:</u> Simplemente afirman que ''existe'' una tal secuencia <math>\phi_1, \phi_2, \dots \to f</math> y no proveen manera alguna para efectivamente hallar una secuencia de esas características. Tampoco garantizan que algún método, como por ejemplo la [[retropropagación]], pueda realmente encontrar una secuencia tal. Cualquier método de búsqueda en el espacio de las redes neuronales, incluido el de retropropagación, podría o no hallar una secuencia convergente (en efecto, es posible que la retropropagación quede atascada en un óptimo local). 

* <u>Los teoremas de aproximación universal son teoremas de límite:</u> Simplemente afirman que para toda función <math>f</math> y para un criterio de cercanía <math>\epsilon > 0</math>, si hay ''suficientes'' neuronas en una red neuronal, entonces existe una red neuronal con ese número de neuronas que aproxima a <math>f</math> dentro del margen  <math>\epsilon</math>. No existe garantía de que algún tamaño finito, digamos 10&nbsp;000 neuronas, sea suficiente.

== Contexto ==
Las [[Red neuronal artificial|redes neuronales artificiales]] son combinaciones de múltiples funciones matemáticas simples que implementan funciones más complejas, que típicamente transforman [[Vector (matemáticas y física)|vectores]] de componentes [[Número real|reales]] en [[Vector (matemáticas y física)|vectores]] de componentes [[Número real|reales]]. Los espacios de funciones multivariables que se pueden implementar por medio de una red se encuentran determinados por la estructura de la red, el conjunto de funciones simples en cuestión, así como por sus parámetros multiplicativos. Se han dedicado grandes esfuerzos teóricos a la caracterización de estos espacios funcionales.

La mayoría de los teoremas de aproximación universal perteneces a una de estas dos clases. La primera de ellas cuantifica la capacidad aproximadora de las redes neuronales con un número arbitrario de neuronas artificiales (el caso de "''ancho arbitrario''"), mientras que la segunda se centra en el caso del número arbitrario de capas ocultas, cada una de las cuales contiene un número limitado de neuronas (el caso de "''profundidad arbitraria''"). Además de estas dos clases, también existen teoremas de aproximación universal para redes neuronales con un número acotado de capas ocultas, cada una de las cuales contiene un número limitado de neuronas (caso de "''profundidad acotada y ancho acotado''").

== Historia ==

=== Ancho arbitrario ===
Los primeros ejemplos fueron para el caso de ''ancho arbitrario''. En 1989, {{ill|en|George Cybenko|George Cybenko}} efectuó la prueba para funciones de activación [[Función sigmoide|sigmoides]].<ref name="cyb">{{Cita publicación |título=Approximation by superpositions of a sigmoidal function |nombre=G. |publicación=Mathematics of Control, Signals, and Systems |volumen=2 |número=4 |páginas=303–314 |bibcode=1989MCSS....2..303C |doi=10.1007/BF02551274 |año=1989 |apellido1=Cybenko |s2cid=3958369}}</ref> También en 1989, [[Kurt Hornik]], Maxwell Stinchcombe y [[Halbert White]] mostraron que las [[Red neuronal prealimentada|redes neuronales prealimentadas]] multicapas con no más que una capa oculta son aproximadores universales.<ref name="MLP-UA" /> En 1991, Hornik también mostró<ref name="horn">{{Cita publicación |título=Approximation capabilities of multilayer feedforward networks |nombre=Kurt |publicación=Neural Networks |volumen=4 |número=2 |páginas=251–257 |doi=10.1016/0893-6080(91)90009-T |año=1991 |apellido1=Hornik |s2cid=7343126}}</ref> que no es la elección específica de la función activadora, sino más bien la propia arquitectura prealimentada multicapas la que le otorga a las redes neuronales su potencial función como aproximadores universales. Moshe Leshno ''et al'', en 1993,<ref name="leshno">{{Cita publicación |url=http://archive.nyu.edu/handle/2451/14329 |título=Multilayer feedforward networks with a nonpolynomial activation function can approximate any function |nombre=Moshe |apellidos2=Lin |nombre2=Vladimir Ya. |fecha=enero de 1993 |publicación=Neural Networks |volumen=6 |número=6 |páginas=861–867 |doi=10.1016/S0893-6080(05)80131-5 |apellidos3=Pinkus |nombre3=Allan |apellidos4=Schocken |nombre4=Shimon |apellido1=Leshno |s2cid=206089312}}</ref> y luego Allan Pinkus, en 1999,<ref name="pinkus">{{Cita publicación |título=Approximation theory of the MLP model in neural networks |apellidos=Pinkus |nombre=Allan |fecha=January 1999 |publicación=Acta Numerica |volumen=8 |páginas=143–195 |bibcode=1999AcNum...8..143P |doi=10.1017/S0962492900002919 |s2cid=16800260}}</ref> mostraron que la propiedad de aproximación universal es equivalente a que la función de activación sea no-polinómica.

=== Profundidad arbitraria ===
El caso de ''profundidad arbitraria'' también fue estudiado por varios autores tales como Gustaf Gripenberg en 2003,<ref name="gripenberg">{{Cita publicación |título=Approximation by neural networks with a bounded number of nodes at each level |apellidos=Gripenberg |nombre=Gustaf |fecha=June 2003 |publicación=Journal of Approximation Theory |volumen=122 |número=2 |páginas=260–266 |doi=10.1016/S0021-9045(03)00078-9}}</ref> Dmitry Yarotsky,<ref>{{Cita publicación |título=Error bounds for approximations with deep ReLU networks |apellidos=Yarotsky |nombre=Dmitry |fecha=October 2017 |publicación=Neural Networks |volumen=94 |páginas=103–114 |doi=10.1016/j.neunet.2017.07.002 |pmid=28756334 |arxiv=1610.01145 |s2cid=426133}}</ref> Zhou Lu ''et al'' en 2017,<ref name="ZhouLu">{{Cita publicación |url=http://papers.nips.cc/paper/7203-the-expressive-power-of-neural-networks-a-view-from-the-width |título=The Expressive Power of Neural Networks: A View from the Width |apellidos=Lu |nombre=Zhou |apellidos2=Pu |nombre2=Hongming |publicación=Advances in Neural Information Processing Systems |editorial=Curran Associates |volumen=30 |páginas=6231–6239 |apellidos3=Wang |nombre3=Feicheng |apellidos4=Hu |nombre4=Zhiqiang |apellidos5=Wang |nombre5=Liwei |año=2017 |arxiv=1709.02540}}</ref> Boris Hanin y Mark Sellke en 2018,<ref name="hanin">{{cite arXiv |last1=Hanin|first1=Boris|last2=Sellke|first2=Mark|title=Approximating Continuous Functions by ReLU Nets of Minimal Width|eprint=1710.11278|class=stat.ML|date=2018}}</ref> los que se centraron en las redes neuronales con función de activación ReLU. En 2020, Patrick Kidger y Terry Lyons<ref name="kidger">{{Cite conference|last1=Kidger|first1=Patrick|last2=Lyons|first2=Terry|date=July 2020|title=Universal Approximation with Deep Narrow Networks|arxiv=1905.08539|conference=Conference on Learning Theory}}</ref> extendieron esos resultados al caso de redes neuronales con ''funciones activadoras generales'' como p.ej. tanh, GeLU o Swish.

Un caso especial de profundidad arbitraria consiste en que cada componente de la composición provenga de un [[conjunto finito]] de aplicaciones. En 2024, Cai<ref name="cai2024">{{Cita publicación |url=https://proceedings.mlr.press/v235/cai24a.html |título=Vocabulary for Universal Approximation: A Linguistic Perspective of Mapping Compositions |apellidos=Yongqiang |nombre=Cai |fecha=2024 |publicación=ICML |páginas=5189–5208 |arxiv=2305.12205}}</ref> construyó un conjunto finito de aplicaciones, denominado "vocabulario", tal que cualquiera función continua se pudiera aproximar componiendo una secuencia con elementos de este vocabulario. Esto se asemeja al concepto de composicionalidad en [[lingüística]], que consiste en la idea de que un vocabulario finito de elementos básicos se puede combinar por vía de una gramática para expresar un rango infinito de significados.

=== Profundidad y ancho acotados ===
El caso de profundidad y ancho acotados fue estudiado primero por Maiorov y Pinkus en 1999.<ref name="maiorov">{{Cita publicación |título=Lower bounds for approximation by MLP neural networks |apellidos=Maiorov |nombre=Vitaly |apellidos2=Pinkus |nombre2=Allan |fecha=April 1999 |publicación=Neurocomputing |volumen=25 |número=1–3 |páginas=81–91 |doi=10.1016/S0925-2312(98)00111-8}}</ref> Ellos demostraron que existe una función de activación analítica sigmoidal tal que las redes neuronales de dos capas ocultas dotadas con ella sean aproximadores universales.

Guliyev e Ismailov<ref name="guliyev1">{{Cita publicación |título=Approximation capability of two hidden layer feedforward neural networks with fixed weights |apellidos=Guliyev |nombre=Namig |apellidos2=Ismailov |nombre2=Vugar |fecha=November 2018 |publicación=Neurocomputing |volumen=316 |páginas=262–269 |doi=10.1016/j.neucom.2018.07.075 |arxiv=2101.09181 |s2cid=52285996}}</ref> construyeron una función de activación sigmoidal lisa que provee la propiedad de aproximación universal para redes neuronales prealimentadas de dos capas ocultas con menos unidades en sus capas ocultas.

Los mismos autores<ref name="guliyev2">{{Cita publicación |título=On the approximation by single hidden layer feedforward neural networks with fixed weights |apellidos=Guliyev |nombre=Namig |apellidos2=Ismailov |nombre2=Vugar |fecha=February 2018 |publicación=Neural Networks |volumen=98 |páginas=296–304 |doi=10.1016/j.neunet.2017.12.007 |pmid=29301110 |arxiv=1708.06219 |s2cid=4932839}}</ref> construyeron redes de una sola capa oculta de ancho acotado que siguen siendo aproximadores universales para funciones de una sola variable. Sin embargo esto no se aplica a las funciones multivariadas.

Shen et.al.<ref name="dup-0-26">{{Cita publicación |título=Optimal approximation rate of ReLU networks in terms of width and depth |apellidos=Shen |nombre=Zuowei |apellidos2=Yang |nombre2=Haizhao |fecha=January 2022 |publicación=Journal de Mathématiques Pures et Appliquées |volumen=157 |páginas=101–135 |doi=10.1016/j.matpur.2021.07.009 |apellidos3=Zhang |nombre3=Shijun |arxiv=2103.00502 |s2cid=232075797}}</ref> obtuvieron información cuantitativa precisa acerca de la profundidad y el ancho requeridos para aproximar una función objetivo por medio de redes neuronales ReLU profundas y anchas.

=== Límites cuantitativos ===
La cuestión del ancho mínimo requerido para la universalidad fue estudiada primero en 2021, cuando Park et al obtuvieron el ancho mínimo requerido para una aproximación universal de las funciones de ''[[Espacios Lp|L<sup>p</sup>]]'' usando redes neuronales prealimentadas con funciones de activación [[Rectificador (redes neuronales)|ReLU]].<ref name="park">{{Cite conference |last1=Park |first1=Sejun |last2=Yun |first2=Chulhee |last3=Lee |first3=Jaeho |last4=Shin |first4=Jinwoo |date=2021 |title=Minimum Width for Universal Approximation |conference=International Conference on Learning Representations |arxiv=2006.08859}}</ref> Resultados similares y que pueden aplicarse directamente a las [[Red neuronal residual|redes neuronales residuales]] también se obtuvieron el mismo año por Paulo Tabuada y Bahman Gharesifard empleando argumentos de [[teoría del control]].<ref>{{Cite conference |last1=Tabuada |first1=Paulo |last2=Gharesifard |first2=Bahman |date=2021 |title=Universal approximation power of deep residual neural networks via nonlinear control theory |conference=International Conference on Learning Representations |arxiv=2007.06007}}</ref><ref>{{Cita publicación |título=Universal Approximation Power of Deep Residual Neural Networks Through the Lens of Control |apellidos=Tabuada |nombre=Paulo |apellidos2=Gharesifard |nombre2=Bahman |fecha=May 2023 |publicación=IEEE Transactions on Automatic Control |volumen=68 |número=5 |páginas=2715–2728 |doi=10.1109/TAC.2022.3190051 |s2cid=250512115}}</ref> En 2023, Cai obtuvo el límite de ancho mínimo óptimo para la aproximación universal.<ref name=":1">{{Cita publicación |url=https://openreview.net/forum?id=hfUJ4ShyDEU |título=Achieve the Minimum Width of Neural Networks for Universal Approximation |fecha=2023-02-01 |publicación=ICLR |idioma=en |last=Cai |first=Yongqiang |arxiv=2209.11395}}</ref>

Para el caso de profundidad arbitraria, Leonie Papon y Anastasis Kratsios derivaron estimaciones explícitas de profundidad dependientes de la regularidad de la función objetivo y de la función de activación.<ref name="jmlr.org">{{Cita publicación |url=http://jmlr.org/papers/v23/21-0716.html |título=Universal Approximation Theorems for Differentiable Geometric Deep Learning |apellidos=Kratsios |nombre=Anastasis |apellidos2=Papon |nombre2=Léonie |fecha=2022 |publicación=Journal of Machine Learning Research |volumen=23 |número=196 |páginas=1–73 |arxiv=2101.05390}}</ref>

=== Redes de Kolmogorov ===
El [[teorema de representación de Kolmogórov-Arnold]] es similar en su tónica. De hecho, para ciertas familias de redes neuronales se puede aplicar directamente el teorema de Kolmogorov-Arnold obteniendo un teorema de aproximación universal. {{ill|en|Robert Hecht-Nielsen|Robert Hecht-Nielsen}} demostró que una red neuronal de tres capas puede aproximar cualquiera función continua de variable múltiple.<ref>{{Cita publicación |url=https://cir.nii.ac.jp/crid/1572543025788928512 |título=Kolmogorov's mapping neural network existence theorem |fecha=1987 |publicación=Proceedings of International Conference on Neural Networks, 1987 |volumen=3 |páginas=11–13 |last=Hecht-Nielsen |first=Robert}}</ref> Este resultado fue extendido al caso discontinuo por Vugar Ismailov.<ref>{{Cita publicación |título=A three layer neural network can represent any multivariate function |apellidos=Ismailov |nombre=Vugar E. |fecha=July 2023 |publicación=Journal of Mathematical Analysis and Applications |volumen=523 |número=1 |páginas=127096 |doi=10.1016/j.jmaa.2023.127096 |arxiv=2012.03016 |s2cid=265100963}}</ref> En 2024, Ziming Liu y sus coautores presentaron una aplicación práctica.<ref>{{cite arXiv |last1=Liu |first1=Ziming |title=KAN: Kolmogorov-Arnold Networks |date=2024-05-24 |eprint=2404.19756 |last2=Wang |first2=Yixuan |last3=Vaidya |first3=Sachin |last4=Ruehle |first4=Fabian |last5=Halverson |first5=James |last6=Soljačić |first6=Marin |last7=Hou |first7=Thomas Y. |last8=Tegmark |first8=Max|class=cs.LG }}</ref>

=== Variantes ===
Entre los '''teoremas de aproximación universal''' existen variantes con funciones de activación discontinuas,<ref name="leshno" /> dominios no compactos,<ref name="kidger" /><ref>{{Cita publicación |url=https://doi.org/10.1016/j.neunet.2024.106181 |título=Noncompact uniform universal approximation |apellidos=van Nuland |nombre=Teun |publicación=Neural Networks |volumen=173 |doi=10.1016/j.neunet.2024.106181 |pmid=38412737 |año=2024 |arxiv=2308.03812}}</ref> redes certificables,<ref>{{cite conference |last1=Baader |first1=Maximilian |last2=Mirman |first2=Matthew |last3=Vechev |first3=Martin |date=2020 |title=Universal Approximation with Certified Networks |url=https://openreview.net/forum?id=B1gX8kBtPr |conference=ICLR}}</ref> redes neuronales aleatorias,<ref>{{Cita publicación |url=https://zenodo.org/record/6817275 |título=Function approximation with spiked random networks |apellidos=Gelenbe |nombre=Erol |apellidos2=Mao |nombre2=Zhi Hong |publicación=IEEE Transactions on Neural Networks |volumen=10 |número=1 |páginas=3–9 |doi=10.1109/72.737488 |pmid=18252498 |apellidos3=Li |nombre3=Yan D. |año=1999}}</ref> así como redes con arquitecturas y topologías alternativas.<ref name="kidger" /><ref>{{Cite conference |last1=Lin |first1=Hongzhou |last2=Jegelka |first2=Stefanie|date=2018 |title=ResNet with one-neuron hidden layers is a Universal Approximator |url=https://papers.nips.cc/paper/7855-resnet-with-one-neuron-hidden-layers-is-a-universal-approximator |publisher=Curran Associates |volume=30 |pages=6169–6178 |journal=Advances in Neural Information Processing Systems}}</ref>

La propiedad de aproximación universal de las redes de ancho acotado se ha estudiado como caso ''dual'' de los resultados clásicos en materia de aproximación universal para redes de profundidad acotada. Para dimensiones de entrada dx y dimensiones de salida dy, el ancho mínimo requerido para la aproximación universal de las funciones ''[[Espacios Lp|L<sup>p</sup>]]'' es exactamente max{dx + 1, dy} (para una red ReLU). <!-- ReLU alone is not sufficient in general "In light of Theorem 2, is it impossible to approximate C(K, R dy) in general while maintaining width max{dx + 1, dy}? Theorem 3 shows that an additional activation comes to rescue." --> Más en general, esto también rige si se emplean ''tanto'' ReLU ''como'' una [[Función escalonada|función de activación por tramos]].<ref name="park" />

Las aproximaciones universales de funciones de grafos (o más bien de [[Isomorfismo de grafos
|clases de isomorfismos de grafos]]) por medio de las conocidas [[Redes Neuronales Gráficas|redes neuronales gráficas]] pueden hacerse tan discrininativas como la prueba Weisfeiler–Leman de isomorfismo de grafos.<ref name="PowerGNNs">{{Cite conference |last1=Xu |first1=Keyulu |last2=Hu |first2=Weihua |last3=Leskovec |first3=Jure |last4=Jegelka |first4=Stefanie|date=2019 |title=How Powerful are Graph Neural Networks? |url=https://openreview.net/forum?id=ryGs6iA5Km |journal=International Conference on Learning Representations}}</ref> En 2020,<ref name="UniversalGraphs">{{Cite conference |last1=Brüel-Gabrielsson |first1=Rickard |date=2020 |title=Universal Function Approximation on Graphs |url=https://proceedings.neurips.cc//paper/2020/hash/e4acb4c86de9d2d9a41364f93951028d-Abstract.html |publisher=Curran Associates |volume=33 |journal=Advances in Neural Information Processing Systems}}</ref> se estableció un teorema de aproximación universal por Brüel-Gabrielsson, demostrando que la representación como grafos con ciertas propiedades inyectivas injective es suficiente para la aproximación universal de funciones de grafos acotados y para una aproximación universal restringida para grafos no acotados, junto a un método <math>\mathcal O(\left|V\right| \cdot \left|E\right|)</math> en tiempo de ejecución, que exhibió resultados punta en una colección de pruebas de desempeño (donde <math>V</math> y <math>E</math> son los conjuntos de nodos and aristas del grafo respectivamente).

También existe una variedad de resultados entre [[Geometría no euclidiana|espacios no euclidianos]]<ref name="NonEuclidean">{{Cite conference |last1=Kratsios |first1=Anastasis |last2=Bilokopytov |first2=Eugene |date=2020 |title=Non-Euclidean Universal Approximation |url=https://papers.nips.cc/paper/2020/file/786ab8c4d7ee758f80d57e65582e609d-Paper.pdf |publisher=Curran Associates |volume=33 |journal=Advances in Neural Information Processing Systems}}</ref> y otras arquitecturas comúnmente usadas,  así como, más en general, conjuntos algorítmicamente generados de funciones, tales como la arquitectura de  [[Red neuronal convolucional|redes neuronales convolucionales]] (RCN),<ref>{{Cita publicación |título=Universality of deep convolutional neural networks |apellidos=Zhou |nombre=Ding-Xuan |publicación=Applied and Computational Harmonic Analysis |volumen=48 |número=2 |páginas=787–794 |doi=10.1016/j.acha.2019.06.004 |año=2020 |arxiv=1805.10769 |s2cid=44113176}}</ref><ref>{{Cita publicación |título=Refinement and Universal Approximation via Sparsely Connected ReLU Convolution Nets |apellidos=Heinecke |nombre=Andreas |apellidos2=Ho |nombre2=Jinn |publicación=IEEE Signal Processing Letters |volumen=27 |páginas=1175–1179 |bibcode=2020ISPL...27.1175H |doi=10.1109/LSP.2020.3005051 |apellidos3=Hwang |nombre3=Wen-Liang |año=2020 |s2cid=220669183}}</ref> [[Función de base radial|funciones de base radial]],<ref>{{Cita publicación |título=Universal Approximation Using Radial-Basis-Function Networks |url=https://archive.org/details/sim_neural-computation_summer-1991_3_2/page/n105 |apellidos=Park |nombre=J. |apellidos2=Sandberg |nombre2=I. W. |publicación=Neural Computation |volumen=3 |número=2 |páginas=246–257 |doi=10.1162/neco.1991.3.2.246 |pmid=31167308 |año=1991 |s2cid=34868087}}</ref> o redes neuronales con propiedades específicas.<ref>{{Cita publicación |título=Universal Approximations of Invariant Maps by Neural Networks |apellidos=Yarotsky |nombre=Dmitry |publicación=Constructive Approximation |volumen=55 |páginas=407–474 |doi=10.1007/s00365-021-09546-1 |año=2021 |arxiv=1804.10306 |s2cid=13745401}}</ref><ref>{{Cita publicación |título=Universal Approximation Property of Hamiltonian Deep Neural Networks |apellidos=Zakwan |nombre=Muhammad |apellidos2=d’Angelo |nombre2=Massimiliano |fecha=2023 |publicación=IEEE Control Systems Letters |página=1 |doi=10.1109/LCSYS.2023.3288350 |apellidos3=Ferrari-Trecate |nombre3=Giancarlo |arxiv=2303.12147 |s2cid=257663609}}</ref>

== El caso de ancho arbitrario ==
En una seguidilla de artículos de los años de 1980 y 1990, por {{ill|en|George Cybenko}} y {{ill|de|Kurt Hornik}} etc., se establecieron varios teoremas de aproximación universal para un ancho arbitrario y profundidad acotada.<ref>{{Cita publicación |título=On the approximate realization of continuous mappings by neural networks |apellidos=Funahashi |nombre=Ken-Ichi |fecha=January 1989 |publicación=Neural Networks |volumen=2 |número=3 |páginas=183–192 |doi=10.1016/0893-6080(89)90003-8}}</ref><ref name="cyb" /><ref name=":0">{{Cita publicación |título=Multilayer feedforward networks are universal approximators |apellidos=Hornik |nombre=Kurt |apellidos2=Stinchcombe |nombre2=Maxwell |fecha=January 1989 |publicación=Neural Networks |volumen=2 |número=5 |páginas=359–366 |doi=10.1016/0893-6080(89)90020-8 |apellidos3=White |nombre3=Halbert}}</ref><ref name="horn" /> Véanse reseñas en <ref>Haykin, Simon (1998). ''Neural Networks: A Comprehensive Foundation'', Volume 2, Prentice Hall. {{isbn|0-13-273350-1}}.</ref><ref>Hassoun, M. (1995) ''Fundamentals of Artificial Neural Networks'' MIT Press, p.&nbsp;48</ref><ref name="pinkus" /> Este es el que más frecuentemente se ha citado:{{Teorema
| name = Universal approximation theorem|Sea <math>C(X, \mathbb{R}^m)</math> el conjunto de [[Función continua|funciones continuas]] desde un subconjunto <math>X </math> de una espacio euclidiano  <math>\mathbb{R}^n</math> a un espacio euclidiano <math>\mathbb{R}^m</math>. Sea <math>\sigma \in C(\mathbb{R}, \mathbb{R})</math>. Nótese que <math>(\sigma \circ x)_i = \sigma(x_i)</math>, de modo que <math>\sigma \circ x</math> denota <math>\sigma</math> aplicado a cada componente de <math>x</math>.

Entonces <math>\sigma</math> no es [[polinomio|polinómico]] [[Bicondicional|si y sólo si]] para todo <math>n \in \mathbb{N}</math>, <math>m \in \mathbb{N}</math>, [[Espacio compacto#Compacidad en espacios métricos|conjunto compacto]] <math>K \subseteq \mathbb{R}^n</math>, <math>f \in C(K, \mathbb{R}^m), \varepsilon > 0</math> existe <math>k \in \mathbb{N}</math>, <math>A \in \mathbb{R}^{k \times n}</math>, <math>b \in \mathbb{R}^k</math>, <math>C \in \mathbb{R}^{m \times k}</math> de manera que 
<math display='block'>
\sup_{x \in K} \| f(x) - g(x) \| < \varepsilon
</math>
donde
<math> g(x) = C \cdot ( \sigma \circ (A \cdot x + b) )</math>
}}

Además, ciertas funciones no-continuas de activación pueden usarse para aproximar una función sigmoide, lo que entonces permite aplicar este teorema a aquellas funciones. Por ejemplo, puede usarse la [[función escalonada]]. En particular, esto demuestra que una red de [[Perceptrón|perceptrones]] con una única capa oculta de ancho infinito puede aproximar funciones arbitrarias.

Una tal función <math>f</math> también puede aproximarse por medio de una red de profundidad mayor usando la misma construcción para la primera capa y aproximando la función de identidad por medio de capas posteriores.

{{Demostración
| título = Esbozo de prueba
| 1 = Resulta suficiente probar el caso donde <math>m = 1</math>, ya que la convergencia uniforme en <math>\R^m</math> es igualmente convergencia uniforme en cada coordenada.

Sea <math>F_\sigma</math> el conjunto de todas las redes neuronales de una sola capa oculta construidos con <math>\sigma</math>. Sea <math>C_0(\R^d, \R)</math> el conjunto de todos los <math>C(\R^d, \R)</math> con soporte compacto.

Si la función es un polinomio de grado <math>d</math>, entonces <math>F_\sigma</math> está contenido en el subespacio cerrado de todos los polinomios de grado <math>d</math>, por lo que su clausura también está contenida en él, que no es todo <math>C_0(\R^d, \R)</math>.

En caso contrario, mostramos que la clausura topológica de <math>F_\sigma</math> es todo <math>C_0(\R^d, \R)</math>. Supongamos que podamos construir aproximaciones arbitrariamente buenas de la función de rampa 
<math display="block">r(x) = \begin{cases}
-1 & \text{if } x < -1 \\
\phantom{+}x & \text{if } |x|\leq 1 \\
\phantom{+}1 & \text{if } x > 1 \\
\end{cases}</math>
entonces esta puede combinarse para construir funciones continuas arbitrarias con soporte compacto y hasta una precisión arbitraria. Resta aproximar la función rampa.

Cualquiera de las [[Función de activación|funciones de activación]] comúnmente usadas en aprendizaje automático puede obviamente emplearse para aproximar la función de rampa, o bien primero aproximar la ReLU y a continuación la función de rampa.

Si <math>\sigma</math> es "squashing", esto es, tiene límites <math>\sigma(-\infty) < \sigma(+\infty)</math>, entonces se puede primero poner a escala su eje x de manera afín de modo que su gráfica se vea como una función escalonada con dos "excesos" marcados y luego hacer una suma lineal de suficientes de estas para obtener una aproximación en "escala" de la función de rampa. Mientras más escalones de la escala, los excesos se suavizan y obtenemos una aproximación arbitrariamente buena de la función de rampa.

El caso donde <math>\sigma</math> es una función no polinómica genérica es más difícil y se invita al lector a revisar.<ref name="pinkus" />}}

En esta prueba no se ha especificado cómo podría usarse una función de rampa para aproximar funciones arbitrarias en <math>C_0(\R^n, \R)</math>. Un esbozo de prueba consiste en que se puede primero construir primero funciones de protuberancia plana, hacer una intersección de ellas para obtener funciones de protuberancia esféricas que aproximen  la [[Delta de Dirac|función delta de Dirac]] y luego usar estas últimas para aproximar funciones arbitrarias en <math>C_0(\R^n, \R)</math>.<ref>{{Cita publicación |url=http://neuralnetworksanddeeplearning.com/ |título=Neural Networks and Deep Learning |fecha=2015 |idioma=en |last=Nielsen |first=Michael A.}}</ref> Las pruebas originales, tales como la realizada por Cybenko, usan métodos del [[análisis funcional]], incluyendo los teoremas de representación de [[Teorema de Hahn–Banach|Hahn-Banach]] y de {{ill|en|teorema de representación de Riesz-Markov-Kakutani|Riesz–Markov–Kakutani representation theorem|Riesz–Markov–Kakutani}}.

Nótese también que solo se requiere que la red neuronal aproxime la función en un conjunto compacto <math>K</math>. La prueba no describe cómo se extrapolaría la función fuera de esa región. 

El problema con los polinomios puede removerse al permitir que las salidas de las capas ocultas puedan multiplicarse  (las "redes pi-sigma"), obteniéndose la generalización:<ref name=":0" />
{{Teorema
| name = Teorema de aproximación universal para redes pi-sigma|Con cualquiera función de activación no constante, una red pi-sigma de una capa oculta es un aproximador universal.
}}

== El caso de profundidad arbitraria ==
Las versiones «duales» del teorema consideran redes de ancho acotado y profundidad arbitraria. Una variante del teorema de aproximación universal fue demostrado para el caso de profundidad arbitraria por Zhou Lu et al. en 2017.<ref name="ZhouLu" /> Ellos mostraron que las redes de ancho ''n''&nbsp;+&nbsp;4 con funciones de activación [[Rectificador (redes neuronales)|ReLU]] pueden aproximar cualquiera [[Integral de Lebesgue|función Lebesgue-integrable]] sobre un espacio de entrada ''n''-dimensional con respecto a la [[Geometría del taxista|distancia <math>L^1</math>]] si se permite que crezca la profundidad de la red. También se mostró que si el ancho es menor o igual a ''n'', este poder general para aproximar cualquiera función Lebesgue integrable se perdía. En el mismo artículo<ref name="ZhouLu" /> se mostró que las redes [[Rectificador (redes neuronales)|ReLU]] de ancho ''n''&nbsp;+&nbsp;1 son suficientes para aproximar cualquiera función [[Función continua|continua]] con una entrada ''n''-dimensional.<ref>Hanin, B. (2018). [[arxiv:1710.11278|Approximating Continuous Functions by ReLU Nets of Minimal Width]]. arXiv preprint arXiv:1710.11278.</ref>  El siguiente refinamiento debido a Park et al<ref>{{Cita publicación |url=https://openreview.net/forum?id=O-XJwyoIF-k |título=Minimum Width for Universal Approximation |fecha=2020-09-28 |publicación=ICLR |idioma=en |last=Park, Yun, Lee, Shin |first=Sejun, Chulhee, Jaeho, Jinwoo |arxiv=2006.08859}}</ref> especifica el ancho mínimo óptimo para el que una aproximación de este tipo es posible.

{{Teorema
| name = Teorema de aproximación universal ''(Distancia L1, activación ReLU, profundidad arbitraria, ancho mínimo)''
| 1 = Para cualquier función {{ill|en|Bochner integral|Integral de Bochner|Bochner–Lebesgue p-integrable}}  <math>f : \mathbb R^n \to \mathbb R^m</math> y cualquier <math>\varepsilon > 0</math> existe una red [[Rectificador (redes neuronales)|ReLU]] {{ill|en|Red totalmente conectada|Network_topology#Fully_connected_network|totalmente conectada}} <math>F</math> de ancho exacto <math>d_m = \max\{n + 1, m\}</math>, que satisface
<math display="block">\int_{\mathbb R^n} \|f(x) - F(x)\|^p \, \mathrm{d}x < \varepsilon.</math>
Además, existen una función <math>f \in L^p(\mathbb{R}^n, \mathbb{R}^m)</math> y algún <math>\varepsilon > 0</math>, para los cuales no existe ninguna red [[Rectificador (redes neuronales)|ReLU]] totalmente conectada de ancho menor que <math>d_m = \max\{n + 1 ,m\}</math> y que satisfaga la desigualdad antedicha en su aproximación.

Nota: Si la activación se reemplaza por ''leaky''-ReLU y la entrada se restringe a un dominio compacto, entonces el ancho mínimo es exactamente <math>d_m = \max\{n, m, 2\}</math>.<ref name=":1" /> 

''Refinamiento cuantitativo:'' En el caso de que <math>f:[0, 1]^n \rightarrow \mathbb{R} </math>, (es decir, <math> m = 1 </math>) and <math>\sigma</math> es la función de activación [[Rectificador (redes neuronales)|ReLU]], the profundidad y el ancho exactos para que una red ReLU logre cierto error <math>\varepsilon</math> también se conoce.<ref name="dup-0-26" />  Si, además, la función objetivo <math>f</math> es infinitamente diferenciable, entonces el número requerido de capas y su ancho puede ser exponencialmente menor.<ref>{{Cita publicación |título=Deep Network Approximation for Smooth Functions |apellidos=Lu |nombre=Jianfeng |apellidos2=Shen |nombre2=Zuowei |fecha=January 2021 |publicación=SIAM Journal on Mathematical Analysis |volumen=53 |número=5 |páginas=5465–5506 |doi=10.1137/20M134695X |apellidos3=Yang |nombre3=Haizhao |apellidos4=Zhang |nombre4=Shijun |arxiv=2001.03040 |s2cid=210116459}}</ref>  Incluso si <math>f</math> no es infinitamente diferenciable, la maldición de la dimensión puede superarse si <math>f</math> admite una "estructura composicional" adicional.<ref>{{Cita publicación |título=Nonparametric estimation of composite functions |apellidos=Juditsky |nombre=Anatoli B. |apellidos2=Lepski |nombre2=Oleg V. |fecha=2009-06-01 |publicación=The Annals of Statistics |volumen=37 |número=3 |issn=0090-5364 |doi=10.1214/08-aos611 |apellidos3=Tsybakov |nombre3=Alexandre B. |s2cid=2471890}}</ref><ref>{{Cita publicación |título=Why and when can deep-but not shallow-networks avoid the curse of dimensionality: A review |apellidos=Poggio |nombre=Tomaso |apellidos2=Mhaskar |nombre2=Hrushikesh |fecha=2017-03-14 |publicación=International Journal of Automation and Computing |volumen=14 |número=5 |páginas=503–519 |issn=1476-8186 |doi=10.1007/s11633-017-1054-2 |apellidos3=Rosasco |nombre3=Lorenzo |apellidos4=Miranda |nombre4=Brando |apellidos5=Liao |nombre5=Qianli |s2cid=15562587 |arxiv=1611.00740}}</ref>
}}

En suma, el resultado central de<ref name="kidger" /> arroja el siguiente teorema de aproximación universal para redes con ancho acotado (véase también<ref name="gripenberg" /> para el primer resultado de este tipo).

{{Teorema
| name = Teorema de aproximación universal (Activación uniforme no [[Homología afín|afín]], [[Aprendizaje profundo|profundidad]] arbitraria, ancho acotado).
| 1 = Sea <math>\mathcal{X}</math> un [[Espacio compacto|subconjunto compacto]] de <math>\mathbb{R}^d</math>. Sea <math>\sigma:\mathbb{R} \to \mathbb{R}</math> cualquiera [[función continua]] no [[Homología afín|afín]] que sea [[Función continuamente diferenciable|continuamente diferenciable]] al menos en un punto, con [[derivada]] no nulaen ese punto. Sea <math>\mathcal{N}_{d,D:d+D+2}^\sigma</math> el espacio de redes neuronales no recurrentes con <math>d</math> neuronas de entrada, <math>D</math> neuronas de salida, así como un número arbitrario de capas ocultas, cada una con <math>d + D + 2</math> neuronas, tal que cada neurona oculta tiene la función de activación <math>\sigma</math> y cada neurona de salida tiene como función de activación la [[Función identidad|identidad]], con capa de entrada <math>\phi</math> y capa de salida <math>\rho</math>. Entonces, dado cualquier <math>\varepsilon > 0</math> y cualquiera función <math>f \in C(\mathcal{X}, \mathbb{R}^D)</math>, existe <math>\hat{f} \in \mathcal{N}_{d,D:d+D+2}^\sigma</math> tal que
<math display="block">
\sup_{x \in \mathcal{X}} \left\|\hat{f}(x) - f(x)\right\| < \varepsilon.
</math>

En otras palabras, <math>\mathcal{N}</math> es [[Conjunto denso|denso]] en <math>C(\mathcal{X}; \mathbb{R}^D)</math> con respecto a la topología de [[convergencia uniforme]].

''Refinamiento cuantitativo:'' El número de capas y el ancho de cada una de las capas requeridas para aproximar <math>f</math> a una precisión <math>\varepsilon</math> dada;<ref name="jmlr.org" /> más aún, el resultado sigue vigente  cuando <math>\mathcal{X}</math> y <math>\mathbb{R}^D</math> se reemplazan por cualquiera [[variedad de Riemann]] de curvatura no positiva.
}}

Se han establecido ciertas condiciones necesarias para el caso de ancho acotado y profundidad arbitraria, pero sigue existiendo una brecha entre las condiciones suficientes y necesarias.<ref name="ZhouLu" /><ref name="hanin" /><ref name="johnson">{{cite conference |last=Johnson |first=Jesse |conference=International Conference on Learning Representations |date=2019 |url=https://openreview.net/forum?id=ryGgSsAcFQ |title=Deep, Skinny Neural Networks are not Universal Approximators}}</ref>

== El caso de profundidad y ancho acotados ==

El primer resultado sobre las capacidades de aproximación de redes neuronales con un número acotado de capas, cada una de las cuales contiene un número limitado de neuronas artificiales, fue obtenido por Maiorov y Pinkus.<ref name="maiorov" /> Su notable resultado reveló que tales redes pueden ser aproximadores universales y que para lograr esta propiedad bastan dos capas ocultas.
{{Teorema
| name = Teorema de aproximación universal:<ref name="maiorov" />
| 1 = Existe una función de activación <math>\sigma</math> que es analítica, estrictamente creciente, sigmoidal y que tiene la siguiente propiedad: Para toda <math> f\in C[0,1]^{d}</math>  y <math>
\varepsilon >0</math> existen constantes <math>d_{i}, c_{ij}, \theta _{ij}, \gamma _{i}</math> y vectores <math> \mathbf{w}^{ij}\in \mathbb{R}^{d}</math>  para los que
<math display='block'> \left\vert f(\mathbf{x})-\sum_{i=1}^{6d+3} d_{i}\sigma \left(
\sum_{j=1}^{3d} c_{ij} \sigma (\mathbf{w}^{ij}\cdot \mathbf{x-}\theta_{ij}) - \gamma_{i}\right) \right\vert <\varepsilon </math>
para todo <math> \mathbf{x}=(x_{1},...,x_{d})\in [0,1]^{d}</math>.
}}

Este es un resultado de existencia. Sostiene que existen funciones de activación que proveen la propiedad de aproximación universal para redes de profundidad y ancho acotados. Empleando ciertas técnicas algorítmicas y de programación de ordenadores, Guliyev e Ismailov eficientemente construyeron tales funciones de activación dependientes de un parámetro numérico. El algoritmo desarrollado permite computar instantáneamente las funciones de activación en cualquier punto de la recta real. Para el algoritmo y el código computacional correspondiente véase <ref name="guliyev1" /> El resultado teórico se puede formular como sigue.
{{Teorema
| name = Universal approximation theorem:<ref name="guliyev1" /><ref name="guliyev2" />
| 1 = Sean <math> [a,b]</math> un segmento finito de la recta real, <math> s=b-a</math> y <math> \lambda</math> cualquier número positivo. Entonces es posible construir algorítmicamente una función de activación sigmoidal computable <math> \sigma \colon \mathbb{R} \to \mathbb{R}</math>, que sea infinitamente diferenciable, estrictamente creciente en <math> (-\infty, s) </math>, <math> \lambda</math>-estrictamente creciente en <math> [s,+\infty) </math> y que satisface las siguientes propiedades:

# Para toda <math> f \in C[a,b] </math> y todo <math> \varepsilon > 0</math> existen números <math> c_1,c_2,\theta_1</math> y <math> \theta_2</math> de modo que para todo <math>x \in [a,b] </math> <math display='block'> |f(x) - c_1 \sigma(x - \theta_1) - c_2 \sigma(x - \theta_2)| < \varepsilon</math>
# Para toda función continua <math>F</math> en el paralelepípedo <math>d</math>-dimensional <math>[a,b]^{d}</math> y <math>\varepsilon > 0</math>, existen constantes <math>e_p</math>, <math>c_{pq}</math>, <math>\theta_{pq}</math> y <math>\zeta_p</math> tales que la desigualdad <math display='block'>  \left| F(\mathbf{x}) - \sum_{p=1}^{2d+2} e_p \sigma \left( \sum_{q=1}^{d} c_{pq} \sigma(\mathbf{w}^{q} \cdot \mathbf{x} - \theta_{pq}) - \zeta_p \right) \right| < \varepsilon</math> se cumple para todo <math>\mathbf{x} = (x_1, \ldots, x_d) \in [a, b]^{d}</math>. Aquí las ponderaciones <math>\mathbf{w}^{q}</math>, <math>q = 1, \ldots, d</math>, se fijan como sigue: <math display='block'>  \mathbf{w}^{1} = (1, 0, \ldots, 0), \quad \mathbf{w}^{2} = (0, 1, \ldots, 0), \quad \ldots, \quad \mathbf{w}^{d} = (0, 0, \ldots, 1). </math> Además, todos los coeficientes <math>e_p</math>, excepto uno, son iguales.
}}

Aquí “<math> \sigma \colon \mathbb{R} \to \mathbb{R}</math> es <math>\lambda</math>-estrictamente creciente en algún conjunto <math>X</math>” quiere decir que existe una función estrictamente creciente <math>u \colon X \to \mathbb{R}</math> tal que <math>|\sigma(x) - u(x)| \le \lambda</math> para todo <math>x \in X</math>. Claramente, una función <math>\lambda</math>-creciente se comporta igual que una función creciente usual a medida que <math>\lambda</math> se hace pequeño.
En la terminología de "''profundidad-ancho''", este teorema dice que para ciertas funciones de activación las redes de profundidad-<math>2</math> y ancho-<math>2</math> son aproximadores universales para funciones de una variable y las redes de  profundidad-<math>3</math> y ancho-<math>(2d+2) </math> son aproximadores universales para funciones de <math>d</math> variables (<math>d>1</math>).

== Véase también ==
* [[Teorema de representación de Kolmogórov-Arnold]]
<!-- * [[Representer theorem]] -->
* [[Teorema No Free Lunch]]
* [[Teorema de aproximación de Weierstrass]]
* [[Serie de Fourier]]

== Referencias ==
{{listaref|2}}

{{control de autoridades}}
[[Categoría:Teoremas de análisis matemático]]
[[Categoría:Redes neuronales artificiales]]
[[Categoría:Arquitectura de red]]
[[Categoría:Redes]]