Ver el código de «Red neuronal artificial»

{{otros usos|este=red neuronal artificial|red neuronal biológica}}
{{referencias|t=20170227}}
{{Mal traducido}}

[[Archivo:Colored neural network_es.svg|miniaturadeimagen|300px|Una red neuronal artificial es un grupo interconectado de nodos similar a la vasta red de neuronas en un cerebro biológico. Cada nodo circular representa una neurona artificial y cada flecha representa una conexión desde la salida de una neurona a la entrada de otra.]]

En el [[aprendizaje automático]], una '''red neuronal artificial''' (abreviada '''ANN''' o '''NN''') es un modelo dentro de los llamados '''[[Sistemas Conexionistas|sistemas conexionistas]]'''[[Sistemas Conexionistas|,]] inspirado en la estructura y función de las redes neuronales biológicas en los cerebros animales. Una ANN consta de unidades o nodos conectados llamados neuronas artificiales, que modelan vagamente las neuronas del cerebro. Estas están conectadas por ''bordes'', que modelan las [[sinapsis]] del cerebro. Cada neurona artificial recibe «señales» de las neuronas conectadas, luego las procesa y envía una señal a otras neuronas conectadas. La «señal» es un número real, y la salida de cada neurona se calcula mediante una función no lineal de la suma de sus entradas, llamada función de activación. La fuerza de la señal en cada conexión está determinada por un peso, que se ajusta durante el proceso de aprendizaje.  

Por lo general, las neuronas se agrupan en capas. Las diferentes capas pueden realizar diferentes transformaciones en sus entradas. Las señales viajan desde la primera capa (la ''capa de entrada'') hasta la última capa (la ''capa de salida''), posiblemente pasando por múltiples capas intermedias (''capas ocultas''). Una red se denomina típicamente red neuronal profunda si tiene al menos dos capas ocultas.   

== Capacitación ==
Las redes neuronales se entrenan típicamente a través de la minimización de riesgos empíricos. Este método se basa en la idea de optimizar los parámetros de la red para minimizar la diferencia, o riesgo empírico, entre el resultado previsto y los valores objetivo reales en un conjunto de datos determinado. Los métodos basados en [[gradiente]]s, como la [[Retropropagacion|Retropropagacion o Propagación hacía atrás]], se utilizan generalmente para estimar los parámetros de la red.  Durante la fase de entrenamiento, las ANN aprenden de los datos de entrenamiento etiquetados, actualizando iterativamente sus parámetros para minimizar una [[Función de pérdida]] definida.  Las redes neuronales artificiales se utilizan para diversas tareas, como el modelado predictivo, el control adaptativo y la resolución de problemas en el ámbito de la [[inteligencia artificial]]. Pueden aprender de la experiencia y extraer conclusiones de un conjunto de información complejo y aparentemente no relacionado. Sobresalen en áreas donde la detección de soluciones o características es difícil de expresar con la [[programación]] convencional. Para realizar este [[aprendizaje automático]], normalmente, se intenta minimizar una [[función de pérdida]] que evalúa la red en su total. Los valores de los pesos de las neuronas se van actualizando buscando reducir el valor de la función de pérdida. Este proceso se realiza mediante la [[propagación hacia atrás]].

Las redes neuronales actuales suelen contener desde unos miles a unos pocos millones de unidades neuronales.

Nuevas investigaciones sobre el cerebro a menudo estimulan la creación de nuevos patrones en las redes neuronales{{Cita requerida}}. Un nuevo enfoque {{Cita requerida}} está utilizando conexiones que se extienden mucho más allá y capas de procesamiento de enlace en lugar de estar siempre localizado en las neuronas adyacentes. Otra investigación{{Cita requerida}} está estudiando los diferentes tipos de señal en el tiempo que los axones se propagan, como el [[aprendizaje profundo]], interpola una mayor complejidad que un conjunto de [[Tipo de dato lógico|variables booleanas]] que son simplemente encendido o apagado.

Las redes neuronales se han utilizado para resolver una amplia variedad de tareas, como [[Visión artificial|la visión por computador]] y el [[Speech recognition|reconocimiento de voz]], que son difíciles de resolver usando la ordinaria [[Programación estructurada|programación basada en reglas]]. Históricamente, el uso de modelos de redes neuronales marcó un cambio de dirección a finales de los años ochenta de alto nivel, que se caracteriza por [[Sistema experto|sistemas expertos]] con conocimiento incorporado en ''si-entonces'' las reglas, a bajo nivel [[Machine learning|de aprendizaje automático]], caracterizado por el conocimiento incorporado en los parámetros de un [[modelo cognitivo]] con algún [[sistema dinámico]].

== Historia ==

[[Warren McCulloch]] y [[Walter Pitts]]<ref>{{cita publicación |apellido=McCulloch |nombre=Warren |autor2=Walter Pitts |título=A Logical Calculus of Ideas Immanent in Nervous Activity |publicación=Bulletin of Mathematical Biophysics |año=1943 |volumen=5 |páginas=115–133 |doi=10.1007/BF02478259 |issue=4}}</ref> (1943) crearon un modelo informático para redes neuronales, que se llama [[Neurona de McCulloch-Pitts#Historia|lógica umbral]], que se basa en las [[matemáticas]] y los [[Algoritmo|algoritmos]]. Este modelo señaló el camino para que la investigación de redes neuronales se divida en dos enfoques distintos. Un enfoque se centró en los procesos biológicos en el cerebro y el otro se centró en la aplicación de redes neuronales para la [[inteligencia artificial]].

=== Aprendizaje de Hebb ===

A finales de la década de 1940 el psicólogo [[Donald Hebb]]<ref>{{cita web |url=https://psicologiaymente.com/neurociencias/ley-de-hebb |título=Ley de Hebb: la base neuropsicológica del aprendizaje |fechaacceso=24 de octubre de 2018 |apellido=Figueroba |nombre=Alex |sitioweb=Psicología y mente |editor= |editorial= |ubicación= |página= |páginas= |idioma=es |doi= }}</ref><ref>{{cita libro|url=https://books.google.com/books?id=ddB4AgAAQBAJ|título=The Organization of Behavior|título-trad=La Organización del Comportamiento|apellido=Hebb|nombre=Donald|editorial=Wiley|año=1949|isbn=978-1-135-63190-1|lugar=Nueva York|páginas=}}</ref> creó una hipótesis de aprendizaje basado en el mecanismo de plasticidad neuronal que ahora se conoce como [[Teoría hebbiana|aprendizaje de Hebb]]. Aprendizaje de Hebb se considera que es un «típico» de [[aprendizaje no supervisado]] y sus variantes posteriores fueron los primeros modelos de [[Potenciación a largo plazo|la potenciación a largo plazo]]. Los investigadores empezaron a aplicar estas ideas a los modelos computacionales en 1948 con la sugerencia de Turing, que el córtex humano infantil es lo que llamaba «máquina desorganizada» (también conocido como «máquina Turing Tipo B»).<ref>Republicación del artículode Turing de 1948: {{cita libro |apellido=Turing |nombre=A.M. |enlaceautor=Alan Turing |título=Collected works of AM Turing — Mechanical Intelligence. |título-trad=Obras colectivas de AM Turing — Inteligencia mecánica |url= |idioma=inglés |otros= |edición= |año=1992 |editor= |editorial=Elsevier Science Publishers |ubicación= |isbn= |capítulo= |páginas= |cita=}}</ref><ref>{{cita publicación |apellidos=Webster |nombre=C.S. |enlaceautor= |título=Alan Turing's unorganized machines and artificial neural networks: his remarkable early work and future possibilities |título-trad=Las máquinas desorganizadas y redes de neuronas artificiales de Alan Turing: su notable trabajo inicial y posibilidades futuras|url= |idioma=inglés publicación=Evolutionary Intelligence |año=2012 |volumen= |número=5 |páginas=35-43}}
Webster CS. Alan Turing's unorganized machines and artificial neural networks: his remarkable early work and future possibilities. ''Evolutionary Intelligence'' 2012: 5; 35-43.</ref>

Farley y [[Wesley A. Clark]]<ref>{{cita publicación|apellido=Farley|nombre=B.G.|autor2=W.A. Clark|título=Simulation of Self-Organizing Systems by Digital Computer|título-trad=Simulación de Sistemas Autoorganizadoras por Computadora Digital|publicación=IRE Transactions on Information Theory|año=1954|volumen=4|páginas=76–84|doi=10.1109/TIT.1954.1057468|número=4}}</ref> (1954) al principio utilizaron máquinas computacionales, que entonces se llamaban «calculadoras», para simular una red de Hebb en el MIT. Otras simulaciones de redes neuronales por computadora han sido creadas por Rochester, Holland, Habit y Duda (1956).<ref>{{cita publicación|título=Tests on a cell assembly theory of the action of the brain, using a large digital computer|apellido=Rochester|nombre=N.|autor2=J.H. Holland|publicación=IRE Transactions on Information Theory|volumen=2|número=3|páginas=80–93|doi=10.1109/TIT.1956.1056810|autor3=L.H. Habit|autor4=W.L. Duda|año=1956|título-trad=Pruebas de una teoría de la acción del cerebro por asamblea de células, usando una computadora digital grande}}</ref>

[[Frank Rosenblatt]]<ref>{{cita web |url=https://www.frro.utn.edu.ar/repositorio/catedras/quimica/5_anio/orientadora1/monograias/matich-redesneuronales.pdf |título=Redes Neuronales: Conceptos Básicos y 
Aplicaciones. |fechaacceso=26 de octubre de 2018 |apellido=Matich |nombre=Damián Jorge |año=2001 |formato=PDF |ubicación=Buenos Aires, Argentina |página=6 |idioma=es}}</ref><ref>{{cita publicación |apellidos=Rosenblatt |nombre=F. |enlaceautor= |año=1958 |título=The Perceptron: A Probabilistic Model For Information Storage And Organization In The Brain |publicación=Psychological Review |volumen=65 |número=6 |páginas=386–408 |ubicación= |editorial= |issn= |url=https://archive.org/details/sim_psychological-review_1958-11_65_6/page/386|pmid=13602029 |doi=10.1037/h0042519}}</ref> (1958) creó el [[perceptrón]], un algoritmo de reconocimiento de patrones basado en una red de aprendizaje de computadora de dos capas, que utilizaba adición y sustracción simples. Con la notación matemática, Rosenblatt también describe circuitería que no está en el perceptrón básico, tal como el circuito de [[Disyunción exclusiva|o-exclusiva]], un circuito que no se pudo procesar por redes neuronales antes de la creación del algoritmo de [[propagación hacia atrás]] por [[Paul Werbos]] (1975).<ref name="Werbos 1975">{{cita libro |url=https://books.google.com/books?id=z81XmgEACAAJ |título=Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences |apellido=Werbos|nombre=P.J.|editorial=Harvard University|año=1975|isbn=|lugar=|páginas=}}</ref>

En 1959, un modelo biológico propuesto por dos laureados de los [[Premio Nobel|Premios Nobel]], [[David Hunter Hubel|David H. Hubel]] y [[Torsten Wiesel]], estaba basado en su descubrimiento de dos tipos de células en la [[corteza visual]] primaria: células simples y células complejas.<ref>{{cita libro|url=https://books.google.com/books?id=8YrxWojxUA4C&pg=PA106|título=Brain and visual perception: the story of a 25-year collaboration|título-trad=Cerebro y percepción visual: la historia de una colaboración de 25 años|editorial=Oxford University Press US|año=2005|isbn=978-0-19-517618-6|página=106|apellido=Hubel|nombre=David H.|apellido2=Wiesel| nombre2=Torsten}}</ref>

El primer reporte sobre redes funcionales multicapas fue publicado en 1965 por [[Alexey Grigorevich Ivakhnenko|Ivakhnenko]] y Lapa, y se conoce como el [[método de agrupamiento para el manejo de datos]].<ref name="SCHIDHUB2">{{cita publicación |apellido=Schmidhuber|nombre=J.|año=2015|título=Deep Learning in Neural Networks: An Overview|publicación=Neural Networks|volumen=61|páginas=85–117|arxiv=1404.7828 |doi=10.1016/j.neunet.2014.09.003|pmid=25462637}}</ref><ref name="ivak1965">{{cita libro |url=https://books.google.com/books?id=FhwVNQAACAAJ|título=Cybernetic Predicting Devices|apellido=Ivakhnenko|nombre=A. G.|editorial=CCM Information Corporation|año=1973}}</ref><ref name="ivak1967">{{cita libro |url=https://books.google.com/books?id=rGFgAAAAMAAJ|título=Cybernetics and forecasting techniques|apellido2=Grigorʹevich Lapa|nombre2=Valentín|editorial=American Elsevier Pub. Co.|año=1967|nombre=A. G.|apellido=Ivakhnenko}}</ref>

La investigación de redes neuronales se estancó después de la publicación de la investigación de aprendizaje automático por [[Marvin Minsky]] y [[Seymour Papert]] (1969),<ref>{{cita libro |url=https://books.google.com/books?id=Ow1OAQAAIAAJ|título=Perceptrons: An Introduction to Computational Geometry|apellido=Minsky|nombre=Marvin|nombre2=Seymour|apellido2=Papert |editorial=MIT Press|año=1969|isbn=0-262-63022-2|lugar-publicación=|páginas=}}</ref> que descubrió dos cuestiones fundamentales con las máquinas computacionales que procesan las redes neuronales. La primera fue que los perceptrones básicos eran incapaces de procesar el circuito de o-exclusivo. La segunda cuestión importante era que los ordenadores no tenían suficiente poder de procesamiento para manejar eficazmente el gran tiempo de ejecución requerido por las grandes redes neuronales.

=== Propagación hacia atrás y el resurgimiento ===

Un avance clave posterior fue el algoritmo de [[propagación hacia atrás]] (en inglés, ''backpropagation'') que resuelve eficazmente el problema de [[Disyunción exclusiva|o-exclusivo]], y en general el problema de la formación rápida de redes neuronales de múltiples capas (Werbos 1975).  El proceso de propagación hacia atrás utiliza la diferencia entre el resultado producido y el resultado deseado para cambiar los «pesos» de las conexiones entre las neuronas artificiales.<ref name="Werbos 1975" />

A mediados de la década de 1980, el procesamiento distribuido en paralelo se hizo popular con el nombre [[conexionismo]]. El libro de  [[David E. Rumelhart]] y [[James McClelland (psicólogo)|James McClelland]] (1986) proporciona una exposición completa de la utilización de conexionismo en los ordenadores para simular procesos neuronales.<ref>{{cita libro |url=https://books.google.com/books?id=davmLgzusB8C|título=Parallel Distributed Processing: Explorations in the Microstructure of Cognition|apellido=Rumelhart|nombre=D.E|apellido2=McClelland|nombre2=James|editorial=MIT Press|año=1986|isbn=978-0-262-63110-5|lugar-publicación=Cambridge|páginas=}}</ref>

Las redes neuronales, tal como se utilizan en la inteligencia artificial, han sido consideradas tradicionalmente como modelos simplificados de procesamiento neuronal en el cerebro, a pesar de que la relación entre este modelo y la arquitectura biológica del cerebro se debate; no está claro en qué medida las redes neuronales artificiales reflejan el funcionamiento cerebral.  

[[Máquinas de vectores de soporte|Máquinas de soporte vectorial]] y otros métodos mucho más simples, tales como [[Clasificador lineal|los clasificadores lineales]], alcanzaron gradualmente popularidad en el aprendizaje automático.  No obstante, el uso de redes neuronales ha cambiado algunos campos, tales como la predicción de las estructuras de las proteínas.<ref>{{cita publicación |id=Qian1988|título= Predicting the secondary structure of globular proteins using neural network models. |apellido=Qian|nombre=N.|apellido2=Sejnowski|nombre2=T.J.|publicación=Journal of Molecular Biology|volumen=202|páginas=865-884|año=1988}}</ref><ref>{{cita publicación |id=Rost1993|título= Prediction of protein secondary structure at better than 70% accuracy |apellido=Rost|nombre=B.|apellido2=Sander|nombre2=C.|publicación=Journal of Molecular Biology|volumen=232|páginas=584-599|año=1993}}</ref>

En 1992,fue introducido el max-pooling (una forma de submuestreo, en la que se divide los datos en grupos de tamaños iguales, que no tienen elementos en común, y se transmite solamente el valor máximo de cada grupo)para ayudar con el reconocimiento de objetos tri-dimensionales.<ref name="Weng1992">{{cita publicación |apellido=Weng |nombre=J. |apellido2=Ahuja |nombre2=N. |apellido3=Huang |nombre3=T. S. |año=1992 |título=Cresceptron: a self-organizing neural network which grows adaptively |publicación=Proc. International Joint Conference on Neural Networks |volumen=1 |número= |páginas=576–581 |ubicación=Baltimore, Maryland |url=http://www.cse.msu.edu/~weng/research/CresceptronIJCNN1992.pdf}}</ref>
<ref name="Weng19932">{{cita publicación |apellido=Weng |nombre=J. |apellido2=Ahuja |nombre2=N. |apellido3=Huang |nombre3=T.S. |año=1993 |título=Learning recognition and segmentation of 3-D objects from 2-D images |publicación=Proc. 4th International Conf. Computer Vision |volumen= |número= |páginas=121–128 |ubicación=Berlin, Alemania |editorial= |issn= |url=http://www.cse.msu.edu/~weng/research/CresceptronICCV1993.pdf}}</ref>
<ref name="Weng1997">{{cita publicación |apellido=Weng |nombre=J. |apellido2=Ahuja |nombre2=N. |apellido3=Huang |nombre3=T.S. |año=1997 |título=Learning recognition and segmentation using the Cresceptron |publicación=International Journal of Computer Vision |volumen=25 |número=2 |páginas=105–139 |ubicación= |editorial= |issn= |url=http://www.cse.msu.edu/~weng/research/CresceptronIJCV.pdf}}</ref>

En 2010, el uso de max-pooling en la formación por propagación hacia atrás fue acelerado por los GPUs, y se demostró que ofrece mejor rendimiento que otros tipos de agrupamiento.<ref name="Scherer2010">{{cita publicación |apellido=Scherer |nombre=Dominik |apellido2=Müller |nombre2=Andreas C. |apellido3=Behnke |nombre3=Sven |año=2010 |título=Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition |publicación=20th International Conference Artificial Neural Networks (ICANN) |volumen= |número= |páginas=92–101 |ubicación= |editorial= |issn= |url=https://www.ais.uni-bonn.de/papers/icann2010_maxpool.pdf |doi=10.1007/978-3-642-15825-4_10}}</ref>

El [[problema del desvanecimiento del gradiente]] afecta [[Red neuronal prealimentada|las redes neuronales prealimentadas]] de múltiples capas, que usan la propagación hacia atrás, y también [[Red neuronal recurrente|los redes neuronales recurrentes]] (RNNs).<ref name="HOCH19912">S. Hochreiter. [http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf ''Untersuchungen zu dynamischen neuronalen Netzen'']'', Diploma thesis''. Institut f. Informatik, Technische Univ. Munich''. Advisor: J. Schmidhuber'', 1991.</ref><ref name="HOCH2001">{{cita libro |url=https://books.google.com/books?id=NWOcMVA64aAC|título=A Field Guide to Dynamical Recurrent Networks|apellido=Hochreiter|nombre=S.|apellido2=et al.|fecha=15 de enero de 2001|editorial=John Wiley & Sons|año=|isbn=978-0-7803-5369-5|lugar-publicación=|páginas=|capítulo=Gradient flow in recurrent nets: the difficulty of learning long-term dependencies|apellido-editor2=Kremer|nombre-editor2=Stefan C.|nombre-editor=John F.|apellido-editor=Kolen}}</ref> Aunque los errores se propagan de una capa a otra, disminuyen exponencialmente con el número de capas, y eso impide el ajuste hacia atrás de los pesos de las neuronas basado en esos errores. Las redes profundas se ven particularmente afectadas.

Para vencer este problema, [[Jürgen Schmidhuber|Schmidhuber]] adoptaba una jerarquía multicapa de redes (1992) preformadas, una capa a la vez, por [[aprendizaje no supervisado]], y refinado por [[propagación hacia atrás]].<ref name="SCHMID1992">J. Schmidhuber. ''Learning complex, extended sequences using the principle of history compression''. Neural Computation, 4, pp. 234–242, 1992.</ref> Behnke (2003) contaba solamente con el signo del gradiente ([[Rprop]])<ref>{{cita libro |url=http://www.ais.uni-bonn.de/books/LNCS2766.pdf |título=Hierarchical Neural Networks for Image Interpretation.|apellido=Behnke |nombre=Sven |editorial=Springer|año=2003|serie=Lecture Notes in Computer Science|volumen=2766}}</ref> tratándose de problemas tales como la reconstrucción de imágenes y la localización de caras.

Como retos anteriores en redes neuronales profundas de capacitación se resolvieron con métodos como preformación no supervisada y potencia de cálculo incrementada a través del uso de [[GPU|las GPU]] y [[Computación distribuida|la computación distribuida]], las redes neuronales se desplegaron de nuevo a gran escala, sobre todo en problemas de procesamiento de imágenes y de reconocimiento visual. Esto se conoció como «[[aprendizaje profundo]]», aunque el aprendizaje profundo no es estrictamente sinónimo de redes neuronales profundas.

=== Diseños basados en hardware ===

Se crearon en [[CMOS]] dispositivos de cómputo para la simulación biofísica al igual que para la [[cómputo neuromórfico]]. Nanodispositivos<ref>{{cita publicación |apellido= Yang |nombre= J. J. |apellido2= Pickett |nombre2= M. D. |apellido3= Li |nombre3= X. M. |apellido4= Ohlberg|nombre4= D. A. A.|apellido5= Stewart|nombre5= D. R. |last6= Williams |first6= R. S. |año= 2008 |título= Memristive switching mechanism for metal/oxide/metal nanodevice |url= |publicación= Nat. Nanotechnol.|volumen=3 |issue= |páginas=429–433 |doi=10.1038/nnano.2008.160 }}</ref> para [[análisis de componentes principales]] de escala muy grande y [[convolución]] pueden crear una clase nueva de cómputo neuronal, porque son fundamentalmente [[Señal analógica|analógicos]] en vez de [[Señal digital|digitales]] (aunque las primeras implementaciones puedan utilizar dispositivos digitales).<ref>{{cita publicación |apellido=Strukov |nombre=D. B. |apellido2=Snider |nombre2=G. S. |apellido3=Stewart |nombre3=D. R. |apellido4=Williams |nombre4=R. S. |año=2008 |título=The missing memristor found |url= |publicación=Nature |volumen=453 |issue=7191 |páginas=80–83 |doi=10.1038/nature06932 |pmid=18451858 |bibcode=2008Natur.453...80S}} </ref> Ciresan y sus colegas (2010)<ref name=":3">{{cita publicación |apellido=Cireşan |nombre=Dan Claudiu |apellido2=Meier |nombre2=Ueli |apellido3=Gambardella |nombre3=Luca María |apellido4=Schmidhuber |nombre4=Jürgen |fecha=21 de septiembre de 2010 |título=Deep, Big, Simple Neural Nets for Handwritten Digit Recognition |url=http://www.mitpressjournals.org/doi/10.1162/NECO_a_00052 |publicación=Neural Computation |volumen=22 |issue=12 |páginas=3207–3220 |doi=10.1162/neco_a_00052 |issn=0899-7667}}</ref> en el grupo de Schmidhuber mostraron que, a pesar del problema del desvanecimiento del gradiente, los GPUs hacen factible la [[propagación hacia atrás]] para las redes neuronales prealimentadas con múltiples capas.

== Mejoras desde 2006 ==
[[Archivo:RecurrentLayerNeuralNetwork english.png|miniaturadeimagen|Diagrama de una red neuronal artificial con una capa y conexiones recurrentes (se emplea D para el delay).]]
Se han creado dispositivos computacionales  en el [[CMOS]], tanto para la [[simulación biofísica]] como para [[Ingeniería neuromórfica|computación neuromórfica]]. Los esfuerzos más recientes se muestran prometedores para la creación de [[Máquina molecular|nanodispositivos]]<ref>{{Cita publicación | apellidos = Yang | nombre = J. J. | apellidos2 = Pickett | nombre2 = M. D. | apellidos3 = Li | nombre3 = X. M. | apellidos4 = Ohlberg | nombre4 = D. A. A. | apellidos5 = Stewart | nombre5 = D. R. | apellidos6 = Williams | nombre6 = R. S. | año = 2008 | título =  Memristive switching mechanism for metal/oxide/metal nanodevices| url = | publicación = Nat. Nanotechnol. | volumen = 3 | número = 7| páginas = 429–433 | doi = 10.1038/nnano.2008.160 }}</ref>  para [[análisis de componentes principales]] de gran escala.  Si tiene éxito, se crearía una nueva clase de computación neuronal, ya que depende de [[aprendizaje automático]] en lugar de [[Programación|la programación]] y porque es fundamentalmente [[Señal analógica|analógico]] en lugar de [[Señal digital|digital]] a pesar de que las primeras instancias pueden ser de hecho con los dispositivos digitales CMOS.<ref>{{Cita publicación | apellidos1 = Strukov | nombre1 = D. B. | apellidos2 = Snider | nombre2 = G. S. | apellidos3 = Stewart | nombre3 = D. R. | apellidos4 = Williams | nombre4 = R. S. | año = 2008 | título =  The missing memristor found| url = | publicación = Nature | volumen = 453 | número = 7191| páginas = 80–83 | doi=10.1038/nature06932 | pmid=18451858| bibcode = 2008Natur.453...80S }}</ref>

Entre 2009 y 2012, las [[Red neuronal recurrente|redes neuronales recurrentes]] y redes neuronales profundas feedforward desarrolladas en el grupo de investigación de [[Jürgen Schmidhuber]] en el laboratorio suizo de IA [[IDSIA]] han ganado ocho concursos internacionales de [[reconocimiento de patrones]] y [[aprendizaje automático]]. Por ejemplo, la memoria bidireccional y multidimensional de largo a corto plazo (LSTM) de Alex Graves ha ganado tres competiciones en el [[reconocimiento de escritura]] conectada en Conferencia Internacional sobre Análisis de documentos y Reconocimiento (ICDAR) del 2009, sin ningún conocimiento previo acerca de los tres idiomas diferentes que se pueden aprender.

Implementaciones de este método basadas en [[Unidad de procesamiento gráfico|unidades de procesamiento gráfico]] rápidas, hechos por Dan Ciresan y sus colegas de [[IDSIA]] han ganado varios concursos de reconocimiento de patrones, incluyendo la Competición de Reconocimiento de Señales de Tráfico del 2011,<ref name=":72">{{cita publicación|apellidos=Cireşan|nombre=Dan|apellidos2=Meier|nombre2=Ueli|apellido3=Masci|nombre3=Jonathan|apellido4=Schmidhuber|nombre4=Jürgen|fecha=Agosto de 2012|título=Multi-column deep neural network for traffic sign classification|url=http://www.sciencedirect.com/science/article/pii/S0893608012000524|publicación=Neural Networks|serie=Selected Papers from IJCNN 2011|volumen=32|páginas=333–338|doi=10.1016/j.neunet.2012.02.023}}</ref> el desafío de ISBI 2012 de segmentación de estructuras neuronales en series de imágenes de Microscopía Electrónica,<ref name=":8">{{Cita libro|url=http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|title=Advances in Neural Information Processing Systems 25|last=Ciresan|first=Dan|last2=Giusti|first2=Alessandro|last3=Gambardella|first3=Luca M.|last4=Schmidhuber|first4=Juergen|date=2012|publisher=Curran Associates, Inc.|apellido-editor=Pereira|nombre-editor=F.|páginas=2843–2851|apellido-editor2=Burges|nombre-editor2=C. J. C.|apellido-editor3=Bottou|nombre-editor3=L.|apellido-editor4=Weinberger|nombre-editor4=K. Q.}}</ref> y otros. Sus redes neuronales también fueron las primeras reconocedoras artificiales de patrones en lograr un rendimiento superior al humano en los puntos de referencia importantes, tales como el reconocimiento de señales de tráfico (IJCNN 2012) o el problema de clasificación de dígitos escritos a mano.

Arquitecturas profundas altamente no lineales similares a las del 1980 [[Neocognitron|Neocognitrón]] por [[Kunihiko Fukushima]] y la «arquitectura estándar de la visión», inspirados en las células simples y complejas identificadas por [[David H. Hubel]] y [[Torsten Wiesel]] en la [[corteza visual]], pueden también ser preformados por métodos no supervisados en el laboratorio de la [[University of Toronto|universidad de Toronto]]. Un equipo de este laboratorio ganó un concurso en 2012 patrocinado por [[Merck & Co.|Merck]] para el diseño de software para ayudar a encontrar moléculas que podrían conducir a nuevos medicamentos.

== Modelos ==

Los modelos de redes neuronales en la inteligencia artificial se refieren generalmente a las redes neuronales artificiales (RNA); estos son modelos matemáticos esencialmente simples que definen una función f:X→Y o una distribución más X o ambos X e Y. Pero a veces los modelos también están íntimamente asociadas con un algoritmo de aprendizaje en particular o regla de aprendizaje. Un uso común de la frase «modelo ANN» es en realidad la definición de una ''clase'' de tales funciones (donde los miembros de la clase se obtiene variando parámetros, los pesos de conexión, o específicos de la arquitectura, tales como el número de neuronas o su conectividad).

=== Función de red ===

La palabra ''red'' en el término «red neuronal artificial» se refiere a las interconexiones entre las neuronas en las diferentes capas de cada sistema. Un sistema ejemplar tiene tres capas. La primera capa tiene neuronas de entrada que envían datos a través de las sinapsis a la segunda capa de neuronas, y luego a través de más sinapsis a la tercera capa de neuronas de salida. Los sistemas más complejos tendrán más capas, algunos aumentando las de entrada y de salida de neuronas. Las sinapsis almacenan parámetros llamados «pesos» que manipulan los datos en los cálculos.

Un RNA se define típicamente por tres tipos de parámetros:

1.  El patrón de interconexión entre las diferentes capas de neuronas

2.  El proceso de aprendizaje para la actualización de los pesos de las interconexiones

3.  La función de activación que convierte las entradas ponderadas de una neurona a su activación a la salida.

Matemáticamente, la función de red de una neurona <math>\begin{alignat}{2} f(x)  \\ \end{alignat}</math> se define como una composición de otras funciones <math>g_i\begin{alignat}{2} (x)\\ \end{alignat}</math>. Este se representa como una estructura de red, con flechas que representan las dependencias entre variables. Un tipo ampliamente utilizado de la composición es la ''suma ponderada no lineal'' , donde<math>\begin{alignat}{2} f(x) & = k & \bigl(\textstyle \sum_{i} \displaystyle & w_i&g_i(x)) \\ \end{alignat}</math>, dónde k (denominado comúnmente como la [[función de activación]]<ref>{{cita web |url=http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn |título=The Machine Learning Dictionary |fechaacceso=19 de septiembre de 2018 |urlarchivo=https://web.archive.org/web/20180826151959/http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn |fechaarchivo=26 de agosto de 2018 }}</ref>) es una función predefinida, como la [[tangente hiperbólica]] o [[función sigmoide]] . La característica importante de la función de activación es que proporciona una transición suave como valores de entrada de cambio, es decir, un pequeño cambio en la entrada produce un pequeño cambio en la producción. Será conveniente para la siguiente para referirse a una colección de funciones <math>g_i</math>simplemente como un vector <math>g=(g_i,g_2,...,g_n)</math> .

Esta cifra representa una descomposición de tales  <math>f</math>, Con las dependencias entre las variables indicadas por las flechas. Estos pueden ser interpretados de dos maneras.

La primera vista es la vista funcional: la entrada <math>x</math> se transforma en un vector de 3 dimensiones <math>h</math>, Que se transforma a continuación en un vector de 2 dimensiones <math>g</math>, Que es finalmente transformado en <math>f</math>. Este punto de vista se encuentra más comúnmente en el contexto de [[Optimización (matemática)|la optimización]].

El segundo punto de vista es la vista probabilístico: la [[variable aleatoria]] <math>F=f(G)</math> depende de la variable aleatoria  <math>G=g(H)</math>'','' Que depende de <math>H=h(X)</math>'','' Que depende de la variable aleatoria <math>X</math>. Este punto de vista se encuentra más comúnmente en el contexto de [[Modelo en grafo|modelos gráficos]] .
[[Archivo:Grafo de dependencia Ann.jpg.jpg|miniaturadeimagen|Grafo de dependencias ANN]]
Los dos puntos de vista son en gran medida equivalente. En cualquier caso, para esta arquitectura de red en particular, los componentes de las capas individuales son independientes entre sí (por ejemplo, los componentes de <math>g</math> son independientes entre sí, dada su aportación <math>h</math>). Esto permite, naturalmente, un grado de paralelismo en la ejecución.

Las redes como la anterior se llaman comúnmente [[Red neuronal prealimentada|alimentación hacia delante]] , porque su gráfica es un [[Grafo acíclico dirigido|grafo dirigido acíclico]] . Las redes con [[Camino (teoría de grafos)|ciclos]] se denominan comúnmente [[Red neuronal recurrente|recurrentes]] . Tales redes se representan comúnmente de la manera mostrada en la parte superior de la figura, donde <math>f</math> se muestra como dependiente sobre sí misma. Sin embargo, no se muestra una dependencia temporal implícita.

=== El aprendizaje ===

Lo que ha atraído el mayor interés en las redes neuronales es la posibilidad de ''aprendizaje''. Dada una determinada ''tarea'' a resolver, y una ''clase'' de funciones <math>F</math>, el aprendizaje consiste en utilizar un conjunto de ''observaciones'' para encontrar <math>f^* \in F</math> la cual resuelve la tarea de alguna forma ''óptima''.

Esto implica la definición de una función de coste <math>\textstyle C : F \rightarrow \mathbb{R}</math> tal que, para la solución óptima <math>f^*, C(f^*)\leq C(f)\forall f\in F</math>. Es decir, ninguna solución tiene un costo menor que el costo de la solución óptima.

La función de coste <math>\textstyle C</math> es un concepto importante en el aprendizaje, ya que representa lo lejos que una solución particular se encuentra de la solución óptima al problema a resolver. Los algoritmos de aprendizaje buscan a través del espacio de soluciones para encontrar una función que tiene el menor costo posible.
[[Archivo:Ann Recurrente.jpg|miniaturadeimagen|Dos representaciones separadas del recurrente gráfico de dependencias ANN]]
Para aplicaciones en las que la solución es dependiente de algunos datos, el costo debe ser necesariamente una ''función de las observaciones'', de lo contrario no estaríamos modelando todo lo relacionado con los datos. Con frecuencia se define como una [[estadística]] a la que se pueden realizar sólo aproximaciones. Como un simple ejemplo, considere el problema de encontrar el modelo <math>f</math>, Lo que reduce al mínimo <math>C=E[(f(x)-y)^2]</math>, Para pares de datos <math>(x,y)</math> extraída de alguna distribución <math>D</math>. En situaciones prácticas sólo tendríamos <math>N</math> muestras de <math>D</math> y, por tanto, para el ejemplo anterior, tendríamos solamente minimizar <math>C=\frac{i}{N}\textstyle \sum_{i=1}^N \displaystyle (f(x_i)-y_i)^2</math>. Por lo tanto, el coste se reduce al mínimo a través de una muestra de los datos en lugar de toda la distribución de la generación de los datos.

Cuando <math>N\rightarrow\infty</math>alguna forma de [[Algoritmo de aprendizaje incremental|aprendizaje automático en línea]] debe ser utilizada, donde el costo se reduce al mínimo parcialmente como se ve cada nuevo ejemplo. Mientras que la máquina de aprendizaje en línea se utiliza a menudo cuando <math>D</math> se fija, es más útil en el caso en el que la distribución cambia lentamente con el tiempo. En los métodos de redes neuronales, alguna forma de aprendizaje en línea de la máquina se utiliza con frecuencia para conjuntos de datos finitos.

=== La elección de una función de coste ===

Si bien es posible definir alguna función de coste, con frecuencia un coste particular, se utilizará, ya sea porque tiene propiedades deseables (tales como [[Función convexa|convexidad]]) o porque surge de forma natural a partir de una formulación particular del problema (por ejemplo, en una formulación probabilística la [[Probabilidad a posteriori|probabilidad posterior]] del modelo puede ser utilizada como un costo inverso). En última instancia, la función de coste dependerá de la tarea deseada.

=== Paradigmas de aprendizaje ===

Hay tres grandes paradigmas de aprendizaje, cada uno correspondiente a una tarea de aprendizaje abstracto en particular. Estos son el '''[[aprendizaje supervisado]]''' ''','''el  '''[[aprendizaje no supervisado]]''' y el '''[[aprendizaje por refuerzo]].'''

==== El aprendizaje supervisado ====

En [[Aprendizaje supervisado|el aprendizaje supervisado]], se nos da una serie de ejemplos de pares <math>(x,y),x\in X, y \in Y</math> y el objetivo es encontrar una función <math>f:X\rightarrow Y</math>en la clase permitido de funciones que corresponden con los ejemplos. En otras palabras, deseamos ''inferir'' el mapeo derivado de los datos; la función de coste está relacionado con la falta de coincidencia entre nuestro mapeo y los datos, y contiene implícitamente el conocimiento previo sobre el dominio del problema.<ref>{{cita publicación |apellido=Ojha |nombre=Varun Kumar |apellido2=Abraham |nombre2=Ajith |apellido3=Snášel |nombre3=Václav |fecha=1 de abril de 2017 |título=Metaheuristic design of feedforward neural networks: A review of two decades of research |url=http://www.sciencedirect.com/science/article/pii/S0952197617300234 |publicación=Engineering Applications of Artificial Intelligence |volumen=60 |páginas=97–116 |doi=10.1016/j.engappai.2017.01.013}}</ref>

Un coste de uso común es el [[error cuadrático medio]], que trata de minimizar el error cuadrático medio entre las salidas de la red, <math> f(x)</math> y el valor objetivo <math> y</math> sobre todos los pares ejemplares. Cuando uno trata de minimizar este coste utilizando [[descenso de gradiente]] para la clase de las redes neuronales llamadas [[Perceptrón multicapa|perceptrones multicapas]] (MLP), se obtiene el común y bien conocido [[Propagación hacia atrás|algoritmo de propagación hacia atrás]] para la formación de redes neuronales.

Tareas que caen dentro del paradigma de aprendizaje supervisado son [[Reconocimiento de patrones|el reconocimiento de patrones]] (también conocido como clasificación) y [[Análisis de la regresión|regresión]] (también conocido como aproximación de función). El paradigma de aprendizaje supervisado es aplicable también a los datos secuenciales (por ejemplo, [[reconocimiento del habla]], del manuscrito, y de [[reconocimiento de gestos|gestos]]). Esto se puede considerar como una forma de aprendizaje con un «maestro», en la forma de una función que proporciona información continua sobre la calidad de las soluciones obtenidas hasta el momento.

==== Aprendizaje no supervisado ==== 

En [[Aprendizaje no supervisado|el aprendizaje no supervisado]], algunos datos <math>x</math> se da y la función de coste que se reduce al mínimo, que puede ser cualquier función de los datos <math>x</math> y la salida de la red, <math>f</math>''.''

La función de coste depende de la tarea (lo que estamos tratando de modelar) y nuestros ''a priori'' suposiciones implícitas (las propiedades de nuestro modelo, sus parámetros y las variables observadas).

Como un ejemplo trivial, considere el modelo <math>f(x)=a</math> donde <math>a</math> es una constante y el costo <math>C= E[(x-f(x))^2]</math>. Minimizar este coste nos dará un valor de <math>a</math> que es igual a la media de los datos. La función de coste puede ser mucho más complicado. Su forma depende de la aplicación: por ejemplo, en la compresión de que podría estar relacionado con la [[información mutua]] entre <math>x</math> y <math>f(x)</math>, Mientras que en la modelización estadística, que podría estar relacionado con la [[Probabilidad a posteriori|probabilidad posterior]] del modelo dados los datos (tenga en cuenta que en estos dos ejemplos esas cantidades se maximizaría en lugar de reducirse al mínimo).

Tareas que caen dentro del paradigma de aprendizaje no supervisado están en generales [[Aproximación|de estimación de]] problemas; las aplicaciones incluyen [[Análisis de grupos|el agrupamiento]], la estimación de [[Distribución de probabilidad|distribuciones estadísticas]], [[Compresión de datos|la compresión de datos]] y [[Filtrado bayesiano de spam|el filtrado bayesiano de spam]].

==== Aprendizaje por refuerzo ====  

En el [[aprendizaje por refuerzo]], los datos <math>x</math> por lo general no se dan, pero generada por la interacción de un agente con el medio ambiente. En cada punto en el tiempo <math>t</math>, El agente realiza una acción <math>y_t</math>y el medio ambiente genera una observación <math>x_t</math>y un costo instantáneo <math>c_t</math>, De acuerdo con algunas dinámicas (por lo general desconocidos). El objetivo es descubrir una ''política'' para la selección de las acciones que minimiza una cierta medida de un costo a largo plazo, por ejemplo, el coste acumulativo esperado. La dinámica del medio ambiente y el coste a largo plazo para cada política general son desconocidos, pero pueden ser estimados.

Más formalmente el medio ambiente se modela como un [[Proceso de decisión markoviano|proceso de decisión de Markov]] (MDP) con los estados <math>s1,....,s_n \in S</math> y acciones <math>a1,....., a_m\in A</math>con las siguientes distribuciones de probabilidad: la distribución de costos instantánea <math>P(c_t|s_t)</math>,La distribución de observación <math>P(x_t|s_t)</math> y la transición <math>P(s_t+1|s_ta_t)</math> Mientras que una política se define como la distribución condicional sobre las acciones dadas las observaciones. Tomados en conjunto, los dos entonces definen una [[cadena de Márkov]] (MC). El objetivo es descubrir la política (es decir, el MC) que minimice el costo.

RNAs se utilizan con frecuencia en el aprendizaje de refuerzo como parte del algoritmo general.<ref>{{cita publicación |autor1=Dominic, S. |autor2=Das, R. |autor3=Whitley, D. |autor4=Anderson, C. |fecha=July 1991 |título=Genetic reinforcement learning for neural networks |publicación=IJCNN-91-Seattle International Joint Conference on Neural Networks |editorial=IEEE |lugar-publicación=Seattle, Washington, USA |doi=10.1109/IJCNN.1991.155315 |accessdate= |isbn=0-7803-0164-1 |url=https://archive.org/details/ijcnn91seattlein01ieee }}</ref><ref>{{cita publicación |apellido=Hoskins |nombre=J.C. |autor2=Himmelblau, D.M. |título=Process control via artificial neural networks and reinforcement learning |url=https://archive.org/details/sim_computers-chemical-engineering_1992-04_16_4/page/241 |publicación=Computers & Chemical Engineering |año=1992 |volumen=16 |páginas=241–251 |doi=10.1016/0098-1354(92)80045-B |número=4}}</ref> [[Programación dinámica|La programación dinámica]] se ha unido a las RNA (dando la programación neurodinámica) por [[Dimitri Bertsekas|Bertsekas]] y Tsitsiklis<ref>{{cita libro |url=https://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images |título=Neuro-dynamic programming |nombre=D.P. |nombre2=J.N. |editorial=Athena Scientific |año=1996 |isbn=1-886529-10-8 |lugar-publicación= |página=512 |páginas= |autor=Bertsekas |autor2=Tsitsiklis}}</ref> y se aplicó problemas no lineales a la multi-dimensionales, tales como los implicados en [[Problema de enrutamiento de vehículos|enrutamiento de vehículos]] , [[Gestión de recursos naturales|gestión de los recursos naturales]]<ref>{{cita publicación |autor=de Rigo, D. |autor2=Rizzoli, A. E. |autor3=Soncini-Sessa, R. |autor4=Weber, E. |autor5=Zenesi, P. |año=2001 |título=Neuro-dynamic programming for the efficient management of reservoir networks |publicación=Proceedings of MODSIM 2001, International Congress on Modelling and Simulation |editorial=Modelling and Simulation Society of Australia and New Zealand |lugar-publicación=Canberra, Australia |doi=10.5281/zenodo.7481 |url=https://zenodo.org/record/7482/files/de_Rigo_etal_MODSIM2001_activelink_authorcopy.pdf |accessdate=29 de julio de 2012 |isbn=0-867405252 }} </ref><ref>{{cita publicación |autor=Damas, M. |autor2=Salmeron, M. |autor3=Díaz, A. |autor4=Ortega, J. |autor5=Prieto, A. |autor6=Olivares, G. |año=2000 |título=Genetic algorithms and neuro-dynamic programming: application to water supply networks |url=https://archive.org/details/proceedingsof2000000cong |conference=2000 Congress on Evolutionary Computation |publicación=Proceedings of 2000 Congress on Evolutionary Computation |editorial=IEEE |lugar-publicación=La Jolla, California, USA |doi=10.1109/CEC.2000.870269 |accessdate= |isbn=0-7803-6375-2}}</ref> o [[Medicina|la medicina]]<ref>{{cita publicación |apellido=Deng |nombre=Geng |autor2=Ferris, M.C. |título=Neuro-dynamic programming for fractionated radiotherapy planning |publicación=Springer Optimization and Its Applications |año=2008 |volumen=12 |páginas=47–70 |doi=10.1007/978-0-387-73299-2_3  |serie=Springer Optimization and Its Applications |isbn=978-0-387-73298-5 }}</ref> debido a la capacidad de RNAs para mitigar las pérdidas de precisión incluso cuando la reducción de la densidad de la red de discretización para aproximar numéricamente la solución de los problemas de control originales.

Tareas que caen dentro del paradigma de aprendizaje por refuerzo son problemas de control, [[Juego|juegos]] y otras secuenciales tareas.

=== Tipo de entrada ===

Finalmente las RNAs también se pueden clasificar según sean capaces de procesar información de distinto tipo en:
* '''Redes analógicas:''' procesan datos de entrada con valores continuos y, habitualmente, acotados. Ejemplos de este tipo de redes son: [[Hopfield (RNA)|Hopfield]], [[Kohonen (RNA)|Kohonen]] y las [[LVQ|redes de aprendizaje competitivo]].
* '''Redes discretas:''' procesan datos de entrada de naturaleza discreta; habitualmente valores lógicos booleanos. Ejemplos de este segundo tipo de redes son: las máquinas de [[máquina de Boltzmann|Boltzmann]] y [[máquina de Cauchy|Cauchy]], y la red discreta de [[Hopfield (RNA)|Hopfield]].

== Algoritmos de aprendizaje ==

La formación de un modelo de red neuronal en esencia significa seleccionar un modelo de la serie de modelos permitidos (o, en un [[Probabilidad bayesiana|bayesiano]] marco, la determinación de una distribución en el conjunto de modelos permitidos) que minimiza el criterio de costo. Hay numerosos algoritmos disponibles para la formación de los modelos de redes neuronales; la mayoría de ellos puede ser vista como una aplicación directa de [[Optimización (matemática)|la teoría de optimización]] y la [[estimación estadística]].

La mayoría de los algoritmos utilizados en las redes neuronales artificiales de formación emplean alguna forma de [[Descenso del gradiente|descenso de gradiente]], utilizando propagación hacia atrás para calcular los gradientes reales. Esto se hace simplemente tomando la derivada de la función de coste con respecto a los parámetros de la red y a continuación, cambiando los parámetros en una dirección relacionada al gradiente. Los algoritmos de formación de propagación hacia atrás generalmente se clasifican en tres categorías:

[[Descenso del gradiente]] (con tasa variable de aprendizaje y momentum, [[Propagación hacia atrás|retropropagación elástica (Rprop)]]);
# cuasi-Newton ( [[Algoritmo Broyden–Fletcher–Goldfarb–Shannon|Broyden-Fletcher-Goldfarb-Shannon]], [[Método de la secante]] ); 
# [[Algoritmo Levenberg–Marquardt|Levenberg-Marquardt]] y [[Método del gradiente conjugado|gradiente conjugado]] (actualización Fletcher-Reeves, actualizaación Polak-Ribiere, Powell-Beale reinicio, gradiente conjugado escalado).<ref>{{cita publicación |autor1=M. Forouzanfar |autor2=H. R. Dajani |autor3=V. Z. Groza |autor4=M. Bolic |autor5=S. Rajan |fecha=July 2010 |título=Comparison of Feed-Forward Neural Network Training Algorithms for Oscillometric Blood Pressure Estimation |editorial=IEEE |lugar-publicación=Arad, Romania |url=https://www.researchgate.net/profile/Mohamad_Forouzanfar/publication/224173336_Comparison_of_Feed-Forward_Neural_Network_training_algorithms_for_oscillometric_blood_pressure_estimation/links/00b7d533829c3a7484000000.pdf?ev=pub_int_doc_dl&origin=publication_detail&inViewer=true&msrp=TyT96%2BjWOHJo%2BVhkMF4IzwHPAImSd442n%2BAkEuXj9qBmQSZ495CpxqlaOYon%2BSlEzWQElBGyJmbBCiiUOV8ImeEqPFXiIRivcrWsWmlPBYU%3D }}</ref>  

[[Algoritmo evolutivo|Métodos evolutivos]],<ref>{{cita publicación |autor1=de Rigo, D. |autor2=Castelletti, A. |autor3=Rizzoli, A. E. |autor4=Soncini-Sessa, R. |autor5=Weber, E. |fecha=January 2005 |título=A selective improvement technique for fastening Neuro-Dynamic Programming in Water Resources Network Management |conference=16th IFAC World Congress |publicación=Proceedings of the 16th IFAC World Congress – IFAC-PapersOnLine |editor=Pavel Zítek |volumen=16 |editorial=IFAC |lugar-publicación=Prague, Czech Republic |url=http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2005/Papers/Paper4269.html |accessdate=30 de diciembre de 2011 |doi=10.3182/20050703-6-CZ-1902.02172 |isbn=978-3-902661-75-3 }}</ref> [[Programación de expresiones de genes|de programación de la expresión génica]],<ref>{{cita web |apellido=Ferreira |nombre=C. |año=2006 |título=Designing Neural Networks Using Gene Expression Programming |url=http://www.gene-expression-programming.com/webpapers/Ferreira-ASCT2006.pdf |editorial=In A. Abraham, B. de Baets, M. Köppen, and B. Nickolay, eds., Applied Soft Computing Technologies: The Challenge of Complexity, pages 517–536, Springer-Verlag}}</ref> [[Algoritmo de recocido simulado|de recocido simulado]],<ref>{{cita publicación |autor=Da, Y. |autor2=Xiurun, G. |fecha=July 2005 |título=An improved PSO-based ANN with simulated annealing technique |publicación=New Aspects in Neurocomputing: 11th European Symposium on Artificial Neural Networks  |editor=T. Villmann |editorial=Elsevier |doi=10.1016/j.neucom.2004.07.002 }} <!--| fecha de acceso = 30 December 2011 --></ref> [[Algoritmo esperanza-maximización|de esperanza-maximización]], [[Estadística no paramétrica|los métodos no paramétricos]] y [[Optimización por enjambre de partículas|la optimización por enjambre de partículas]]<ref>{{cita publicación |autor=Wu, J. |autor2=Chen, E. |fecha=May 2009 |título=A Novel Nonparametric Regression Ensemble for Rainfall Forecasting Using Particle Swarm Optimization Technique Coupled with Artificial Neural Network  |editor=Wang, H., Shen, Y., Huang, T., Zeng, Z. |editorial=Springer |doi=10.1007/978-3-642-01513-7-6 |isbn=978-3-642-01215-0 }} <!--| fecha de acceso = 1 January 2012 --></ref> son algunos otros métodos para la formación de redes neuronales.

==== Algoritmo recursivo convergente de aprendizaje ====
Este es un método de aprendizaje específicamente desegnado para redes neuronales controladores de articulación (CMAC por sus siglas en inglés) de modelo cerebelosa.  En 2004, un algoritmo recursivo de mínimos cuadrados estaba introducido para formar en línea redes neuronales CMAC.<ref name="Qin1">Ting Qin, et al. ''A learning algorithm of CMAC based on RLS''. Neural Processing Letters 19.1 (2004): 49–61.</ref> Este algoritmo puede convergir en un solo paso, y actualizar todos los pesos en un solo paso con cualquier dato nuevo de entrada.  Al principio, este algoritmo tenía [[Teoría de la complejidad computacional|complejidad computacional]] de ''O''(''N''<sup>3</sup>).  Basado en [[factorización QR]], este algoritmo recursivo de aprendizaje había sido simplificado para hacerlo ''O''(''N'').<ref name="Qin2">Ting Qin, et al. ''Continuous CMAC-QRLS and its systolic array''. Neural Processing Letters 22.1 (2005): 1–16.</ref>

=== El empleo de redes neuronales artificiales ===

Tal vez la mayor ventaja de las RNA es su capacidad de ser utilizado como un mecanismo de función de aproximación arbitraria que «aprende» a partir de datos observados. Sin embargo, su uso no es tan sencillo, y una relativamente buena comprensión de la teoría subyacente es esencial.

; Elección de modelo
: Esto dependerá de la representación de datos y la aplicación. Excesivamente complejos modelos tienden a conducir a problemas en el aprendizaje.
; Algoritmo de aprendizaje
: Existen numerosas soluciones de compromiso entre los algoritmos de aprendizaje. Casi cualquier algoritmo va a funcionar bien con los ''[[Hiperparámetro|hiperparámetros]]'' correctos para la formación de un conjunto específico de datos fijos. Sin embargo, la selección y el ajuste de un algoritmo para la formación en datos no previstos requieren una cantidad significativa de experimentación.
; Robustez
: Si se seleccionan apropiadamente el modelo, la función de coste y el algoritmo de aprendizaje, la RNA resultante puede ser extremadamente robusta.
Con la aplicación correcta, las RNA pueden ser utilizadas de forma natural en [[Algoritmo online|el aprendizaje online]] y aplicaciones de grandes conjuntos de datos. Su aplicación sencilla y la existencia de dependencias en su mayoría locales expuestos en la estructura permiten implementaciones rápidas y paralelas en el hardware.

== Aplicaciones ==

RNA las hacen bastante apropiadas para aplicaciones en las que no se dispone a priori de un modelo identificable que pueda ser programado, pero se dispone de un conjunto básico de ejemplos de entrada (previamente clasificados o no). Asimismo, son altamente robustas tanto al ruido como a la disfunción de elementos concretos y son fácilmente paralelizables.

Esto incluye problemas de clasificación y [[reconocimiento de voz|reconocimiento de patrones de voz]], imágenes, señales, etc. Asimismo se han utilizado para encontrar patrones de fraude económico, hacer predicciones en el mercado financiero, hacer predicciones de tiempo atmosférico, etc.

También se pueden utilizar cuando no existen modelos matemáticos precisos o algoritmos con complejidad razonable, por ejemplo la red de Kohonen ha sido aplicada con un éxito más que razonable al clásico [[problema del viajante]] (un problema para el que no se conoce solución algorítmica de complejidad polinómica).

Otro tipo especial de redes neuronales artificiales se ha aplicado en conjunción con los [[algoritmo genético|algoritmos genéticos]] (AG) para crear controladores para [[robot]]s. La disciplina que trata la evolución de redes neuronales mediante [[algoritmo genético|algoritmos genéticos]] se denomina [[Robótica evolutiva|Robótica Evolutiva]]. En este tipo de aplicación el genoma del AG lo constituyen los parámetros de la red (topología, algoritmo de aprendizaje, funciones de activación, etc.) y la adecuación de la red viene dada por la adecuación del comportamiento exhibido por el robot controlado (normalmente una simulación de dicho comportamiento).

=== Aplicaciones de la vida real ===

Las tareas se aplican a las redes neuronales artificiales tienden a caer dentro de las siguientes categorías generales:
* [[Aproximación|Aproximación de funciones]], o [[Análisis de la regresión|el análisis de regresión]], incluyendo [[Series temporales|la predicción de series temporales]], [[Función de aptitud|funciónes de aptitud]] y el modelado.
* [[Clasificación estadística|Clasificación]], incluyendo [[Reconocimiento de patrones|el reconocimiento de patrones]] y la secuencia de reconocimiento, detección y de la toma de decisiones secuenciales.
* [[Procesamiento de datos]], incluyendo el filtrado, el agrupamiento,<ref>{{Cita publicación|url=https://www.researchgate.net/publication/364914381_Diseno_implementacion_entrenamiento_y_validacion_de_un_sistema_de_clasificacion_automatico_de_las_muestras_de_aceites_lubricantes_y_de_liquidos_hidraulicos_basado_en_Redes_de_Neuronas_Artificiales_apl|título=Diseño, implementación, entrenamiento y validación de un sistema de clasificación automático de las muestras de aceites lubricantes y de líquidos hidráulicos basado en Redes de Neuronas Artificiales aplicado al Programa de Análisis de Aceites del Ejército de Tierra|apellidos=Ochando Terreros, Cantero Obregón, Ventura Soto, Martínez Heredia,|nombre=F., A., S., A.M.|fecha=Noviembre 2021|publicación=IX Congreso nacional de i+d en Defensa y Seguridad|fechaacceso=10-02-2024}}</ref> [[Separación ciega de las señales|la separación ciega de las señales]] y compresión.
* [[Robótica]], incluyendo la dirección de manipuladores y [[prótesis]].
* [[Ingeniería de control]], incluyendo [[Control numérico|control numérico por computadora]].
Las áreas de aplicación incluyen la [[identificación de sistemas]] y el control (control del vehículo, predicción de trayectorias,<ref>{{cita publicación |apellido1=Zissis |nombre1=Dimitrios |título=A cloud based architecture capable of perceiving and predicting multiple vessel behaviour |publicación=Applied Soft Computing |fecha=October 2015 |volumen=35 |url=http://www.sciencedirect.com/science/article/pii/S1568494615004329 |doi=10.1016/j.asoc.2015.07.002 |páginas=652–661}}</ref> [[Instrumentación y control de procesos|el control de procesos]], [[Recurso natural|manejo de recursos naturales]]), [[Química cuántica|la química cuántica]], juegos y [[Toma de decisiones|la toma de decisiones]] (backgammon, ajedrez, [[póquer]] ), [[Reconocimiento de patrones|el reconocimiento de patrones]] (sistemas radar, [[Sistema de reconocimiento facial|reconocimiento facial]], clasificación de señales,<ref>{{cita publicación |apellido=Sengupta |nombre=Nandini |author2=Sahidullah, Md |author3=Saha, Goutam |título=Lung sound classification using cepstral-based statistical features |publicación=Computers in Biology and Medicine |fecha=August 2016 |volumen=75 |issue=1 |páginas=118–129 |doi=10.1016/j.compbiomed.2016.05.013 |url=http://www.sciencedirect.com/science/article/pii/S0010482516301263}}</ref> reconocimiento de objetos y más), de reconocimiento de secuencia (gesto, voz, reconocimiento de texto escrito a mano), [[diagnóstico médico]] , aplicaciones económico-financieras (por ejemplo, sistemas automatizados para el [[comercio]] en varios sectores de actividad), [[minería de datos]] (o descubrimiento de conocimiento en bases de datos, «KDD»), la visualización, [[traducción automática]], diferenciando entre informes deseados y no deseados en redes sociales,<ref>{{cita publicación |url=https://www.wsj.com/articles/facebook-boosts-a-i-to-block-terrorist-propaganda-1497546000 |título=Facebook Boosts A.I. to Block Terrorist Propaganda |apellido=Schechner |nombre=Sam |fecha=15 de junio de 2017 |publicación=Wall Street Journal |fechaacceso=16 de junio de 2017 |idioma=en-US |issn=0099-9660}}</ref> [[Antispam|prevención de spam (correo basura) de correo electrónico]].

Las redes neuronales artificiales se han utilizado también para el diagnóstico de varios tipos de cáncer. Un sistema de detección de cáncer de pulmón híbrido basado ANN llamado HLND mejora la precisión del diagnóstico y la velocidad de la radiología cáncer de pulmón. Estas redes también se han utilizado para diagnosticar el cáncer de próstata. Los diagnósticos se pueden utilizar para hacer modelos específicos tomados de un gran grupo de pacientes en comparación con la información de un paciente dado. Los modelos no dependen de suposiciones acerca de las correlaciones de diferentes variables. El cáncer color rectal también se ha previsto el uso de las redes neuronales. Las redes neuronales podrían predecir el resultado de un paciente con cáncer color rectal con más precisión que los métodos clínicos actuales. Después de la formación, las redes podrían predecir múltiples resultados de los pacientes de instituciones relacionadas, entre otras cosas.

=== Las redes neuronales y la neurociencia ===

La Neurociencia Teórica y [[Neurociencia computacional|computacional]] son el ámbito en que se trata del análisis teórico y el modelado computacional de sistemas neuronales biológicos. Dado que los sistemas neuronales están íntimamente relacionados con los procesos cognitivos y de comportamiento, el campo está muy relacionado con el modelado cognitivo y conductual.

El objetivo del campo es la creación de modelos de sistemas neuronales biológicas con el fin de comprender cómo funcionan los sistemas biológicos. Para ganar este entendimiento, los neurólogos se esfuerzan por hacer un vínculo entre los procesos biológicos observados (datos), biológicamente plausibles mecanismos para el procesamiento neuronal y aprendizaje ( [[Circuito neuronal|redes neuronales biológicas]] modelos) y la teoría (la teoría del aprendizaje estadístico y [[Teoría de la información|la teoría de la información]]).

'''Tipos de modelos''' 

Muchos modelos se utilizan en el campo, que se define en diferentes niveles de abstracción y el modelado de diferentes aspectos de los sistemas neuronales. Se extienden desde modelos del comportamiento a corto plazo de [[Modelo biológico neuronal|las neuronas individuales]], tras los modelos del surgimiento de la dinámica de los circuitos neuronales de la interacción entre las neuronas individuales hasta, finalmente, los modelos del surgimiento del comportamiento de los módulos neuronales abstractos que representan subsistemas completas. Estos incluyen modelos de plasticidad de largo y corto plazo, y de los sistemas neuronales y sus relaciones con el aprendizaje y la memoria de la neurona individual a nivel del sistema.

'''Las redes con memoria''' 

La integración de los componentes de memoria externa con redes neuronales artificiales tiene una larga historia que se remonta a las primeras investigaciones en las representaciones distribuidas y [[Self-organizing map|mapas de auto-organización]] . Por ejemplo, en [[Sparse distributed memory|memoria distribuida dispersa]] los patrones codificados por las redes neuronales se utilizan como direcciones de memoria para la memoria de contenido direccionable, con «neuronas» que sirven esencialmente como dirección [[Encoder|codificadores]] y [[Binary decoder|decodificadores]] .

Más recientemente [[Deep learning|aprendizaje profundo]] ha demostrado ser útil en hashing semántica , donde un profundo [[Graphical model|modelo gráfico]] de los vectores de palabra de recuento de se obtiene a partir de un gran conjunto de documentos. Los documentos se asignan a las direcciones de memoria de tal manera que los documentos semánticamente similares se encuentran en direcciones cercanas. Documentos similares a un documento de consulta a continuación, se pueden encontrar simplemente accediendo a todas las direcciones que difieren por solo unos pocos bits de la dirección del documento de consulta.

Redes de memoria es otra extensión de las redes neuronales que incorporan [[Memoria a largo plazo|la memoria a largo plazo]] que fue desarrollado por [[Facebook]] investigación.<ref>https://nmas1.org/news/2018/06/22/fb-musica-ra-tecnologia</ref> La memoria a largo plazo puede ser leído y escrito para, con el objetivo de utilizarlo para la predicción. Estos modelos se han aplicado en el contexto de la [[Question answering|búsqueda de respuestas]] (QA), donde la memoria a largo plazo que de hecho actúa como un (dinámico) base de conocimientos, y la salida es una respuesta textual.

[[Máquinas de Turing neuronales]] desarrollados por [[Google DeepMind]] permiten ampliar las capacidades de las redes neuronales profundas mediante el acoplamiento a los recursos de memoria externos, que pueden interactuar con los procesos atencionales. El sistema combinado es análogo a una [[máquina de Turing]] pero es diferenciable de extremo a extremo, lo que le permite ser formado de manera eficiente con [[descenso del gradiente]]. Los resultados preliminares demuestran que las máquinas de Turing neuronales puede deducir algoritmos simples, tales como copiar, clasificar, y recuerdo asociativo a partir de ejemplos de entrada y salida.

[[Computadoras neuronales diferenciables]] (DNC) son una extensión de las máquinas de Turing neuronal, también de DeepMind. Se han realizado fuera de las máquinas de Turing neuronales, [[Memoria de largo a corto plazo|la memoria de largo a corto plazo]] los sistemas y redes de la memoria en las tareas de procesamiento de secuencia. 

'''Software de red neuronal'''

'''Software de la red neuronal''' se utiliza para [[Simulación|simular]], [[investigación]] , desarrollo y aplicación de redes neuronales artificiales, [[redes neuronales biológicas]] y, en algunos casos, una gama más amplia de [[Sistema adaptativo|sistemas adaptativos]].

'''Tipos de redes neuronales artificiales'''  

Tipos de redes neuronales artificiales varían de aquellos con sólo una o dos capas de lógica única dirección, para muchos bucles complejos multi-direccionales de entrada de realimentación y capas. En general, estos sistemas utilizan algoritmos en su programación para determinar el control y la organización de sus funciones. La mayoría de los sistemas utilizan «pesos» para cambiar los parámetros del rendimiento y las diferentes conexiones con las neuronas. Las redes neuronales artificiales pueden ser autónomas y aprender mediante el aporte de «maestros» externos o incluso auto-enseñanza de las reglas escritas de entrada. Redes neuronales estilo Cubo Neural primera por primera vez por Gianna Giavelli proporcionan un espacio dinámico en el que las redes se recombinan dinámicamente información y enlaces a través de miles de millones de nodos independientes que utilizan la adaptación [[Neural Darwinism|neuronal darwinismo]] , una técnica desarrollada por [[Gerald Edelman]] , que permite sistemas más modeladas biológicamente.

== Potencia del cálculo ==

El [[Multilayer perceptron|perceptrón multicapa]] es un aproximado de la función universal, como lo demuestra el [[Universal approximation theorem|teorema de aproximación universal]]. Sin embargo, la prueba no es constructivo sobre el número de neuronas es necesario, la topología de red, la configuración de los pesos y los parámetros de aprendizaje.

El trabajo de [[Hava Siegelmann]] y [[Eduardo D. Sontag]] ha proporcionado una prueba de que una arquitectura específica recurrente con los pesos valorados racionales (en oposición a la precisión total [[Real number|número real]] -valued pesos) tiene toda la potencia de una [[Universal Turing Machine|máquina universal de Turing]] [[Artificial neural network#cite note-59|<sup>[59]</sup>]]<nowiki/>utilizando un número finito de las neuronas y las conexiones lineales estándar. Además, se ha demostrado que el uso de valores irracionales para resultados pesos en una máquina con [[Hypercomputation|super-Turing]] poder.

'''Capacidad''' 

Los modelos de redes neuronales artificiales tienen una propiedad denominada «capacidad», que corresponde aproximadamente a su capacidad para modelar cualquier función dada. Se relaciona con la cantidad de información que puede ser almacenada en la red y a la noción de complejidad.

'''Convergencia''' 

Nada se puede decir en general sobre la convergencia ya que depende de una serie de factores. En primer lugar, pueden existir muchos mínimos locales. Esto depende de la función de coste y el modelo. En segundo lugar, el método de optimización utilizado no puede ser garantizado a converger cuando lejos de un mínimo local. En tercer lugar, para una cantidad muy grande de datos o parámetros, algunos métodos se vuelven poco práctico. En general, se ha encontrado que las garantías teóricas sobre la convergencia son una guía fiable para la aplicación práctica.

'''Generalización y estadísticas''' 

En aplicaciones donde el objetivo es crear un sistema que generaliza bien en los ejemplos que no se ven, ha surgido el problema de la formación excesiva. Esto surge en los sistemas complicados o sobre especificadas cuando la capacidad de la red supera significativamente los parámetros libres necesarios. Hay dos escuelas de pensamiento para evitar este problema: La primera es utilizar [[Cross-validation (statistics)|la validación cruzada]] técnicas similares y para comprobar la presencia de un exceso de formación y de manera óptima seleccione hiper- tales que se minimice el error de generalización. La segunda es utilizar algún tipo de [[Regularization (mathematics)|''regularización'']] . Este es un concepto que surge de manera natural en un marco probabilístico (Bayesiano), donde la regularización puede realizarse mediante la selección de una probabilidad a priori más grande sobre los modelos más simples; sino también en la teoría estadística de aprendizaje, donde el objetivo es reducir al mínimo más de dos cantidades: el «riesgo empírico« y el «riesgo estructural», que corresponde aproximadamente al error sobre el conjunto de formación y el error de predicción en los datos que no se ven debido a sobreajuste. Redes neuronales supervisadas que utilicen un [[Mean squared error|error cuadrático medio]] (MSE) función de coste se pueden utilizar métodos estadísticos formales para determinar la confianza del modelo formado. El MSE en un conjunto de validación se puede utilizar como una estimación de la varianza. Este valor puede ser utilizado para calcular el [[Confidence interval|intervalo de confianza]] de la salida de la red, suponiendo una [[Normal distribution|distribución normal]] . Un análisis de confianza realizado de esta manera es estadísticamente válida siempre que la salida de [[Probability distribution|distribución de probabilidad]] sigue siendo el mismo y la red no es modificada.
[[Archivo:Despliegue de Red sinapse.jpg|miniaturadeimagen|251x251px|Análisis de confianza de una red neuronal]]
Mediante la asignación de una [[Softmax activation function|función de activación softmax]] , una generalización de la [[Logistic function|función logística]] , en la capa de salida de la red neuronal (o un componente softmax en una red neuronal basada en componentes) para las variables categóricas de destino, las salidas se pueden interpretar como las probabilidades. Esto es muy útil en la clasificación, ya que da una medida de la seguridad en las clasificaciones.

La función de activación softmax es: <math>y_{i}=\frac{e^{x_i}}{\sum\limits_{j=1}^c e^{x_j}}</math>

== La crítica ==

=== Cosas de capacitación ===

Una crítica común de las redes neuronales, en particular en la robótica, es que requieren una gran diversidad de formación para el funcionamiento del mundo real. Esto no es sorprendente, ya que cualquier máquina de aprendizaje necesita suficientes ejemplos representativos con el fin de capturar la estructura subyacente que le permite generalizar a nuevos casos. Dean A. Powerless, en su investigación presentada en el documento «Formación basada en el conocimiento de redes neuronales artificiales para la conducción autónoma del robot», utiliza una red neuronal para formar a un vehículo robótico para conducir en múltiples tipos de carreteras (de un solo carril, varios carriles, suciedad, etc.). Una gran cantidad de su investigación está dedicada a (1) la extrapolación de múltiples escenarios de formación a partir de una sola experiencia de formación, y (2) la preservación de la diversidad de formación pasada para que el sistema no se convierta en sobre formación (si, por ejemplo, se presenta con una serie de giros a la derecha - no debe aprender a girar siempre a la derecha). Estos problemas son comunes en las redes neuronales que debe decidir de entre una amplia variedad de respuestas, pero se pueden tratar de varias maneras, por ejemplo por revolver al azar los ejemplos de formación, mediante el uso de un algoritmo de optimización numérica que no toma demasiado grandes pasos cuando el cambio de las conexiones de red siguiendo un ejemplo, o mediante la agrupación de ejemplos en los llamados mini-lotes.

=== Cuestiones teóricas === 

[[A. K. Dewdney|AK Dewdney]] , un científico matemático e informática de la [[University of Western Ontario|Universidad de Ontario Occidental]] y ex columnista de ''[[Scientific American]]'', escribió en 1997, «A pesar de que las redes neuronales hacen resolver algunos problemas de juguete, su poder de computación son tan limitados que me sorprende que nadie los toma en serio como una herramienta general de resolución de problemas». No existe una red neuronal nunca se ha demostrado que resuelve los problemas computacionalmente difíciles, tales como la [[Eight queens puzzle|N-Queens]] problema, el [[Travelling salesman problem|problema del viajante de comercio]], o el problema de factorizar enteros grandes.

Aparte de su utilidad, una objeción fundamental a las redes neuronales artificiales es que no logran reflejar cómo funcionan las neuronas reales. Propagación hacia atrás está en el corazón de las redes neuronales artificiales y la mayoría no sólo no hay evidencia de ningún mecanismo de este tipo de redes neuronales naturales,<ref>{{cita publicación |apellido1=Crick |nombre1=Francis |año=1989 |título=The recent excitement about neural networks |publicación=Nature |volumen=337 |issue=6203 |páginas=129–132 |doi=10.1038/337129a0 |url=http://europepmc.org/abstract/med/2911347 |pmid=2911347 |bibcode=1989Natur.337..129C }}</ref> parece contradecir el principio fundamental de las neuronas reales que la información sólo puede fluir hacia adelante a lo largo del axón. Como la información está codificada por las neuronas reales aún no se conoce. Lo que se sabe es que las neuronas sensoriales disparan potenciales de acción con mayor frecuencia con la activación del sensor y las células musculares tiran más fuertemente cuando sus neuronas motoras asociadas reciben los potenciales de acción con más frecuencia.<ref>{{cita publicación |apellido1=Adrian |nombre1=Edward D. |año=1926 |título=The impulses produced by sensory nerve endings |publicación=The Journal of Physiology |volumen=61 |issue=1 |páginas=49–72 |doi=10.1113/jphysiol.1926.sp002273 |pmid=16993776 |pmc=1514809 |url=http://onlinelibrary.wiley.com/doi/10.1113/jphysiol.1926.sp002273/full }}</ref> Aparte del caso más simple de solo transmisión de información de una neurona a un sensor de la neurona motora casi nada se conoce de los principios generales subyacentes de cómo se maneja la información por las redes neuronales reales.

El propósito de las redes neuronales artificiales no es necesariamente replicar la función neural real sino inspirarse en redes neuronales naturales como acercamiento a una computación, inherentemente paralela, que proporcione soluciones a problemas que hasta ahora han sido intratables. Por tanto, una afirmación central de las redes neuronales artificiales es que encarna algún principio general nuevo y potente para el procesamiento de la información. Por desgracia, estos principios generales están mal definidos y que a menudo se afirma que son ''emergentes'' de la red neuronal en sí. Esto permite la asociación estadística sencilla (la función básica de las redes neuronales artificiales), que se describe como ''el aprendizaje'' o ''el reconocimiento''. Como resultado, las redes neuronales artificiales tienen, según Dewdney, un «algo para nada la calidad, que imparte un aura peculiar de la pereza y una clara falta de curiosidad acerca de lo bien que estos sistemas de computación son Ninguna mano humana (o la mente) interviene; soluciones. Se encuentran como por arte de magia, y nadie, al parecer, ha aprendido nada».<ref>{{cita libro |url=https://books.google.com/books?id=KcHaAAAAMAAJ&pg=PA82 |título=Yes, we have no neutrons: an eye-opening tour through the twists and turns of bad science |apellido=Dewdney |nombre=A. K. |fecha=1 de abril de 1997 |editorial=Wiley |año= |isbn=978-0-471-10806-1 |lugar-publicación= |páginas=82}}</ref>

'''Los problemas de hardware''' 

Para implementar software de redes neuronales grandes y eficaces deben emplearse considerables recursos de procesamiento y almacenamiento. Mientras que el cerebro ha adaptado su hardware a la tarea de procesamiento de señales a través de un [[Grafo]] de las neuronas, simular incluso una forma simplificada en [[Arquitectura_de_Von_Neumann|la arquitectura von Neumann]] puede obligar a un diseñador de la red neural a utilizar muchos millones de filas de [[Database|bases de datos]] para sus conexiones, lo que puede consumir grandes cantidades de espacio de [[Random-access memory|memoria RAM]] y [[Hard drive|disco duro]]. Además, el diseñador de sistemas de redes neuronales a menudo necesitará utilizar para simular la transmisión de señales a través de muchas de estas conexiones y sus neuronas asociadas una increíble cantidad de potencia de procesamiento y tiempo de [[Central processing unit|CPU]].

[[Jürgen Schmidhuber]] toma nota de que el resurgimiento de las redes neuronales en el siglo {{Siglo|XXI||s}}, y su éxito renovado en tareas de reconocimiento de imagen es atribuible en gran medida a los avances en el hardware: de 1991 a 2015, el poder de computación, especialmente en lo entregado por [[GPGPU|GPGPUs]] (en [[Graphics processing unit|las GPU]] ), ha aumentado alrededor de un millón de veces, por lo que el algoritmo de retropropagación estándar viable para las redes de formación que son varias capas más profundas que antes (pero añade que esto no resuelve los problemas algorítmicos tales como [[Problema_de_desvanecimiento_de_gradiente|el problema del desvanecimiento de gradientes]] «de una manera fundamental»). El uso de la GPU en lugar de CPUs ordinarios puede traer los tiempos de formación para algunas redes por debajo de los meses a meros días. 

Potencia de cálculo sigue creciendo más o menos de acuerdo con [[Ley_de_Moore|la Ley de Moore]] , que puede proporcionar recursos suficientes para llevar a cabo nuevas tareas. [[Ingeniería_neuromórfica|Ingeniería neuromorphic]] aborda la dificultad de hardware directamente, mediante la construcción de chips de no-von Neumann con circuitos diseñados para implementar redes neuronales desde el principio. Google también ha diseñado un chip optimizado para el procesamiento de red neural llamado [[Tensor Processing Unit|Unidad de Procesamiento Tensor]] o TPU. 

'''Contraejemplos prácticas a las críticas''' 

Argumentos en contra de la posición de Dewdney son que las redes neuronales se han utilizado con éxito para resolver muchas tareas complejas y diversas, que van desde aviones que vuelan de forma autónoma para la detección de fraude de tarjetas de crédito.

Escritor de tecnología Roger Bridgman ha comentado las declaraciones de DEWDNEY sobre redes neuronales:

Las redes neuronales, por ejemplo, están en el muelle no sólo porque han sido promocionado al alto cielo, (lo que tiene, no?), sino también porque se puede crear una red de éxito sin la comprensión de cómo funcionaba: el montón de números que captura su comportamiento sería con toda probabilidad «una, mesa ilegible opaca... sin valor como recurso científico».

A pesar de su enfática declaración de que la ciencia no es la tecnología, parece Dewdney aquí para ridiculizar a las redes neuronales como mala ciencia cuando la mayoría de los ideando ellos están tratando de ser buenos ingenieros. Una tabla puede leer que una máquina útil podía leer todavía sería bien vale la pena tener. 

Si bien es cierto que el análisis de lo que se ha aprendido por una red neuronal artificial es difícil, es mucho más fácil de hacerlo que analizar lo que se ha aprendido por una red neuronal biológica. Por otra parte, los investigadores involucrados en la exploración de algoritmos de aprendizaje para redes neuronales están descubriendo gradualmente principios genéricos que permiten que una máquina de aprendizaje tenga éxito. Por ejemplo, Bengio y LeCun (2007) escribió un artículo sobre el aprendizaje locales vs. No locales, así como poco profundas frente a la arquitectura de profundidad. 

'''Enfoques híbridos''' 

Algunas otras críticas que provienen de los defensores de los modelos híbridos (combinación de redes neuronales y enfoques simbólicos), que creen que el intermix de estos dos enfoques puede capturar mejor los mecanismos de la mente humana.

'''Conclusión'''

Aunque en algunas facultades de informática se sigue instruyendo en redes neuronales artificiales, éstas no disponen de un rigor científico claro, y están consideradas como una pseudociencia por la mayoría de científicos e ingenieros.

== Las clases y tipos de RNAs ==

* Red Neural dinámico
* [[Red neuronal prealimentada|Red neuronal feedforward]] (FNN)
* [[Red neuronal recurrente]] (RNN)
* [[Hopfield (RNA)|Red de Hopfield]]
* [[Máquina de Boltzmann]]
* Redes recurrentes simples
* [[Red estatal de eco]]
* [[Memoria a largo plazo corto]]
* Bidireccional RNN
* Jerárquica RNN
* [[Red neuronal estocástica|Redes neuronales estocásticas]]
* [[Mapa autoorganizado|Mapas autoorganizados de Kohnen]]
* [[Autoencoder]]
* [[Redes neuronales probabilísticas|Red neuronal probabilística]] (PNN)
* [[Red neuronal de retardo de tiempo]] (TDNN)
* [[Red de realimentación reguladora]] (RFNN)
* Estática red neuronal
* [[Neocognitrón]]
* [[Neurona de McCulloch-Pitts]]
* [[RNA de base radial|Red de función de base radial]] (RBF)
* [[Aprendizaje de cuantificación vectorial|Aprender cuantificación vectorial]]
* [[perceptrón]]
* [[Adaline|Modelo Adaline]]
* [[Redes neuronales convolucionales|Red neuronal de convolución]] (CNN)
* [[Red neuronal modular|redes neuronales modulares]]
* [[Committee machine|Comité de las máquinas]] (COM)
* [[Memoria asociativa (RNA)|Red neuronal asociativa]] (ASNN)
* Memoria Red 
* [[Google DeepMind|Google / Google DeepMind]]
* Facebook / MemNN
* [[Memoria asociativa holográfica]]
* One-shot memoria asociativa
* [[Máquina de Turing neuronal]]
* [[ART (RNA)|Teoría de la resonancia adaptativa]]
* [[Memoria temporal jerárquica|la memoria temporal jerárquica]]
* Otros tipos de redes
* [[Instantaneously trained neural networks|Redes neuronales formadas instantáneamente]] (ITNN)
* [[Red neuronal de impulsos]] (SNN)
* Impulsión codificados Redes Neuronales (PCNN)
* En cascada redes neuronales
* Redes Neuro-Fuzzy
* Creciente [[Neural Gas|de gas neural]] (GNG)
* Redes patrón productoras de composición
* [[Red de contrapropagación]]
* [[Red neuronal oscilante]]
* Red neural híbrida
* [[Red neuronal física]]
* [[Red neuronal óptica]]
* [[Red neuronal residual]]
* [[Redes Neuronales Gráficas|Red neuronal gráfica]] (GNN)

== Ejemplos ==

=== Quake II Neuralbot ===

Un [[bot]] es un programa que simula a un jugador humano. El [[Neuralbot]] es un bot para el juego [[Quake II]] que utiliza una red neuronal artificial para decidir su comportamiento y un [[algoritmo genético]] para el aprendizaje. Es muy fácil probarlo para ver su evolución.
Más información aquí [https://web.archive.org/web/20060411060638/http://homepages.paradise.net.nz/nickamy/neuralbot/index.html]

=== Clasificador No Sesgado de Proteínas ===

Es un programa que combina diversas técnicas computacionales con el objetivo de clasificar familias de [[proteínas]]. Un posible método consiste en utilizar [[Teoría de la medida|métricas]] adaptativas como por ejemplo: [[Kohonen (RNA)|mapas autoorganizados]] y [[algoritmos genéticos]].

El problema de clasificación no sesgada basada en la expresión de las proteínas en [[aminoácidos]] puede reducirse, conceptualmente, a lo siguiente: 
* La identificación de grupos de proteínas que compartan características comunes. 
* La determinación de las razones estructurales por las cuales las proteínas en cuestión se agrupan de la manera indicada.
* Evitar la idea de establecer criterios de clasificación («sesgados») fundamentados en ideas preconcebidas para lograr su clasificación. En este sentido, hay dos asuntos que considerar:
** Cómo lograr la caracterización de las proteínas de manera no sesgada 
** Cómo lograr lo anterior sin apelar a medidas de agrupamiento que, a su vez, impliquen algún tipo de [[sesgo]] sobre dicho agrupamiento.

Las RNA han sido aplicadas a un número en aumento de problemas en la vida real y de considerable complejidad, donde su mayor ventaja es en la solución de problemas que son bastante complejos para la tecnología actual, tratándose de problemas que no tienen una solución algorítmica o cuya solución algorítmica es demasiado compleja para ser encontrada.

En general, debido a que son parecidas a las del cerebro humano, las RNA son bien nombradas ya que son buenas para resolver problemas que el humano puede resolver pero las computadoras no. Estos problemas incluyen el reconocimiento de patrones y la predicción del tiempo. De cualquier forma, el humano tiene capacidad para el reconocimiento de patrones, pero la capacidad de las redes neuronales no se ve afectada por la fatiga, condiciones de trabajo, estado emocional, y compensaciones.

Se conocen cinco aplicaciones tecnológicas extendidas:
# Reconocimiento de textos manuscritos
# Reconocimiento del habla
# Simulación de centrales de producción de energía
# Detección de explosivos
# Identificación de blancos de radares

== Galería ==

<gallery>
Archivo:Single layer ann.svg|Una sola capa de red neural artificial feedforward. Flechas procedentes de x2 se omiten para mayor claridad. Hay P entradas a esta red y salidas q. En este sistema, el valor de la salida q-ésima, y_qse calcula como y_q=K*(∑(x_i*w_iq )-b_q)
</gallery><gallery>
Archivo:Two layer ann.svg|Una red neuronal artificial feedforward de dos capas.
</gallery><gallery>
Archivo:Red neuronal de una sola capa.jpg.jpg|Una red artificial de alimentación directa de una sola capa neuronal con 4 entradas, 6 ocultos y 2 salidas. Las salidas de estado y dirección determinada posición de la rueda basan los valores de control
Archivo:Red neuronal de dos capas.jpg.jpg|Una red artificial de alimentación directa de dos capas neuronales con 8 entradas, 2x8 ocultos y 2 salidas. Estado determinada posición, dirección y otro ambiente de valores. Los valores de control basados en salidas empujador.
</gallery><gallery>
Archivo:Red neuronal con 2capas.jpg.jpg|Indefinido
Archivo:Grafo de dependencia Ann.jpg.jpg|Indefinido
</gallery>

== Herramientas de software ==

Existen muchas herramientas de software que implementan redes neuronales artificiales, tanto libres como comerciales como, por ejemplo:
{{columnas}}
* [http://grey.colorado.edu/emergent Emergent] {{Wayback|url=http://grey.colorado.edu/emergent |date=20140718180853 }}
* [http://leenissen.dk FANN]
* [[Neural Designer]]
* [http://www.alyuda.com/neural-networks-software.htm NeuroIntelligence]
{{nueva columna}}
* [[Neuroph]]
* [http://www.neurosolutions.com NeuroSolutions] {{Wayback|url=http://www.neurosolutions.com/ |date=20151004062426 }}
* [https://web.archive.org/web/20140507234631/http://www.peltarion.com/products/synapse/ Synapse]
* [[OpenNN]]
{{final columnas}}

== Véase también ==
{{Columnas}}
* [[Ablación (inteligencia artificial)]]
* [[Aprendizaje por conjuntos]]
* [[Cerebro artificial]]
* [[Confabulación (redes neuronales)]]
* [[Conformación de haces (beamforming)]]
* [[Deep Dream]]
* [[Dinámica de sistemas]]
* [[Inteligencia artificial]]
* [[Lista de proyectos de inteligencia artificial]]
{{Nueva columna}}
* [[Máquina de aprendizaje extremo]]
* [[Perceptrón multicapa]]
* [[Red neuronal de impulsos]]
* [[Redes neuronales convolucionales]]
* [[Reservoir computing]]
* [[Robótica evolutiva]]
* [[Sistema complejo]]
* [[Sistema dinámico]]
* [[U-Net]]
* [[Unidades recurrentes cerradas]]
{{Final columnas}}

== Referencias ==
{{listaref|2}}

== Enlaces externos ==
{{commons|Neural network}}
* [https://web.archive.org/web/20070629003454/http://www.gc.ssr.upm.es/inves/neural/ann2/anntutorial.html Tutorial de la Universidad Politécnica de Madrid] (español)
* [http://sabia.tic.udc.es/mgestal/cv/RNAtutorial/index.html Introducción a las redes de neuronas artificiales] (español)
* [https://web.archive.org/web/20071113143131/http://www.neurosecurity.com/articles.php Artículos sobre redes neuronales artificiales] (inglés)
* [http://electronica.com.mx/neural Sitio web sobre redes neuronales artificiales, ejemplos y aplicaciones] (español)
* [http://www.redes-neuronales.com.es/tutorial-redes-neuronales/tutorial-redes.htm Introducción a las Redes Neuronales y sus Modelos] (español)
* [https://web.archive.org/web/20110720145712/http://www.dat.etsit.upm.es/?q=node%2F5955 Sistema nervioso artificial]
* [https://web.archive.org/web/20141216214512/http://info.fisica.uson.mx/arnulfo.castellanos/archivos_html/quesonredneu.htm ¿Qué son las redes neuronales?](español)
* [https://github.com/A1essandro/neural-network neural-network] repositorio en GitHub (PHP)
* [https://pochocosta.com/podcast/como-funcionan-las-redes-neuronales/ Entiende como funcionan las redes neuronales en menos de 10 minutos] (español)
{{Control de autoridades}}
[[Categoría:Redes neuronales artificiales| ]]
[[Categoría:Algoritmos de clasificación]]
[[Categoría:Inteligencia artificial]]
[[Categoría:Psicología matemática]]