Ver el código de «Factorización no negativa de matrices»

[[Archivo:NMF.png|miniaturadeimagen|400x400px|Ilustración de una factorización no negativa matricial aproximada: la matriz <span class="texhtml">'''V'''</span> está representado por las dos matrices más pequeñas <span class="texhtml">'''W'''</span> y <span class="texhtml">'''H'''</span>, las cuales, cuándo se multiplican, aproximadamente reconstruyen V.]]

'''Factorización matricial no negativa (NMF o NNMF), también aproximación matricial no negativa,'''<ref>{{cite journal|last1=Tandon|first1=Rashish|author2=Suvrit Sra|title=Sparse nonnegative matrix approximation: new formulations and algorithms|year=2010|series=TR|url=ftp://ftp.kyb.tuebingen.mpg.de/pub/mpi-memos/pdf/nmftr.pdf}}</ref>
es un grupo de [[Algoritmo|algoritmos]] en [[análisis multivariante]] y [[álgebra lineal]] donde una [[Matriz (matemática)|matriz]] '''V''' se factoriza en (habitualmente) dos matrices '''W''' y '''H''', con la propiedad de que las tres matrices no tienen elementos negativos. Esta no negatividad hace que las matrices resultantes sean más fáciles de inspeccionar. Además, en aplicaciones tales como el procesamiento de [[espectrograma]]s de audio o actividad [[Músculo|muscular]], la no negatividad es inherente a los datos que se consideran. Dado que el problema en general no se puede resolver exactamente, comúnmente se aproxima numéricamente.

NMF encuentra aplicaciones en campos tales como [[Visión artificial|visión por computadora]], agrupación de documentos, [[quimiometría]], [[Procesado de señal|procesamiento de señal]] de audio y [[Sistema de recomendación|sistemas de recomendación]].

== Historia ==
En [[quimiometría]], la factorización matricial no negativa tiene un largo historial bajo el nombre de "resolución de curva de auto modelado". En este marco, los vectores en la matriz derecha son curvas continuas en lugar de vectores discretos. Un grupo de investigadores finlandeses realizaron a mediados de la década de 1990 un trabajo temprano sobre factorizaciones de matrices no negativas bajo el nombre de ''factorización de matriz positiva''. Se hizo más conocido como ''factorización nonegativa de matrices'' después de que Lee y Seung investigaron las propiedades del algoritmo y publicaron algunos algoritmos simples y útiles para dos tipos de factorizaciones.

== Bases ==
Sea la matriz '''V''' el producto de las matrices''' W''' y '''H''',

: <math>\mathbf {V} =\mathbf {W} \mathbf {H} \,.</math>
La multiplicación de matrices se puede implementar computando los vectores columnas de '''V''' como combinaciones lineales de los vectores columnas en '''W''' usando coeficientes proporcionados por columnas de '''H'''. Es decir, cada columna de '''V '''se puede calcular de la siguiente manera:
: <math>\mathbf {v} _{i}=\mathbf {W} \mathbf {h} _{i}\,,</math>
donde '''vi''' es el i-ésimo vector columna de la matriz producto '''V''' y '''hi''' es el i-ésimo vector columna de la matriz '''H'''.

Cuando se multiplican matrices, las dimensiones de las matrices de factores pueden ser significativamente más pequeñas que las de la matriz producto y es esta propiedad la que forma la base de NMF. NMF genera factores con dimensiones significativamente reducidas en comparación con la matriz original. Por ejemplo, si '''V''' es una matriz ''m × n'', '''W''' es una matriz ''m × p'', y''' H''' es una matriz'' p × n'', entonces ''p'' puede ser significativamente menor que ''m'' y ''n''.
.

Este es un ejemplo basado en una aplicación de minería de texto:
* Tenemos que la matriz de entrada (la matriz a factorizar) sea '''V''' con 10000 filas y 500 columnas donde las palabras están en las filas y los documentos están en las columnas. Es decir, tenemos 500 documentos indexados por 10000 palabras. Esto significa que un vector columna ''v'' en''' V '''representa un documento.
* Supongamos que pedimos al algoritmo que encuentre 10 características para generar una matriz de características '''W''' con 10000 filas y 10 columnas y una matriz de coeficientes '''H''' con 10 filas y 500 columnas.
* El producto de '''W''' y '''H''' es una matriz con 10000 filas y 500 columnas, la misma forma que la matriz de entrada '''V''' y, si la factorización funcionó, es una aproximación razonable a la matriz de entrada '''V'''.
* Del tratamiento de la multiplicación matricial anterior, se destaca que cada columna en la matriz de productos''' WH''' es una [[combinación lineal]] de los 10 vectores columnas en la matriz de características '''W''' con coeficientes suministrados por la matriz de coeficientes''' H'''.
Este último punto es la base de NMF porque podemos considerar cada documento original en nuestro ejemplo como construido a partir de un pequeño conjunto de características ocultas. NMF genera estas características.

Es útil pensar en cada característica (vector columna) en la matriz de características '''W''' como un arquetipo de documento que comprende un conjunto de palabras en el que el valor de la celda de cada palabra define el rango de la palabra en la característica: cuanto mayor sea el valor de la celda de una palabra mayor será el rango de la palabra en la característica. Una columna en la matriz de coeficientes '''H''' representa un documento original con un valor de celda que define el rango del documento para una característica. Ahora podemos reconstruir un documento (vector columna) de nuestra matriz de entrada mediante una combinación lineal de nuestras características (vectores columnas en '''W''') donde cada característica se ponderará por el valor de la celda de característica de la columna del documento en '''H'''.

== Propiedad de agrupamiento(clúster) ==
NMF tiene una propiedad inherente de agrupamiento,[11] es decir, agrupa automáticamente las columnas de datos de entrada <math>\mathbf{V} = (v_1, \cdots, v_n) </math>.Es esta propiedad la que impulsa la mayoría de las aplicaciones de NMF.

Más específicamente, la aproximación de
<math>\mathbf{V}</math> por
<math>\mathbf{V} \simeq \mathbf{W}\mathbf{H}</math> se logra minimizando la función de error
<math> \min_{W,H} || V - WH ||_F,</math> sujeto a <math>W \geq 0, H \geq 0.</math>

Además, el <math>  H </math> computado proporciona el indicador de grupo, es decir ,si <math>\mathbf{H}_{kj} > 0 </math>, el hecho de que <math> v_j </math> pertenezca al grupo <math>k^{th}</math>.
Y el computado <math>W</math> proporciona el [[centroide]] del grupo, es decir,
las columnas <math>k^{th}</math> proporcionan el centroide del grupo de <math>k^{th}</math> cluster.
Esta representación del centroide se puede mejorar significativamente con NMF convexa.

Cuando la ortogonalidad <math>  H H^T = I </math> no se impone explícitamente, la ortogonalidad se mantiene en gran medida, y la propiedad de agrupación también se mantiene. La agrupación en grupos (clúster) es el objetivo principal de la mayoría de las aplicaciones de [[minería de datos]] de NMF.

Cuando la función de error que se utilizará es la divergencia Kullback-Leibler, NMF es idéntica al análisis semántico latente probabilístico, un método popular de agrupación de documentos.<ref>C Ding, T Li, W Peng, [http://users.cis.fiu.edu/~taoli/pub/NMFpLSIequiv.pdf " On the equivalence between non-negative matrix factorization and probabilistic latent semantic indexing"] {{Wayback|url=http://users.cis.fiu.edu/~taoli/pub/NMFpLSIequiv.pdf |date=20160304070027 }} Computational Statistics & Data Analysis 52, 3913-3927</ref>

== Tipos ==

=== Aproximada factorización no negativa de matrices ===
Habitualmente, en NMF se selecciona el número de columnas de '''W''' y el número de filas de '''H''', de modo que el producto <span class="texhtml">'''W'''</span><span class="texhtml">'''H '''</span>se convertirá en una aproximación a '''V'''. La descomposición completa de <span class="texhtml">'''V'''</span> entonces equivale a las dos matrices no negativas '''W''' y '''H''', así como a una matriz '''U''' residual, tal que: '''V''' =''' WH '''+''' U'''. Los elementos de la matriz residual pueden ser negativos o positivos.

Cuando '''W''' y '''H''' son más pequeños que '''V''', se vuelven más fáciles de almacenar y manipular. Otra razón para factorizar '''V''' en matrices más pequeñas '''W''' y '''H''' es que si se pueden representar aproximadamente los elementos de '''V''' con datos significativamente menores, entonces se debe inferir alguna estructura latente en los datos.

=== Factorización convexa no negativa de matrices ===
En la NMF estándar, la matriz factor {{math|'''W''' ∈ ℝ<sub>+</sub><sup>''m'' × ''k''</sup>}}, es decir, {{math|'''W'''}} puede ser cualquier cosa en ese espacio. La NMF convexa<ref name="ding">C Ding, T Li, MI Jordan, Convex and semi-nonnegative matrix factorizations, IEEE Transactions on Pattern Analysis and Machine Intelligence, 32, 45-55, 2010</ref> restringe las columnas de {{math|'''W'''}} a [[Combinación convexa|combinaciones convexas]] de los vectores de datos de entrada <math> (v_1, \cdots, v_n) </math>. Esto mejora en muy alto grado la calidad de la representación de {{math|'''W'''}}. Es más, la matriz factor {{math|'''H'''}} resultante es más [[Matriz dispersa|dispersa]] y [[Matriz ortogonal|ortogonal]].

=== Factorización de rango no negativa ===
En caso de que el rango no negativo de '''V '''sea igual a su rango real, '''V '''= '''WH''' se denomina factorización de rango no negativo.<ref name="BermanPlemmons74">{{cite journal|last=Berman|first=A.|author2=R.J. Plemmons|title=Inverses of nonnegative matrices|journal=Linear and Multilinear Algebra|year=1974|volume=2|issue=2|pages=161–172|doi=10.1080/03081087408817055}}</ref><ref name="BermanPlemmons94">{{cite book|author1=A. Berman|author2=R.J. Plemmons|title=Nonnegative matrices in the Mathematical Sciences|year=1994|publisher=SIAM|location=Philadelphia}}</ref><ref name="Thomas74">{{cite journal|last=Thomas|first=L.B.|title=Problem 73-14, Rank factorization of nonnegative matrices|journal=SIAM rev.|year=1974|volume=16|issue=3|pages=393–394|doi=10.1137/1016064}}</ref> El problema de encontrar la NRF de '''V''', si existe, se sabe que es NP-duro.<ref name="Vavasis09">{{cite journal|last=Vavasis|first=S.A.|title=On the complexity of nonnegative matrix factorization|journal=SIAM J. Optim.|year=2009|volume=20|issue=3|pages=1364–1377|doi=10.1137/070709967}}</ref>

=== Diferentes funciones de costo y regularizaciones ===
Existen diferentes tipos de factorizaciones no negativas de matrices. Los diferentes tipos surgen del uso de diferentes funciones de costo para medir la divergencia entre '''V''' y '''WH''' y posiblemente mediante la regularización de las matrices '''W''' y/o '''H'''.<ref name="dhillon">{{Cite conference|author=Inderjit S. Dhillon|author-link=Inderjit S. Dhillon|author2=Suvrit Sra|author2-link=Suvrit Sra|url=http://books.nips.cc/papers/files/nips18/NIPS2005_0203.pdf|format=PDF|title=Generalized Nonnegative Matrix Approximations with Bregman Divergences|conference=[[Conference on Neural Information Processing Systems|NIPS]]|year=2005|fechaacceso=6 de noviembre de 2017|fechaarchivo=7 de agosto de 2011|urlarchivo=https://web.archive.org/web/20110807201748/http://books.nips.cc/papers/files/nips18/NIPS2005_0203.pdf|deadurl=yes}}</ref>

Dos simples funciones de divergencia estudiadas por Lee y Seung son el error cuadrado (o norma [[Frobenius]]) y una extensión de la divergencia Kullback-Leibler a matrices positivas (la divergencia Kullback-Leibler original se define en las distribuciones de probabilidad). Cada divergencia conduce a un algoritmo de NMF diferente, por lo general minimizando la divergencia usando reglas de actualización iterativa.

El problema de factorización en la versión de error cuadrado de NMF puede establecerse como: Dado una matriz '''V''', encuentre matrices no negativas '''W''' y '''H''' que minimicen la función

:

Otro tipo de NMF para las imágenes se basa en la norma de variación total.<ref>{{Cite journal|last1=Zhang|first1=T.|last2=Fang|first2=B.|last3=Liu|first3=W.|last4=Tang|first4=Y. Y.|last5=He|first5=G.|last6=Wen|first6=J.|doi=10.1016/j.neucom.2008.01.022|title=Total variation norm-based nonnegative matrix factorization for identifying discriminant representation of image patterns|journal=[[Neurocomputing (journal)|Neurocomputing]]|volume=71|issue=10–12|pages=1824–1831|year=2008|pmid=|pmc=}}</ref>

Cuando se agrega L1 regularización (similar a [[LASSO (estadística)|Lasso]]) a NMF con la función de costo de error cuadrático medio, el problema resultante se puede llamar codificación dispersa no negativa debido a la similitud con el problema de codificación dispersa,<ref name="hoyer02">{{cite conference|last=Hoyer|first=Patrik O.|title=Non-negative sparse coding|conference=Proc. IEEE Workshop on Neural Networks for Signal Processing|year=2002|url=http://arxiv.org/pdf/cs/0202009}}</ref><ref name="Leo Taslaman and Björn Nilsson 2012 e46331">{{Cite journal|author1=Leo Taslaman|author2=Björn Nilsson|lastauthoramp=yes|title=A framework for regularized non-negative matrix factorization, with application to the analysis of gene expression data|journal=[[PLoS One]]|volume=7|issue=11|year=2012|pages=e46331|doi=10.1371/journal.pone.0046331|pmid=23133590|pmc=3487913|bibcode=2012PLoSO...746331T}}</ref> aunque también se conoce como NMF.<ref>{{Cite conference|last1=Hsieh|first1=C. J.|last2=Dhillon|first2=I. S.|doi=10.1145/2020408.2020577|title=Fast coordinate descent methods with variable selection for non-negative matrix factorization|conference=Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining - KDD '11|pages=1064|year=2011|isbn=9781450308137|pmid=|pmc=|url=http://www.cs.utexas.edu/~cjhsieh/nmf_kdd11.pdf}}</ref>

=== NMF en línea ===
Muchos algoritmos de NMF estándar analizan todos los datos juntos; es decir, toda la matriz está disponible desde el principio. Esto puede ser insatisfactorio en aplicaciones en las que hay demasiados datos para caber en la memoria o donde los datos se proporcionan de forma continua. Uno de estos usos es el [[filtrado colaborativo]] en los sistemas de recomendación, donde puede haber muchos usuarios y muchos artículos para recomendar, y sería ineficiente volver a calcular todo cuando se agrega al sistema un usuario o un elemento. La función de costo para la optimización en estos casos puede o no ser la misma que para el NMF estándar, pero los algoritmos necesitan ser bastante diferentes.<ref>http://www.ijcai.org/papers07/Papers/IJCAI07-432.pdf</ref><ref>http://portal.acm.org/citation.cfm?id=1339264.1339709</ref><ref>{{Cite journal|author=Naiyang Guan|author2=Dacheng Tao|author3=Zhigang Luo|author4=Bo Yuan|date=July 2012|title=Online Nonnegative Matrix Factorization With Robust Stochastic Approximation|url=|journal=IEEE Transactions on Neural Networks and Learning Systems|issue=7|doi=10.1109/TNNLS.2012.2197827|pmid=24807135|volume=23|pages=1087–1099}}</ref>

== Algoritmos ==
Hay varias formas en que se puede encontrar {{math|'''W'''}} y {{math|'''H'''}}: la regla de actualización multiplicativa de Lee y Seung ha sido un método popular debido a la simplicidad de implementación. Este algoritmo es:
: Inicializa: <{{math|'''W'''}} and {{math|'''H'''}} no negativo.
: Luego actualizar los valores en {{math|'''W'''}} y {{math|'''H'''}} computando alternativamente:
:<math> H_{[i,j]} \leftarrow H_{[i,j]} \frac{(W^TV)_{[i,j]}}{(W^TWH)_{[i,j]}}</math>
:and
:<math> W_{[i,j]} \leftarrow W_{[i,j]} \frac{(VH^T)_{[i,j]}}{(WHH^T)_{[i,j]}}</math>
Hasta que {{math|'''W'''}} y {{math|'''H'''}} sean estables.
Tenga en cuenta que las actualizaciones se realizan de elemento en elemento, no de una multiplicación matricial.

Observamos que el factor multiplicativo '''W''' y '''H''' es la [[matriz identidad]] cuando '''V''' = '''W H'''.

Desde entonces, se han desarrollado algunos otros enfoques algorítmicos. Algunos algoritmos exitosos se basan en alternar [[mínimos cuadrados]] no negativos : en cada paso de dicho algoritmo, primero '''H''' se fija y '''W''' se encuentra mediante un solucionador de mínimos cuadrados no negativo, entonces '''W''' se fija y '''H''' se encuentra de manera análoga. Los procedimientos utilizados para resolver '''W''' y '''H''' pueden ser los mismos o diferentes, ya que algunas variantes de NMF regularizan una de las dos matrices '''W''' y '''H'''. Los enfoques específicos incluyen los métodos de descenso de gradiente proyectados,<ref name="lin07">{{Cite journal|last1=Lin|first1=Chih-Jen|title=Projected Gradient Methods for Nonnegative Matrix Factorization|doi=10.1162/neco.2007.19.10.2756|journal=[[Neural Computation (journal)|Neural Computation]]|volume=19|issue=10|pages=2756–2779|year=2007|pmid=17716011|pmc=|url=http://www.csie.ntu.edu.tw/~cjlin/papers/pgradnmf.pdf}}</ref><ref>{{Cite journal|last1=Lin|first1=Chih-Jen|doi=10.1109/TNN.2007.895831|title=On the Convergence of Multiplicative Update Algorithms for Nonnegative Matrix Factorization|journal=IEEE Transactions on Neural Networks|volume=18|issue=6|pages=1589–1596|year=2007|pmid=|pmc=}}</ref> el método de conjunto activo,<ref name="kim2008nonnegative">{{Cite journal|author=Hyunsoo Kim|author2=Haesun Park|author2-link=Haesun Park|title=Nonnegative Matrix Factorization Based on Alternating Nonnegativity Constrained Least Squares and Active Set Method|journal=[[SIAM Journal on Matrix Analysis and Applications]]|volume=30|issue=2|year=2008|pages=713–730|url=http://www.cc.gatech.edu/~hpark/papers/simax-nmf.pdf|doi=10.1137/07069239x}}</ref> el método de gradiente óptimo,<ref>{{Cite journal|author=Naiyang Guan|author2=Dacheng Tao|author3=Zhigang Luo, Bo Yuan|date=June 2012|title=NeNMF: An Optimal Gradient Method for Nonnegative Matrix Factorization|url=|journal=IEEE Transactions on Signal Processing|issue=6|doi=10.1109/TSP.2012.2190406|pmid=|volume=60|pages=2882–2898}}</ref> y el método de pivote principal del bloque<ref name="kim2011fast">{{enlace roto|1={{Cite journal|author1=Jingu Kim|author2=Haesun Park|lastauthoramp=yes|title=Fast Nonnegative Matrix Factorization: An Active-set-like Method and Comparisons|journal=[[SIAM Journal on Scientific Computing]]|volume=58|issue=6|year=2011|pages=3261–3281|url=http://www.cc.gatech.edu/~jingu/docs/2011_paper_sisc_nmf.pdf|doi=10.1137/110821172}} |2=http://www.cc.gatech.edu/~jingu/docs/2011_paper_sisc_nmf.pdf |bot=InternetArchiveBot }}</ref> entre varios otros.<ref name="kim2013unified">{{Cite journal|author1=Jingu Kim|author2=Yunlong He|author3=Haesun Park|lastauthoramp=yes|title=Algorithms for nonnegative matrix and tensor factorizations: A unified view based on block coordinate descent framework|journal=[[Journal of Global Optimization]]|volume=33|issue=2|year=2013|pages=285–319|url=https://smallk.github.io/papers/nmf_review_jgo.pdf|doi=10.1007/s10898-013-0035-4}}</ref>

Los algoritmos actualmente disponibles son subóptimos ya que solo pueden garantizar la búsqueda de un mínimo local, en lugar de un mínimo global de la función de costo. Un algoritmo probablemente óptimo es improbable en el futuro cercano ya que se ha demostrado que el problema generaliza el problema de la agrupación k-means que se conoce como [[NP-completo]].<ref>{{Cite journal|title=On the equivalence of nonnegative matrix factorization and spectral clustering|author=Ding, C.|author2=He, X.|author3=Simon, H.D.|journal=Proc. SIAM Data Mining Conf|volume=4|pages=606–610|year=2005|doi=10.1137/1.9781611972757.70|isbn=978-0-89871-593-4}}</ref> Sin embargo, como en muchas otras aplicaciones de minería de datos, un mínimo local aún puede resultar útil.

=== Exacto NMF ===
Se pueden esperar soluciones exactas para las variantes de NMF (en tiempo polinomial) cuando existen restricciones adicionales para la matriz '''V'''. Un algoritmo de tiempo polinomial para resolver factorización de rango no negativo si''' V''' contiene una sub-matriz monomérica de rango igual a su rango fue dada por Campbell y Poole en 1981.<ref name="CampbellPoole81">{{cite journal|last=Campbell|first=S.L.|author2=G.D. Poole|title=Computing nonnegative rank factorizations.|journal=Linear Algebra Appl.|year=1981|volume=35|pages=175–182|doi=10.1016/0024-3795(81)90272-x}}</ref> Kalofolias y Gallopoulos (2012)<ref name="KalofoliasGallopoulos2012">{{cite journal|last=Kalofolias|first=V.|author2=Gallopoulos, E.|title=Computing symmetric nonnegative rank factorizations|journal=Linear Algebra Appl|year=2012|volume=436|issue=2|pages=421–435|url=http://www.sciencedirect.com/science/article/pii/S0024379511002199#|doi=10.1016/j.laa.2011.03.016}}</ref> resolvieron la contraparte simétrica de este problema, donde '''V''' es simétrico y contiene una sub-matriz de diagonal principal de rango r. Su algoritmo se ejecuta en tiempo O (rm ^ 2) en el caso denso. Arora, Ge, Halpern, Mimno, Moitra, Sontag, Wu y Zhu (2013) dan un algoritmo de tiempo polinomial para NMF exacta que funciona para el caso donde uno de los factores '''W''' satisface la condición de separabilidad.<ref name="Arora2013">{{Cite conference|last1=Arora|first1=Sanjeev|last2=Ge|first2=Rong|last3=Halpern|first3=Yoni|last4=Mimno|first4=David|last5=Moitra|first5=Ankur|last6=Sontag|first6=David|last7=Wu|first7=Yichen|last8=Zhu|first8=Michael|title=A practical algorithm for topic modeling with provable guarantees|url=http://jmlr.csail.mit.edu/proceedings/papers/v28/arora13.html|arxiv=1212.4777|conference=Proceedings of the 30th International Conference on Machine Learning|year=2013}}</ref>

== Relación con otras técnicas ==
En ''Learning the parts of objects'' para factorización no negativa de matrices, Lee y Seung<ref>{{Cite journal|author=Lee, Daniel D and Seung, H Sebastian|title=Learning the parts of objects by non-negative matrix factorization|journal=[[Nature (journal)|Nature]]|volume=401|issue=|year=1999|doi=10.1038/44565|url=http://www.columbia.edu/~jwp2128/Teaching/E4903/papers/nmf_nature.pdf|pages=788–791|fechaacceso=6 de noviembre de 2017|fechaarchivo=18 de septiembre de 2017|urlarchivo=https://web.archive.org/web/20170918104916/http://www.columbia.edu/~jwp2128/Teaching/E4903/papers/nmf_nature.pdf|deadurl=yes}}</ref> propusieron NMF principalmente para la descomposición de imágenes basada en partes. Esto compara la NMF con la cuantificación vectorial y el [[análisis de componentes principales]], y muestra que aunque las tres técnicas pueden escribirse como factorizaciones, implementan diferentes restricciones y, por lo tanto, producen resultados diferentes.
[[Archivo:Restricted_Boltzmann_machine.svg|miniaturadeimagen|NMF como modelo gráfico probabilístico: las unidades visibles (V) se conectan a unidades ocultas (H) a través de los pesos W, de modo que V se genera a partir de una distribución de probabilidad con media.<sup style="white-space:nowrap;" class="reference">:5</sup>]]
Más tarde se demostró que algunos tipos de NMF son una instancia de un modelo probabilístico más general llamado "PCA multinomial".<ref>{{Cite conference|author=Wray Buntine|url=http://cosco.hiit.fi/Articles/ecml02.pdf|format=PDF|title=Variational Extensions to EM and Multinomial PCA|conference=Proc. European Conference on Machine Learning (ECML-02)|series=LNAI|volume=2430|pages=23–34|year=2002}}</ref> Cuando se obtiene NMF minimizando la divergencia Kullback-Leibler, es de hecho equivalente a otra instancia de PCA multinomial, análisis semántico latente probabilístico,<ref>{{Cite conference|author1=Eric Gaussier|author2=Cyril Goutte|lastauthoramp=yes|year=2005|url=http://eprints.pascal-network.org/archive/00000971/01/39-gaussier.pdf|format=PDF|title=Relation between PLSA and NMF and Implications|conference=Proc. 28th international ACM SIGIR conference on Research and development in information retrieval (SIGIR-05)|pages=601–602|archiveurl=https://web.archive.org/web/20070928032454/http://eprints.pascal-network.org/archive/00000971/01/39-gaussier.pdf|archivedate=28 de septiembre de 2007}}</ref>
entrenado por estimación de [[máxima verosimilitud]]. Ese método se usa comúnmente para analizar y agrupar datos textuales y también está relacionado con el modelo de clase latente.

NMF con el objetivo de mínimos cuadrados es equivalente a una forma relajada de K-means clustering: la matriz factor '''W''' contiene los centroides del grupo y '''H''' contiene los indicadores de pertenencia al grupo.<ref name="DingSDM2005">C. Ding, X. He, H.D. Simon (2005). [http://ranger.uta.edu/~chqding/papers/NMF-SDM2005.pdf "On the Equivalence of Nonnegative Matrix Factorization and Spectral Clustering"]. Proc. SIAM Int'l Conf. Data Mining, pp. 606-610. May 2005</ref><ref>Ron Zass and [//en.wikipedia.org/wiki/Amnon_Shashua Amnon Shashua] (2005). "[http://www.cs.huji.ac.il/~zass/papers/cp-iccv05.pdf A Unifying Approach to Hard and Probabilistic Clustering]". International Conference on Computer Vision (ICCV) Beijing, China, Oct., 2005.</ref> Esto proporciona una base teórica para usar NMF para la agrupación de datos. Sin embargo, k-means no impone la no negatividad en sus centroides, por lo que la analogía más cercana es en realidad con "semi-NMF".

La NMF puede verse como un modelo gráfico dirigido de dos capas con una capa de variables aleatorias observadas y una capa de variables aleatorias ocultas.<ref>{{cite conference|author=Max Welling|title=Exponential Family Harmoniums with an Application to Information Retrieval|conference=NIPS|url=http://papers.nips.cc/paper/2672-exponential-family-harmoniums-with-an-application-to-information-retrieval|year=2004|pages=|display-authors=etal}}</ref>

NMF se extiende más allá de las matrices a tensores de orden arbitrario.<ref>{{Cite journal|author=Pentti Paatero|author-link=Pentti Paatero|title=The Multilinear Engine: A Table-Driven, Least Squares Program for Solving Multilinear Problems, including the n-Way Parallel Factor Analysis Model|journal=[[Journal of Computational and Graphical Statistics]]|volume=8|issue=4|pages=854–888|year=1999|doi=10.2307/1390831|jstor=1390831}}</ref><ref>{{Cite journal|author1=Max Welling|author2=Markus Weber|lastauthoramp=yes|year=2001|title=Positive Tensor Factorization|journal=[[Pattern Recognition Letters]]|volume=22|issue=12|pages=1255–1261|doi=10.1016/S0167-8655(01)00070-8}}</ref><ref>{{Cite conference|author1=Jingu Kim|author2=Haesun Park|lastauthoramp=yes|title=Fast Nonnegative Tensor Factorization with an Active-set-like Method|publisher=Springer|pages=311–326|url=http://www.cc.gatech.edu/~hpark/papers/2011_paper_hpscbook_ntf.pdf|year=2012|conference=High-Performance Scientific Computing: Algorithms and Applications}}
</ref> Esta extensión puede verse como una contraparte no negativa para, por ejemplo, el modelo PARAFAC

Otras extensiones de NMF incluyen factorización conjunta de varias matrices de datos y tensores donde se comparten algunos factores. Dichos modelos son útiles para la fusión del sensor y el aprendizaje relacional.<ref>{{Cite conference|author=Kenan Yilmaz|author2=A. Taylan Cemgil|author3=Umut Simsekli|title=Generalized Coupled Tensor Factorization|url=http://books.nips.cc/papers/files/nips24/NIPS2011_1189.pdf|conference=NIPS|year=2011|fechaacceso=6 de noviembre de 2017|fechaarchivo=6 de marzo de 2012|urlarchivo=https://web.archive.org/web/20120306014853/http://books.nips.cc/papers/files/nips24/NIPS2011_1189.pdf|deadurl=yes}}</ref>

NMF es una instancia de programación cuadrática no negativa (NQP), al igual que la máquina de vectores de soporte (SVM). Sin embargo, SVM y NMF están relacionados a un nivel más íntimo que el de NQP, lo que permite la aplicación directa de los algoritmos de solución desarrollados para cualquiera de los dos métodos a problemas en ambos dominios.<ref>{{Cite conference|author=Vamsi K. Potluru|author2=Sergey M. Plis|author3=Morten Morup|author4=Vince D. Calhoun|author5=Terran Lane|title=Efficient Multiplicative updates for Support Vector Machines|year=2009|conference=Proceedings of the 2009 SIAM Conference on Data Mining (SDM)|pages=1218–1229}}</ref>

== Unicidad ==
La factorización no es única: una matriz y su inversa pueden usarse para transformar las dos matrices de factorización por, por ejemplo,<ref>{{Cite conference|author=Wei Xu|author2=Xin Liu|author3=Yihong Gong|title=Document clustering based on non-negative matrix factorization|publisher=[[Association for Computing Machinery]]|location=New York|year=2003|conference=Proceedings of the 26th annual international ACM SIGIR conference on Research and development in information retrieval|pages=267–273|url=http://portal.acm.org/citation.cfm?id=860485}}</ref>
:

Si las dos matrices nuevas

La no negatividad de

Se obtiene un mayor control sobre la no singularidad de NMF con restricciones de esparcidad.<ref>Julian Eggert, Edgar Körner, "[[doi:10.1109/IJCNN.2004.1381036|Sparse coding and NMF]]", ''Proceedings. 2004 IEEE International Joint Conference on Neural Networks, 2004, pp. 2529-2533, 2004.''</ref>

== Aplicaciones ==

=== Extracción de textos ===
NMF se puede usar para aplicaciones de minería de texto. En este proceso, se construye una matriz de términos de documentos con los pesos de varios términos (típicamente información de frecuencia de palabras ponderadas) de un conjunto de documentos. Esta matriz se factoriza en una ''función de término'' y una ''matriz de documento de características''. Las características se derivan del contenido de los documentos, y la matriz del documento de características describe grupos de datos de documentos relacionados.

Una aplicación específica utilizó NMF jerárquica en un pequeño subconjunto de resúmenes científicos de [[PubMed]].<ref>{{Cita publicación|título=Mining the posterior cingulate: segregation between memory and pain components|apellidos=Nielsen|nombre=Finn Årup|apellidos2=Balslev|nombre2=Daniela|publicación=[[NeuroImage]]|volumen=27|número=3|páginas=520–522|doi=10.1016/j.neuroimage.2005.04.034|pmid=15946864|apellidos3=Hansen|nombre3=Lars Kai|año=2005}}</ref>
Otro grupo de investigación agrupó partes del conjunto de datos de correo electrónico de Enron<ref>{{Cita web|url=http://www.cs.cmu.edu/~enron/|título=Enron Email Dataset|fechaacceso=26 de agosto de 2008|apellido=Cohen|nombre=William|fecha=4 de abril de 2005}}</ref> con 65,033 mensajes y 91,133 términos en 50 grupos.<ref>{{Cita publicación|título=Email Surveillance Using Non-negative Matrix Factorization|apellidos=Berry|nombre=Michael W.|apellidos2=Browne|nombre2=Murray|publicación=[[Computational and Mathematical Organization Theory]]|volumen=11|número=3|páginas=249–264|doi=10.1007/s10588-005-5380-5|año=2005}}</ref>
NMF también se ha aplicado a los datos de citas, con un ejemplo agrupando los artículos de [[Wikipedia en inglés]] y las revistas científicas basadas en las citas científicas salientes en Wikipedia en inglés.<ref>{{Cita conferencia|título=Clustering of scientific citations in Wikipedia|url=http://www2.imm.dtu.dk/pubdb/edoc/imm5666.pdf|autor1=Finn ̊Arup Nielsen|conferencia=Wikimania 2008|editorial=Technical University of Denmark|año=2008|idioma=inglés|formato=PDF}}</ref>

Arora, Ge, Halpern, Mimno, Moitra, Sontag, Wu y Zhu (2013) han dado algoritmos de tiempo polinomial para aprender modelos de temas utilizando NMF. El algoritmo asume que la matriz del tema satisface una condición de separabilidad que a menudo se encuentra en esta configuración.

=== Análisis de datos espectrales ===
NMF también se usa para analizar datos espectrales; uno de esos usos está en la clasificación de los objetos dispersos y los desechos.<ref name="BerryM2006Algorithm">{{Cita publicación|título=Algorithms and Applications for Approximate Nonnegative Matrix Factorization|apellidos=Michael W. Berry|año=2006|número-autores=etal}}</ref>

=== Predicción de distancia escalable de Internet ===
NMF se aplica en la predicción de distancia escalable de Internet (tiempo de ida y vuelta). Para una red con hosts . Este tipo de método se introdujo en primer lugar en el Servicio de Estimación de Distancia de Internet (IDES).<ref name="IDES_Mao06">{{Cita publicación|título=IDES: An Internet Distance Estimation Service for Large Networks|apellidos2=Lawrence Saul|publicación=[[IEEE Journal on Selected Areas in Communications]]|volumen=24|número=12|páginas=2273–2284|doi=10.1109/JSAC.2006.884026|apellidos3=Jonathan M. Smith|año=2006}}</ref> Posteriormente, como un enfoque totalmente descentralizado, se propone el sistema de coordenadas de la red Phoenix.<ref name="Phoenix_Chen11">{{Cita publicación|url=http://www.cs.duke.edu/~ychen/Phoenix_TNSM.pdf|título=Phoenix: A Weight-based Network Coordinate System Using Matrix Factorization|apellidos=Yang Chen|apellidos2=Xiao Wang|publicación=[[IEEE Transactions on Network and Service Management]]|volumen=8|número=4|páginas=334–347|formato=PDF|doi=10.1109/tnsm.2011.110911.100079|apellidos3=Cong Shi|año=2011|número-autores=etal|urlarchivo=https://web.archive.org/web/20111114191220/http://www.cs.duke.edu/~ychen/Phoenix_TNSM.pdf|fechaarchivo=14 de noviembre de 2011}}</ref> Este alcanza una mejor precisión de predicción global introduciendo el concepto de peso.

=== Eliminación de ruido del habla no estacionaria ===
El ruido de voz ha sido un problema de larga duración en el procesamiento de la [[señal de audio]]. Hay muchos algoritmos para eliminar ruido si el ruido es estacionario. Por ejemplo, el filtro Wiener es adecuado para el ruido Gaussiano aditivo. Sin embargo, si el ruido no es estacionario, los algoritmos de eliminación de ruido clásicos generalmente tienen un rendimiento bajo porque la información estadística del ruido no estacionario es difícil de estimar. Schmidt y col.<ref>Schmidt, M.N., J. Larsen, and F.T. Hsiao. (2007). "Wind noise reduction using non-negative sparse coding", ''Machine Learning for Signal Processing, IEEE Workshop on'', 431–436</ref> usan NMF para hacer ruido de voz bajo ruido no estacionario, que es completamente diferente de los enfoques estadísticos clásicos. La idea clave es que la señal de voz limpia puede estar escasamente representada por un diccionario de voz, pero el ruido no estacionario no puede. De manera similar, el ruido no estacionario también puede estar escasamente representado por un diccionario de ruido, pero el habla no puede.

El algoritmo para la eliminación de NMF es el siguiente. Dos diccionarios, uno para discurso y uno para ruido, deben ser entrenados sin conexión. Una vez que se da un discurso ruidoso, primero calculamos la magnitud de la [[Transformada de Fourier]] de Corto Tiempo. En segundo lugar, sepárelo en dos partes a través de NMF, uno puede ser escasamente representado por el diccionario de voz, y la otra parte puede ser escasamente representado por el diccionario de ruido. Tercero, la parte que está representada por el diccionario de habla será el discurso limpio estimado.

=== Bioinformática ===
La NMF se aplicó con éxito en [[bioinformática]] para agrupar la [[expresión génica]] y los datos de [[metilación del ADN]] y encontrar los genes más representativos de los grupos.<ref>{{Cita publicación|título=Nonnegative Matrix Factorization: An Analytical and Interpretive Tool in Computational Biology|apellidos=Devarajan, K.|publicación=[[PLoS Computational Biology]]|volumen=4|número=7|páginas=e1000029|doi=10.1371/journal.pcbi.1000029|año=2008}}</ref><ref name="kim2007sparse">{{Cita publicación|url=http://bioinformatics.oxfordjournals.org/cgi/content/abstract/23/12/1495|título=Sparse non-negative matrix factorizations via alternating non-negativity-constrained least squares for microarray data analysis|apellidos2=Haesun Park|publicación=[[Bioinformatics (journal)|Bioinformatics]]|volumen=23|número=12|páginas=1495–1502|doi=10.1093/bioinformatics/btm134|pmid=17483501|año=2007}}</ref><ref>{{Cita publicación|título=DNA methylation profiling of medulloblastoma allows robust sub-classification and improved outcome prediction using formalin-fixed biopsies|apellidos=Schwalbe, E.|publicación=[[Acta Neuropathologica]]|volumen=125|número=3|páginas=359–371|doi=10.1007/s00401-012-1077-2|pmc=4313078|pmid=23291781|año=2013}}</ref> En el análisis de las mutaciones del [[cáncer]] se ha utilizado para identificar patrones comunes de mutaciones que ocurren en muchos tipos de cáncer y que probablemente tengan causas distintas.<ref>{{Cita publicación|título=Deciphering signatures of mutational processes operative in human cancer|apellidos2=Nik-Zainal|nombre2=Serena|fecha=31 de enero de 2013|publicación=Cell Reports|volumen=3|número=1|páginas=246–259|issn=2211-1247|doi=10.1016/j.celrep.2012.12.008|pmc=3588146|pmid=23318258|apellidos3=Wedge|nombre3=David C.|apellidos4=Campbell|nombre4=Peter J.|apellidos5=Stratton|nombre5=Michael R.}}</ref>

=== Imágenes nucleares ===
La NMF, también referida en este campo como análisis factorial, se ha utilizado desde los años 80<ref>{{Cita publicación|título=Handling of dynamic sequences in nuclear medicine|apellidos2=Bazin|publicación=[[IEEE Trans Nucl Sci]]|volumen=NS-29|número=4|páginas=1310–21|bibcode=1982ITNS...29.1310D|doi=10.1109/tns.1982.4332188|apellidos3=Aubry|apellidos4=Aurengo|apellidos5=Cavailloles|apellidos6=Herry|apellidos7=Kahn|año=1982}}</ref> para analizar secuencias de imágenes en imágenes médicas dinámicas [[Tomografía computarizada de emisión monofotónica|SPECT]] y [[PET]]. La no-singularidad de NMF fue abordada usando limitaciones de dispersidad.<ref>{{Cita publicación|título=Correction for ambiguous solutions in factor analysis using a penalized least squares objective|apellidos=Sitek|apellidos2=Gullberg|publicación=[[IEEE Trans Med Imaging]]|volumen=21|número=3|páginas=216–25|doi=10.1109/42.996340|apellidos3=Huesman|año=2002}}</ref>

== Búsqueda actual ==
La investigación actual (desde 2010) en factorización no negativa de matrices incluye, pero no se limita a,
# Algorítmico: búsqueda de mínimos globales de los factores y la inicialización de factores.<ref>{{Cita publicación|título=SVD based initialization: A head start for nonnegative matrix factorization|apellidos2=E. Gallopoulos|publicación=Pattern Recognition|volumen=41|número=4|páginas=1350–1362|doi=10.1016/j.patcog.2007.09.010|año=2008}}</ref>
# [[Escalabilidad]]: cómo factorizar las matrices de millones de mil millones, que son comunes en la minería de datos a escala Web, por ejemplo, ver Factorización de matriz no negativa distribuida (DNMF)<ref>{{Cita publicación|url=http://research.microsoft.com/pubs/119077/DNMF.pdf|título=Distributed Nonnegative Matrix Factorization for Web-Scale Dyadic Data Analysis on MapReduce|apellidos2=Hung-chih Yang|publicación=Proceedings of the 19th International World Wide Web Conference|apellidos3=Jinliang Fan|apellidos4=Li-Wei He|apellidos5=Yi-Min Wang|año=2010}}</ref> y Factorización no negativa de matrices escalables (ScalableNMF)<ref>{{Cita publicación|url=http://rio.ecs.umass.edu/mnilpub/papers/ecmlpkdd2014-yin.pdf|título=Scalable Nonnegative Matrix Factorization with Block-wise Updates|apellidos=Jiangtao Yin|apellidos2=Lixin Gao|publicación=Proceedings of the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases|apellidos3=Zhongfei (Mark) Zhang|año=2014}}</ref>
# En línea: cómo actualizar la factorización cuando entran nuevos datos sin recompilar desde cero, por ejemplo, consulte CNSC en línea<ref>{{Cita publicación|url=http://cslt.riit.tsinghua.edu.cn:8081/homepages/wangd/public/pdf/cnsc-tsp.pdf|título=Online Non-Negative Convolutive Pattern Learning for Speech Signals|apellidos2=Ravichander Vipperla|publicación=IEEE Transactions on Signal Processing|volumen=61|páginas=44–56|doi=10.1109/tsp.2012.2222381|apellidos3=Nick Evans|apellidos4=Thomas Fang Zheng|año=2013|urlarchivo=https://web.archive.org/web/20150419072552/http://cslt.riit.tsinghua.edu.cn:8081/homepages/wangd/public/pdf/cnsc-tsp.pdf|fechaarchivo=19 de abril de 2015}}</ref>
# Facturación colectiva (conjunta): factorización de múltiples matrices interrelacionadas para el aprendizaje de múltiples vistas, ejemplo mutli-view clustering, ver CoNMF<ref>{{Cita publicación|url=http://www.comp.nus.edu.sg/~xiangnan/files/www2014-he.pdf|título=Comment-based Multi-View Clustering of Web 2.0 Items|apellidos=Xiangnan He|apellidos2=Min-Yen Kan|publicación=Proceedings of the 23rd International World Wide Web Conference|apellidos3=Peichu Xie|apellidos4=Xiao Chen|año=2014|urlarchivo=https://web.archive.org/web/20150402103346/http://www.comp.nus.edu.sg/~xiangnan/files/www2014-he.pdf|fechaarchivo=2 de abril de 2015}}</ref> y MultiNMF<ref>{{Cita publicación|url=http://jialu.cs.illinois.edu/paper/sdm2013-liu.pdf|título=Multi-View Clustering via Joint Nonnegative Matrix Factorization|apellidos=Jialu Liu|apellidos2=Chi Wang|publicación=Proceedings of SIAM Data Mining Conference|páginas=252–260|doi=10.1137/1.9781611972832.28|isbn=978-1-61197-262-7|apellidos3=Jing Gao|apellidos4=Jiawei Han|año=2013|fechaacceso=6 de noviembre de 2017|fechaarchivo=4 de marzo de 2016|urlarchivo=https://web.archive.org/web/20160304203803/http://jialu.cs.illinois.edu/paper/sdm2013-liu.pdf|deadurl=yes}}</ref>
# Problema de Cohen y Rothblum 1993: si una matriz racional siempre tiene una NMF de dimensión interna mínima cuyos factores también son racionales. Recientemente, este problema ha sido respondido negativamente.<ref>{{Cita arXiv|last=Chistikov|last2=Kiefer|last3=Marušić|last4=Shirmohammadi|last5=Worrell|first=Dmitry|first2=Stefan|first3=Ines|first4=Mahsa|first5=James|date=22 de mayo de 2016|title=Nonnegative Matrix Factorization Requires Irrationality|eprint=1605.06848|arxiv=1605.06848|class=cs.CC}}</ref>

== Véase también ==
* [[Álgebra multilineal|Multilinear Álgebra]]
* [[Cálculo tensorial|Tensor]]

== Referencias ==
{{Listaref|2}}

{{Control de autoridades}}
[[Categoría:Álgebra lineal]]
[[Categoría:Factorización]]