Descomposición en valores singulares

Una imagen que explica brevemente el tema

En álgebra lineal, la descomposición en valores singulares (o DVS) de una matriz real o compleja es una factorización de la misma con muchas aplicaciones en estadística y otras disciplinas.

Definiciones previas

Dada una matriz real $A\in {ℳ}_{m\times n}(ℝ)$, los valores propios de la matriz cuadrada, simétrica y semidefinida positiva $A^{t}A\in {ℳ}_n(ℝ)$ son siempre reales y mayores o iguales a cero. Teniendo en cuenta el producto escalar estándar vemos que:

$(A^{t}A{)}^t=A^t(A^t{)}^t=A^{t}A$, o sea que es simétrica.

$⟨x,A^{t}Ax⟩=x^t{A}^{t}Ax=(Ax{)}^{t}Ax=\Vert Ax{\Vert }^2\ge 0$, es decir $A^{T}A$ es semidefinida positiva.

Por ser $A^{t}A$ una matriz real simétrica, todos sus valores propios son reales —en particular, como es semidefinida positiva, son todos mayores o iguales a cero—. Ver demostración.

Definición

Sean ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$ los valores propios de la matriz $A^{t}A$ ordenados de mayor a menor. Entonces ${\sigma }_i:=\sqrt{{\lambda }_i}$ es el $i$-ésimo valor singular de la matriz $A$.

Teorema

Sea $A\in {ℳ}_{m\times n}(ℝ)$ y ${\lambda }_1\ge \cdots \ge {\lambda }_r>{\lambda }_{r+1}=\cdots ={\lambda }_n=0$ los valores propios de $A^{t}A$. Es decir, los primeros $r$ valores propios no nulos, ordenados de manera decreciente, y los $n-r$ valores propios nulos.

Sea $(v_1,\dots ,v_n)$ una base ortonormal de ${ℝ}^n$ formada por valores propios de $A^{T}A$ —que existe por el teorema espectral—. Entonces:

1. Los vectores $A{v}_1,\dots ,A{v}_r$ son ortogonales dos a dos y $\Vert A{v}_i\Vert =\sqrt{{\lambda }_i}={\sigma }_i$.
2. $(\frac{1}{{\sigma }_1}A{v}_1,\dots ,\frac{1}{{\sigma }_r}A{v}_r)$ es una base ortonormal del subespacio fundamental $\mathrm{Col}(A)$.
3. $(v_{r+1},\dots ,v_n)$ es una base ortonormal del subespacio fundamental $\mathrm{Nul}(A)$.
4. $\mathrm{rg}(A)=r$ es decir, el rango de la matriz $A$ coincide con la cantidad de valores singulares no nulos.

Demostración

1. $⟨A{v}_i,A{v}_j⟩=v_i^t{A}^{t}A{v}_j={\lambda }_j{v}_i^t{v}_j=\{\begin{array}{cc}{\lambda }_j& i=j\\ 0& i\ne j\end{array}$. Teniendo en cuenta este resultado, $\Vert A{v}_i\Vert =\sqrt{⟨A{v}_i,A{v}_i⟩}=\sqrt{{\lambda }_i}={\sigma }_i$.
2. Como la familia de vectores $(v_i{)}_{1\le i\le r}$ es ortonormal —en particular, linealmente independiente—, los productos $A{v}_i$ son combinaciones lineales de las columnas de $A$, por lo que el subespacio generado por estos productos está contenido en $\mathrm{Col}(A)$. Además, los vectores $A{v}_1,\dots ,A{v}_r$ son ortogonales dos a dos —en particular, linealmente independientes—, por lo tanto deducimos que $\dim (⟨\frac{1}{{\sigma }_1}A{v}_1,\dots ,\frac{1}{{\sigma }_r}A{v}_r⟩)=r=\dim (\mathrm{Col}(A))$, de donde $\mathrm{Col}(A)=⟨\frac{1}{{\sigma }_1}A{v}_1,\dots ,\frac{1}{{\sigma }_r}A{v}_r⟩$. Así, teniendo en cuenta lo demostrado en el punto anterior, $(\frac{1}{{\sigma }_1}A{v}_1,\dots ,\frac{1}{{\sigma }_r}A{v}_r)$ es una base ortonormal de $\mathrm{Col}(A)$.
3. Es claro que si la familia de vectores $(v_i{)}_{r<i\le n}$, está asociada a valores propios nulos, teniendo en cuenta lo visto en el punto 1 y también sabiendo que $\mathrm{Nul}(A)=\mathrm{Nul}(A^{t}A)$ —demostración en el último punto de esta lista de propiedades— se ve que $(v_{r+1},\dots ,v_n)$ es una base ortonormal de $\mathrm{Nul}(A)$
4. Mirando la dimensión del subespacio hallado en el punto 2 de esta demostración, es claro que $\mathrm{rg}(A)=r$.

Descomposición en valores singulares de una matriz

Una DVS de $A\in {ℳ}_{m\times n}(ℝ)$ es una factorización del tipo $A=U\mathrm{\Sigma }{V}^t$ con $U\in {ℳ}_m(ℝ)$ y $V\in {ℳ}_n(ℝ)$ ortogonales y $\mathrm{\Sigma }\in {ℳ}_{m\times n}(ℝ)$ una matriz formada por los valores singulares de $A$ en su diagonal principal ordenados de mayor a menor, y ceros en el resto de entradas.

Teorema

Toda matriz $A\in {ℳ}_{m\times n}(ℝ)$ admite una DVS.

Demostración

Sean ${\lambda }_1\ge \cdots \ge {\lambda }_r>{\lambda }_{r+1}=\cdots ={\lambda }_n=0$ los valores propios de $A^{t}A\in {ℳ}_n(ℝ)$ ordenados de esta manera. Sea $(v_1,\dots ,v_n)$ una base ortonormal de ${ℝ}^n$ formada por vectores propios de $A^{t}A$, cada uno asociado —en orden— a un valor propio.

Recordemos que los vectores $A{v}_1,\dots ,A{v}_n$ son ortogonales dos a dos, con $A{v}_{r+1}=\cdots =A{v}_m=0$. Si llamamos $u_1:=\frac{1}{{\sigma }_1}A{v}_1,\dots ,u_r:=\frac{1}{{\sigma }_r}A{v}_r$, vemos que:

• $u_1,\dots ,u_r$ son ortonormales. Entonces, si $r<m$, podemos completar con vectores $u_{r+1},\dots ,u_m$ hasta formar una base ortonormal de ${ℝ}^m$

• $\{\begin{array}{c}A{v}_1={\sigma }_1{u}_1\\ ⋮\\ A{v}_r={\sigma }_r{u}_r\\ A{v}_{r+1}=0\\ ⋮\\ A{v}_n=0\end{array}$

• Reescribiendo este último sistema de ecuaciones de manera matricial con las matrices $V=\left(\begin{array}{ccc}|& & |\\ v_1& \cdots & v_n\\ |& & |\end{array}\right)\in {ℳ}_n(ℝ)$ ortogonal y

$U\mathrm{\Sigma }=\underset{U\in {ℳ}_m(ℝ)\text{ ortogonal}}{\underbrace{\left(\begin{array}{ccc}|& & |\\ u_1& \cdots & u_m\\ |& & |\end{array}\right)}}\underset{\mathrm{\Sigma }\in {ℳ}_{m\times n}(ℝ)}{\underbrace{\left(\begin{array}{ccccccc}{\sigma }_1& 0& \cdots & 0& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_r& 0& \cdots & 0\\ 0& 0& \cdots & 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 0& 0& \cdots & 0\end{array}\right)}}=\left(\begin{array}{cccccc}|& & |& |& & |\\ {\sigma }_1{u}_1& \cdots & {\sigma }_r{u}_r& 0& \cdots & 0\\ |& & |& |& & |\end{array}\right)$

Claramente $AV=U\mathrm{\Sigma }$ y, finalmente, como $V$ es una matriz ortogonal, $A=U\mathrm{\Sigma }{V}^t$. Esta es la ecuación de una DVS de $A$.

Viendo esta descomposición, es claro que la matriz $A$ puede escribirse como combinación lineal de matrices de rango 1 tal que:

$A=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^t$

Descomposición en valores singulares reducida (DVS reducida)

Este tipo de descomposición resulta de quedarse sólo con los $r$ vectores propios unitarios asociados a los $r$ valores singulares no nulos. Las matrices $U$, $V$ y $\mathrm{\Sigma }$ entonces son:

$U_r={\left(\begin{array}{ccc}|& & |\\ u_1& \cdots & u_r\\ |& & |\end{array}\right)}^t$

$V_r={\left(\begin{array}{ccc}|& & |\\ v_1& \cdots & v_r\\ |& & |\end{array}\right)}^t$

${\mathrm{\Sigma }}_r=\mathrm{diag}({\sigma }_1,\dots ,{\sigma }_r)$

$A=U_r{\mathrm{\Sigma }}_r{V}_r^t$

Observación: ${\mathrm{\Sigma }}_r$ es una matriz diagonal de tamaño $r\times r$.

Propiedades

Las matrices a continuación denotadas con la letra $P$, son de proyección sobre el subespacio indicado. Las matrices denotadas con $\mathrm{Id}$ son las identidades del orden denotado.

• $P_{\mathrm{Col}(A)}=U_r{U}_r^t$

• $P_{\mathrm{Nul}(A^t)}={\mathrm{Id}}_m-U_r{U}_r^t=U_{m-r}{U}_{m-r}^t$

• $P_{\mathrm{Fil}(A)}=V_r{V}_r^t$

• $P_{\mathrm{Nul}(A)}={\mathrm{Id}}_n-V_r{V}_r^t=V_{n-r}{V}_{n-r}^t$

• $U_r^t{U}_r=U_{m-r}^t{U}_{m-r}={\mathrm{Id}}_m$

• $V_r^t{V}_r=V_{n-r}^t{V}_{n-r}={\mathrm{Id}}_n$

• $(u_1,\dots ,u_r)$ es una base ortonormal de $\mathrm{Col}(A)$

• $(u_{r+1},\dots ,u_m)$ es una base ortonormal de $\mathrm{Nul}(A^t)$

• $(v_1,\dots ,v_r)$ es una base ortonormal de $\mathrm{Fil}(A)$

• $(v_{r+1},\dots ,v_n)$ es una base ortonormal de $\mathrm{Nul}(A)$

• $A=U\mathrm{\Sigma }{V}^t$ implica que $A^t=(U\mathrm{\Sigma }{V}^t{)}^t=V{\mathrm{\Sigma }}^t{U}^t$.

• $A^{t}A=V{\mathrm{\Sigma }}^t{U}^{t}U\mathrm{\Sigma }{V}^t\iff A^t=V{\mathrm{\Sigma }}^t\mathrm{\Sigma }{V}^t\iff A^{t}A=V_r\mathrm{diag}({\lambda }_1,\dots ,{\lambda }_r)V_r^t$ —una diagonalización ortogonal de $A^{t}A$—.

• Las matrices simétricas $A^{t}A\in {ℳ}_n(ℝ)$ y $A{A}^t\in {ℳ}_m(ℝ)$ tienen los mismos valores propios no nulos y, por lo tanto, los valores singulares no nulos de la matriz $A$ pueden calcularse usando cualquiera de estas dos. Además, todos los vectores del conjunto $\{u_1,\dots ,u_r\}$ son vectores propios de $A{A}^t\in {ℳ}_m(ℝ)$ y también, como ya se mencionó, $\mathrm{Nul}(A^t)=⟨u_{r+1},\dots ,u_m⟩$. Esto es fácil de ver, teniendo en cuenta que

$\mathrm{\forall }1\le i\le r,A{v}_i={\sigma }_i{u}_i\iff A\underset{{\lambda }_i{v}_i}{\underbrace{A^{t}A{v}_i}}={\sigma }_{i}A{A}^t{u}_i\iff {\lambda }_{i}A{v}_i={\sigma }_i^2\underset{{\sigma }_i{u}_i}{\underbrace{A{v}_i}}={\sigma }_i\cdot A{A}^t{u}_i\iff A{A}^t{u}_i={\sigma }_i^2{u}_i={\lambda }_i{u}_i$

Este resultado es útil para facilitar el cálculo de valores singulares. Por ejemplo, dada $A\in {ℳ}_{2\times 8}(ℝ)$, entonces $A^{t}A\in {ℳ}_8(ℝ)$ tiene un polinomio característico de grado 8 y $A{A}^t\in {ℳ}_2(ℝ)$ tiene un polinomio característico de grado 2. Como los valores propios no nulos de ambas matrices coinciden, el cálculo de valores singulares de $A$ se hace más sencillo.

Aplicaciones

Pseudoinversa

Para una matriz no cuadrada $A$ descompuesta en valores singulares $A=U\mathrm{\Sigma }{V}^t$, su pseudoinversa es

$A^{+}:=V{\mathrm{\Sigma }}^{+}{U}^t$

donde ${\mathrm{\Sigma }}^{+}$ es la pseudoinversa de $\mathrm{\Sigma }$, que siendo una matriz diagonal se computa reemplazando todos los valores no nulos de la diagonal por sus recíprocos, y luego trasponiendo.

La pseudoinversa es un camino para resolver cuadrados mínimos lineales.

Solución de norma mínima

La pseudoinversa obtenida mediante la DVS permite hallar $x$ que minimiza la norma $\Vert Ax-b\Vert$. La solución esː

$x_{\text{min}}=A^{+}b=V{\mathrm{\Sigma }}^{+}{U}^{t}b$

Se aplica para aproximar la solución del sistema de ecuaciones indeterminado $\Vert Ax-b\Vert$.

Solución de ecuaciones lineales homogéneas

Un conjunto de ecuaciones lineales homogéneas se puede escribir en la forma $Ax=0$ para una matriz $A$ y un vector $x$. Una situación típica consiste hallar $x$ no nulo, conociendo $A$. Las soluciones son todos los vectores singulares cuyo valor singular es cero, y toda combinación lineal entre ellos. Si $A$ no tiene ningún valor singular cero, entonces no hay solución aparte de $x=0$.

Minimización de cuadrados mínimos totales

El problema de minimización por cuadrados mínimos totales consiste en hallar $x$ que minimiza la norma $\Vert Ax\Vert$ bajo la condición $\Vert x\Vert =1$:

$\underset{\Vert x\Vert =1}{\min }\Vert Ax\Vert$.

La solución es el vector singular correspondiente al mínimo valor singular no cero.

Ejemplos de cálculo de DVS

Ejemplo 1

Si $A=\left(\begin{array}{cc}0& 0\\ 0& 9\\ 3& 0\end{array}\right)$, entonces $A^{t}A=\left(\begin{array}{cc}9& 0\\ 0& 81\end{array}\right)$, cuyos autovalores son ${\lambda }_1=81$ y ${\lambda }_2=9$ asociados a los autovectores $v_1=(0,1)$ y $v_2=(1,0)$. Ya que la matriz es simétrica, estos vectores son ortogonales (ver diagonalización de matrices Hermíticas).

Entonces, los valores singulares de $A$ son ${\sigma }_1=\sqrt{81}=9$ y ${\sigma }_2=\sqrt{9}=3$. Observamos que, efectivamente, la cantidad de valores singulares no nulos coincide con el rango de la matriz.

Ahora buscamos los vectores $u_1,u_2,u_3\in {ℝ}^3$ que deberán cumplir

$\{\begin{array}{c}A{v}_1={\sigma }_1{u}_1\\ A{v}_2={\sigma }_2{u}_2\\ A{v}_3=0\end{array}$

Esto es $u_1=\frac{1}{{\sigma }_1}A{v}_1=\frac{1}{9}(0,9,0)=(0,1,0)$ y $u_2=\frac{1}{{\sigma }_2}A{v}_2=\frac{1}{3}(0,0,3)=(0,0,1)$.

Entonces completamos a una base ortonormal de ${ℝ}^3$, $((0,1,0),(0,0,1),(1,0,0))$.

Nuestras matrices ortogonales son:

$U=\left(\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right)$ y $V=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)$

Y la matriz compuesta por los valores singulares ordenados:

$\mathrm{\Sigma }=\left(\begin{array}{cc}9& 0\\ 0& 3\\ 0& 0\end{array}\right)$

Por lo tanto la DVS de $A$ es:

$A=\left(\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right)\left(\begin{array}{cc}9& 0\\ 0& 3\\ 0& 0\end{array}\right)\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)=9\left(\begin{array}{c}0\\ 1\\ 0\end{array}\right)\left(\begin{array}{cc}0& 1\end{array}\right)+3\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right)\left(\begin{array}{cc}1& 0\end{array}\right)=\left(\begin{array}{cc}0& 0\\ 0& 9\\ 3& 0\end{array}\right)$.

Y la DVS reducida es

$A=\left(\begin{array}{cc}0& 0\\ 1& 0\\ 0& 1\end{array}\right)\left(\begin{array}{cc}9& 0\\ 0& 3\end{array}\right)\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)$

Observación: No siempre ocurre que $V=V^t$ como en este caso.

Ejemplo 2

Sea $B=\left(\begin{array}{ccc}0& 0& 1\\ 0& 0& 1\end{array}\right)$. Entonces, para hacer más sencillo el proceso, calculamos $B{B}^t=\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)$ que tiene un polinomio característico de grado 2. Los autovalores son ${\lambda }_1=2$ y ${\lambda }_2=0$ asociados a los autovectores de norma unitaria $u_1=\frac{1}{\sqrt{2}}(1,1)$ y $u_2=\frac{1}{\sqrt{2}}(-1,1)$. Nuestro único valor singular no nulo es ${\sigma }_1=\sqrt{2}$.

Observaciones:

• Es claro que $\mathrm{rg}(B)=1$ coincide con la cantidad de valores singulares no nulos de la matriz y además $\mathrm{Col}(B)=⟨\frac{1}{\sqrt{2}}(1,1)⟩$.
• Sabemos que $B^{t}B\in {ℳ}_3(ℝ)$ tiene un polinomio característico de grado 3. Sus raíces son ${\lambda }_1=2$, ${\lambda }_2={\lambda }_3=0$. Veámoslo:

$B^{t}B=\left(\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 2\end{array}\right)⟹p_{B^{t}B}(x)=\det (x{\mathrm{Id}}_3-B^{t}B)=x^2(x-2)$.

Ahora, sabemos que $B{v}_i={\sigma }_i{u}_i\iff B^{t}B{v}_i={\sigma }_i^2{v}_i={\sigma }_i{B}^t{u}_i$, es decir $B^t{u}_i={\sigma }_i{v}_i\iff v_i=\frac{1}{{\sigma }_i}{B}^t{u}_i$. Entonces, resulta del único valor singular no nulo: $v_1=\frac{1}{2}(0,0,2)=(0,0,1)$.

Ahora, completamos a una base ortonormal de ${ℝ}^3$, $((0,0,1),(1,0,0),(0,1,0))$. En este ejemplo, nuestras matrices ortogonales son:

$U=\frac{1}{\sqrt{2}}\left(\begin{array}{cc}1& -1\\ 1& 1\end{array}\right)$ y $V=\left(\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right)$.

$\mathrm{\Sigma }=\left(\begin{array}{ccc}\sqrt{2}& 0& 0\\ 0& 0& 0\end{array}\right)$.

Y la DVS resulta entonces

$B=\frac{1}{\sqrt{2}}\left(\begin{array}{cc}1& -1\\ 1& 1\end{array}\right)\left(\begin{array}{ccc}\sqrt{2}& 0& 0\\ 0& 0& 0\end{array}\right)\left(\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right)=\left(\begin{array}{c}1\\ 1\end{array}\right)\left(\begin{array}{ccc}0& 0& 1\end{array}\right)=\left(\begin{array}{ccc}0& 0& 1\\ 0& 0& 1\end{array}\right)$.

Nota: la DVS reducida se muestra en la segunda igualdad de la ecuación anterior.

Véase también

• Matriz normal
• Matriz ortogonal
• Matriz simétrica
• Diagonalización de una matriz
• Subespacios fundamentales de una matriz
• Pseudoinversa de Moore-Penrose