對稱矩陣是沿對角線對稱的矩陣。它是一個自伴算子（self-adjointoperator）（把矩陣看作是一個算子并研究其性質(zhì)確實是一件大事）。雖然我們不能直接從對稱性中讀出幾何屬性，但我們可以從對稱矩陣的特征向量中找到最直觀的解釋，這將使我們對對稱矩陣有更深入的了解。

常見的例子是單位矩陣。一個重要的例子是：

對稱矩陣的一個例子

然而，雖然定義簡單如斯，但卻意義非凡。在這篇文章中，我們將看一看它們的重要屬性，直觀地解釋它們，并介紹其應(yīng)用。

厄米特矩陣（TheHermitianmatrix）是對稱矩陣的復(fù)擴展，這意味著在厄米特矩陣中，所有元素都滿足：

厄米特矩陣的共軛轉(zhuǎn)置與自身相同。因此，它具有對稱矩陣所具有的所有性質(zhì)。

厄米特矩陣的一個例子

在這篇文章中，我主要討論的是實數(shù)情況，即對稱矩陣，以使分析變得簡單一些，同時在數(shù)據(jù)科學(xué)中，我們遇到的也大都是實矩陣，因為我們要處理現(xiàn)實世界的問題。

對稱矩陣的最重要的性質(zhì)

本節(jié)將介紹對稱矩陣的三個最重要的性質(zhì)。它們涉及這些矩陣的特征值和特征向量的行為，這是區(qū)別對稱矩陣和非對稱矩陣的基本特征。

性質(zhì)1.對稱矩陣有實數(shù)特征值

這可以很容易地用代數(shù)法證明（正式的、直接的證明，而不是歸納法、矛盾法等）。首先，快速回顧一下特征值和特征向量。

矩陣A的特征向量是，在A作用于它之后，方向不變的向量。方向沒有改變，但向量大小可以改變。實數(shù)特征值給我們提供了線性變換中的拉伸或縮放信息，不像復(fù)數(shù)特征值，它沒有"大小"。

向量被縮放的比例是特征值，我們用λ表示。因此我們有：

式1.1

證明是相當(dāng)容易的，但有一些重要的線性代數(shù)知識，所以我們還是要一步一步地來。

1.1通過x的共軛轉(zhuǎn)置x?得到：

式1.2

需要注意的是，λ是一個標(biāo)量，這意味著涉及λ的乘法是可交換的。因此，我們可以把它移到x?（x的轉(zhuǎn)置，上標(biāo)H可能不顯示）的左邊：

式1.3

x?x是一個歐幾里得范數(shù)（Euclideannorm），其定義如下：

公式1.4

在二維歐幾里得空間中，它是一個坐標(biāo)為（x_1，...，x_n）的向量的長度。然后我們可以把公式1.3寫成：

公式1.5

由于共軛轉(zhuǎn)置（算子H）與普通轉(zhuǎn)置（算子T）的原理相同，我們可以利用x?A=（Ax）?的特性。

公式1.6

(Ax)?等于什么？這里我們將再次使用Ax=λx的關(guān)系，但這次(Ax)?將留給λ的復(fù)共軛，在λ上加一橫表示共軛。

式1.7

我們在式1.3中見過x?x，代歐幾里得范數(shù)后得到：

式1.8

這導(dǎo)致了λ和它的復(fù)共軛相等：

式1.9

只有在一種情況下，式1.9才有效，即λ是實數(shù)。這樣一來，我們就完成了證明。

性質(zhì)2.特征值所對應(yīng)的特征向量是正交的

這個證明也是一個直接的形式證明，但很簡單。首先我們需要清楚目標(biāo)，即：

式1.10

考慮一個對稱矩陣A，x_1和x_2是A的特征向量，對應(yīng)于不同的特征向量（我們需要這個條件的原因?qū)⒃谏院蠼忉專８鶕?jù)特征值和對稱矩陣的定義，我們可以得到以下公式：

式1.11和式1.12

現(xiàn)在我們需要證明式1.10。讓我們試著把x_1和x_2放在一起-。在左邊用(Ax?)?乘以x??：

式1.13

在式1.13中，除了對稱矩陣的特性外，還用到了另外兩個事實。

矩陣乘法符合結(jié)合律（可以用結(jié)合律運算）矩陣-標(biāo)量乘法是可交換的（可以自由移動標(biāo)量）。

然后，由于點積是可交換的，這意味著x??x?和x??x?是等價的，所以我們有：

式1.14

其中x_1?x_2表示點積。如果λ_1≠λ_，那么x_1?x_1=0，這意味著這兩個特征向量是正交的。如果λ_1=λ_2，則有兩個不同的特征向量對應(yīng)于同一個特征值。由于特征向量在(A-λI)的零空間（表示為N(A-λI)），當(dāng)一個特征向量對應(yīng)于多個特征向量時，N(A-λI)的維數(shù)大于1。在這種情況下，我們對這些特征向量有無限多的選擇，我們總是可以選擇它們是正交的。

顯然，有些情況下，實數(shù)矩陣有復(fù)數(shù)特征值。這發(fā)生在旋轉(zhuǎn)矩陣上。為什么會這樣呢？假設(shè)Q是一個旋轉(zhuǎn)矩陣。我們知道，特征向量在被Q作用后不會改變方向。但如果Q是一個旋轉(zhuǎn)矩陣，如果x是一個非零向量，x怎么可能不改變方向呢？結(jié)論是，特征向量必須是復(fù)數(shù)（好好想一想吧）。

二維空間中的旋轉(zhuǎn)矩陣R(θ)如下所示：

旋轉(zhuǎn)矩陣

R(θ)將一個向量逆時針旋轉(zhuǎn)一個角度θ，它是一個具有復(fù)數(shù)特征值和特征向量的實矩陣。

性質(zhì)3.對稱矩陣總是可對角化的（譜定理）

這也與對稱矩陣的其他兩個特性有關(guān)。這個定理的名字可能讓人困惑。事實上，一個矩陣的所有特征值的***被稱為譜（spectrum）。另外，我們可以這樣想。

特征值-特征向量對告訴我們，在給定的線性變換之后，一個向量在哪個方向上被扭曲。

如下圖所示，經(jīng)過變換后，在v_1的方向上，圖形被拉伸了很多，但在v_2的方向上卻沒有很大的拉伸。

一個可對角線化的矩陣意味著存在一個對角線矩陣D（對角線以外的所有元素都是零），使得P-1AP=D，其中P是一個可逆矩陣。我們也可以說，如果一個矩陣可以寫成A=PDP-1的形式，那么該矩陣就是可對角的。

分解通常不是唯一的，但只有D中對角線上的元素的排列和P中特征向量的標(biāo)量乘法才是唯一的。另外我們需要注意的是，無論矩陣是否對稱，對角線化都等同于找到特征向量和特征值。然而，對于非對稱矩陣，D不一定是正交矩陣。

這兩個定義是等價的，但可以有不同的解釋（這種分解使得求矩陣的冪非常方便）。第二個定義，A=PDP-1，告訴我們A如何被分解，與此同時，第一個定義，P-1AP=D，是告訴我們A可以被對角化。它告訴我們，有可能將標(biāo)準(zhǔn)基（由單位矩陣給出）與特征向量對齊（align）。這是由特征向量的正交性決定的，這在性質(zhì)2中顯示。

這個"將標(biāo)準(zhǔn)基與特征向量對齊"聽起來非常抽象。我們需要思考這個問題：矩陣變換對單位基做了什么？

由基α={v_1，…，v_n}組成的矩陣將一個向量x從標(biāo)準(zhǔn)基變換到由基α構(gòu)成的坐標(biāo)系，我們用Aα表示這個矩陣。因此，在對角化的過程中（P-1AP=D），P將一個向量從標(biāo)準(zhǔn)基送入特征向量，A對其進行縮放，然后P?1將該向量送回標(biāo)準(zhǔn)基。從向量的角度來看，坐標(biāo)系與標(biāo)準(zhǔn)基對齊。

這種對齊方式如圖1.16所示，本例中使用的矩陣為：

式1.17

其中V是一個列向量長度為1的矩陣，每一個都對應(yīng)于對角線矩陣中的特征值。至于計算，我們可以讓Matlab中的eig來完成。

這個性質(zhì)直接遵循譜定理（spectraltheorem）：

如果A是厄米特矩陣，存在一個由A的特征向量組成的V的正態(tài)基，每個特征向量都是實數(shù)。

該定理直接指出了將一個對稱矩陣對角化的***。為了直接證明這個性質(zhì)，我們可以使用矩陣大小（維度）的歸納法。。

正定性

這些性質(zhì)什么時候有用？甚至在正式研究矩陣之前，它們已經(jīng)被用于解決線性方程組很長時間了。把矩陣看成是運算子，線性方程的信息就儲存在這些運算子中，矩陣可以用來研究函數(shù)的行為。

除了對稱性之外，矩陣還可以有一個更好的性質(zhì)就是正定性。如果一個對稱矩陣是正定的，它的所有特征值都是正的。如果它的所有特征值都是非負的，那么它就是一個半正定矩陣。對于一個正定矩陣，很明顯要求它是對稱的，因為性質(zhì)1，因為只有當(dāng)一個數(shù)字是實數(shù)時，問它是正數(shù)還是負數(shù)或有多大才有意義。

特征值、特征向量和函數(shù)行為

這方面的一個很好的應(yīng)用是海賽矩陣（Hessianmatrix），我們將以此為例來證明使用矩陣來分析函數(shù)行為。當(dāng)我們試圖找到一個局部極值時，發(fā)現(xiàn)海賽矩陣是正定的將非常有用。海賽矩陣是一個由實數(shù)函數(shù)的二階偏微分組成的矩陣。形式上，海賽矩陣被定義為：

我們稱H(x)為f的海賽矩陣，它是一個n乘n的矩陣。它與以下內(nèi)容相同：

這對函數(shù)的行為有什么影響？我們來看看一個超級簡單的例子。考慮一下函數(shù)：

海賽矩陣的計算***如下：

式2.3

由于它是一個對角矩陣，并且跡（對角線上的元素之和）等于特征向量之和，我們可以立即看到其中一個特征值是2，另一個是-2。它們對應(yīng)于特征向量v?=[1,0]?和v?=[0,1]?。這個矩陣是對稱的，但不是正定的。因此，在整個?2上沒有局部極值，我們只能在x=0，y=0點上找到一個鞍點。這意味著在特征值為正的v_1方向上，函數(shù)增加，而在特征值為負的v_2方向上，函數(shù)減少。該函數(shù)的圖像如下所示:

現(xiàn)在我們改變符號，將函數(shù)改為：

特征向量保持不變，但所有的特征向量都變成了正數(shù)。這意味著，在v_1的方向和v_2的方向上，函數(shù)都在增長。因此，可以找到局部最小值在x=0，y=0處，f(x,y)=0，這也是全局最小值。該圖為：

總結(jié)

矩陣在許多領(lǐng)域都有廣泛的應(yīng)用。在處理矩陣時，經(jīng)常會遇到正定義性、特征向量、特征值、對稱矩陣等概念。在這篇文章中，介紹了對稱（厄米特）矩陣的三個最重要的性質(zhì)，它們與矩陣的特征向量和特征值有關(guān)。這些性質(zhì)是以幾何學(xué)方式解釋的，但也包括一些代數(shù)證明。最后，介紹了一個使用矩陣來分析函數(shù)行為的例子。