Turunkan total (dalam kelas + antar kelas) matriks pencar

Saya mengutak-atik metode PCA dan LDA dan saya terjebak pada suatu titik, saya punya perasaan bahwa itu sangat sederhana sehingga saya tidak bisa melihatnya.

Matriks sebar dalam kelas ( $S_W$ ) dan antara kelas ( $S_B$ ) didefinisikan sebagai:

S_{W} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (x_{t}^{i} - μ_{i})^{T}

$S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T$

S_{B} = \sum_{i = 1}^{C} N (μ_{i} - μ) (μ_{i} - μ)^{T}

$S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T$

Matriks sebar total diberikan sebagai: $S_T$

S_{T} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} = S_{W} + S_{B}

$S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B$

di mana C adalah jumlah kelas dan N adalah jumlah sampel adalah sampel, adalah rerata kelas i, $x$ $\mu_i$ $\mu$ adalah rata-rata keseluruhan.

Ketika mencoba untuk menurunkan saya sampai pada titik di mana saya memiliki: $S_T$

(x - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x - μ_{i})^{T}

$(x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T$

sebagai sebuah istilah. Ini harus nol, tetapi mengapa?

Memang:

\begin{aligned} S_{T} & = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} \\ = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i} + μ_{i} - μ) (x_{t}^{i} - μ_{i} + μ_{i} - μ)^{T} \\ = S_{W} + S_{B} + \sum_{i = 1}^{C} \sum_{t = 1}^{N} [(x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x_{t}^{i} - μ_{i})^{T}] \end{aligned}

$\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i + \mu_i - \mu)(x_t^i - \mu_i + \mu_i - \mu)^T \\ &= S_W + S_B + \sum_{i=1}^C\sum_{t=1}^N\big[(x_t^i - \mu_i)(\mu_i - \mu)^T + (\mu_i - \mu)(x_t^i - \mu_i)^T\big] \end{align}$

discriminant-analysis

— nimcap
sumber

Jawabannya adalah Anda menjumlahkan penyimpangan nilai di sekitar rata-rata dan jumlah itu nol. Tapi apa tepatnya

x

$x$ ,

m

$m$ , dan

m_{i}

$m_i$ ? Bagaimana kabar

m

$m$ dan

m_{i}

$m_i$ berhubungan dengan

μ

$\mu$ dan

μ_{i}

$\mu_i$ ? Kualitas jawaban akan tergantung pada seberapa akurat kami menebak tetapi Anda memaksa kami untuk melakukan banyak tebakan!

— whuber

@whuber: Anda benar sekali, saya merevisi pertanyaan saya.

— nimcap

Jika Anda menganggap

\frac{1}{N} \sum_{t = 1}^{N} x_{t}^{saya} = μ_{saya}

$\frac{1}{N}\sum_{t=1}^Nx_t^{i}=\mu_i$

Kemudian

\sum_{saya = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{saya} - μ_{saya}) (μ_{saya} - μ)^{T} = \sum_{saya = 1}^{C} (\sum_{t = 1}^{N} (x_{t}^{saya} - μ_{saya})) (μ_{saya} - μ)^{T} = 0

$\sum_{i=1}^C\sum_{t=1}^N(x_t^i-\mu_i)(\mu_i-\mu)^T=\sum_{i=1}^C\left(\sum_{t=1}^N(x_t^i-\mu_i)\right)(\mu_i-\mu)^T=0$

dan formula berlaku. Anda menangani istilah kedua dengan cara yang sama.

— mpiktas
sumber

(+1) Istilah kedua, sebagai transposisi dari yang pertama, juga harus nol :-).

— whuber

@whuber, yes, that too :)

— mpiktas

Hi,i don't get why the assumption holds?Can someone explain that?

— Mvkt

@Mvkt It is not so much an assumption as the definition of

μ_{i}

$\mu_i$ I suppose. That is to say:

μ_{i}

$\mu_i$ is the mean of the observations in group

i

$i$ . I expect the answer uses 'assume' because the OP doesn't explain the notation, so we have to guess that the group mean is meant by

μ_{i}

$\mu_i$ .

— Vincent