Menggabungkan dua matriks kovarians

Saya menghitung kovarians distribusi secara paralel dan saya perlu menggabungkan hasil yang didistribusikan ke dalam Gaussian tunggal. Bagaimana saya menggabungkan keduanya?

Interpolasi linier antara keduanya hampir berhasil, jika keduanya terdistribusi dan berukuran sama.

Wikipedia menyediakan forumla di bagian bawah untuk kombinasi tetapi tampaknya tidak benar; dua distribusi yang identik harus memiliki kovarians yang sama, tetapi rumus di bagian bawah halaman menggandakan kovarians.

Apakah ada cara untuk menggabungkan dua matriks?

covariance moments

— Matt Kemp
sumber

Rumus Wikipedia menjawab pertanyaan Anda, Matt: Anda mungkin tidak memperhatikan bahwa itu adalah rumus parsial di mana setelah itu Anda perlu membaginya dengan ukuran sampel.

— whuber

Saya sudah menemukan jawabannya sekarang, dengan bantuan Anda - jika Anda memasukkan ini ke dalam jawaban, saya akan menandainya sebagai jawaban.

— Matt Kemp

Pertanyaan ini banyak muncul dalam berbagai samaran. Yang umum bagi mereka adalah

Bagaimana saya bisa menggabungkan statistik berbasis momen yang telah dihitung dari subset terpisah dari data saya?

Aplikasi paling sederhana menyangkut data yang telah dipecah menjadi dua kelompok. Anda tahu ukuran grup dan artinya grup. Dalam hal empat kuantitas ini saja, apa arti keseluruhan data?

Aplikasi lain menggeneralisasi dari cara ke varians, standar deviasi, matriks kovarian, skewness, dan statistik multivariat; dan mungkin melibatkan beberapa subkelompok data. Perhatikan bahwa banyak dari jumlah ini adalah kombinasi momen yang agak rumit: deviasi standar, misalnya, adalah akar kuadrat dari kombinasi kuadratik dari momen pertama dan kedua (mean dan mean square).

Semua kasus seperti itu mudah ditangani dengan mengurangi berbagai momen menjadi jumlah, karena jumlah jelas dan mudah dikombinasikan: mereka ditambahkan. Secara matematis, ia turun ke ini: Anda memiliki kumpulan datayang telah dipisahkan menjadi kelompok-kelompok terpisah ukuran:. Sebut sajagrup ke-. Menurut definisi,th saat dari setiap batch data yangadalah rata-rata $X = (x_1, x_2, \ldots, x_n)$ $j_1, j_2, \ldots, j_g$ $(x_1, x_2, \ldots, x_{j_1}; x_{j_1+1}, \ldots, x_{j_1+j_2}; x_{j_1+j_2+1}, \ldots; \ldots; \ldots, x_n)$ $i$ $X_{(i)} = (x_{j_i+1},x_{j_i+2}, \ldots, x_{j_{i+1}})$ $k$ $y_1, \ldots, y_j$ $k$ kekuatan th,

μ_{k} (y) = (y_{1}^{k} + y_{2}^{k} + \dots + y_{j}^{k}) / j .

$\mu_k(y) = \left(y_1^k + y_2^k + \cdots + y_j^k\right)/j.$

Jelas adalah jumlah dari kekuatan ke- . Oleh karena itu, mengacu pada dekomposisi kami sebelumnya data ke subkelompok, kita dapat mematahkan sejumlah kekuatan ke dalam kelompok jumlah, memperoleh $j \mu_k(y)$ $k$ $g$ $n$

\begin{aligned} n μ_{k} (X) & = (x_{1}^{k} + x_{2}^{k} + \dots + x_{n}^{k}) \\ = (x_{1}^{k} + x_{2}^{k} + \dots + x_{j_{1}}^{k}) + \dots + (x_{j_{1} + \dots + j_{g - 1} + 1}^{k} + x_{j_{1} + \dots + j_{g - 1} + 2}^{k} + \dots + x_{n}^{k}) \\ = j_{1} μ_{k} (X_{(1)}) + j_{2} μ_{k} (X_{(2)}) + \dots + j_{g} μ_{k} (X_{(g)}) . \end{aligned}

$\eqalign{ n \mu_k(X) &= \left(x_1^k + x_2^k + \cdots + x_n^k\right) \\ &= \left(x_1^k + x_2^k + \cdots + x_{j_1}^k\right) + \cdots + \left(x_{j_1+\cdots+j_{g-1}+1}^k + x_{j_1+\cdots+j_{g-1}+2}^k + \cdots + x_n^k\right)\\ &= j_1 \mu_k(X_{(1)}) + j_2 \mu_k(X_{(2)}) + \cdots + j_g \mu_k(X_{(g)}). }$

Dibagi dengan menunjukkan momen ke- dari seluruh batch dalam hal momen ke- dari subkelompoknya. $n$ $k$ $k$

Dalam aplikasi ini, entri dalam matriks kovarians, tentu saja, kovarian, yang dapat dinyatakan dalam hal momen multivariat detik dan momen pertama. Bagian penting dari perhitungan adalah sebagai berikut: pada setiap langkah Anda akan berfokus pada dua komponen tertentu dari data multivarian Anda; sebut saja mereka dan . Angka-angka yang Anda lihat ada dalam formulir $x$ $y$

((x_{1}, y_{1}), (x_{2}, y_{2}), ..., (x_{n}, y_{n})),

$((x_1,y_1), (x_2,y_2), \ldots, (x_n,y_n)),$

dipecah seperti sebelumnya menjadi kelompok . Untuk setiap grup, Anda mengetahui jumlah rata-rata produk : ini adalah momen multivarian , . Untuk menggabungkan nilai-nilai grup ini, Anda akan mengalikannya dengan ukuran grup, menjumlahkan hasil itu, dan membagi totalnya dengan . $g$ $x_iy_i$ $(1,1)$ $\mu_{(1,1)}$ $n$

Untuk menerapkan pendekatan ini, Anda perlu berpikir ke depan : tidak mungkin untuk menggabungkan, katakanlah, kovarian jika Anda hanya tahu kovarian dan ukuran subkelompok: Anda juga perlu mengetahui cara subkelompok (karena cara terlibat dalam cara yang penting dalam semua rumus kovarians), atau sesuatu yang secara aljabar direduksi menjadi rata-rata. Anda juga mungkin perlu memperhatikan konstanta yang muncul dalam formula; perangkap utama bagi yang tidak waspada adalah mengacaukan "kovarian sampel" (yang melibatkan sejumlah produk dibagi dengan ) dengan "kovarians populasi" (di mana pembagiannya adalah dengan ). Ini tidak memperkenalkan sesuatu yang baru; Anda hanya perlu ingat untuk melipatgandakan kovarians sampel dengan (atau kelompok kovarians dengan $n-1$ $n$ $n-1$ $j_i-1$ ) untuk memulihkan jumlah, bukan dengan (atau ). $n$ $j_i$

Oh, ya: tentang pertanyaan ini. Formula yang diberikan dalam artikel Wikipedia diberikan dalam bentuk sarana kelompok (momen pertama) dan jumlah kelompok produk. Seperti yang saya jelaskan di atas, ini akan digabungkan dengan menambahkannya dan kemudian menyesuaikan hasilnya dengan divisi untuk mendapatkan kovarian. Pembagian akhir oleh tidak ditampilkan. $n$

— whuber
sumber

Saya sedikit bingung tentang definisi momen ke-k. Apakah Anda mengasumsikan nol data berarti?

— reschu

@reschu Anda tampaknya memikirkan momen-momen sentral . Untuk memastikan bahwa posting ini akan dipahami dengan benar, saya mendefinisikan apa yang saya maksud dengan momen " ." Definisi muncul tepat sebelum formula pertama.

k^{th}

$k^\text{th}$

— whuber

Mungkin buruk! Saya mencampuradukkan momen 'sentral' dan 'mentah'. Terima kasih atas klarifikasi!

— reschu

Saya pikir "untuk mengetahui cara ukuran subkelompok" dalam paragraf kedua dari belakang harus membaca "untuk mengetahui cara dari subkelompok" sebagai gantinya? (Saya ragu untuk mengedit ini sendiri karena saya tidak repot-repot mempelajari jawabannya dengan sangat hati-hati)

— Juho Kokkala

@ Juho Kamu benar sekali. Terima kasih telah memperhatikan itu!

— Whuber