Studi sistematis jumlah polinomial kuadratik kuadrat

Saya bertanya-tanya apakah ada studi sistematis jumlah kuadrat bentuk kuadrat, mirip dengan bentuk kuadrat, yang secara praktis tercermin dalam dekomposisi nilai eigen (yang memiliki implikasi praktis yang sangat besar). Beberapa contoh terkait dengan pentingnya pertanyaan.

1. Analisis komponen utama (PCA) . Diberikan seperangkat poin $x_i \in \mathbb{R^n}, i=1..k$ menemukan himpunan sumbu $u_1$ , ... $u_m$ , ditulis sebagai matriks $U \in \mathbb{R^n x R^m}$ , dan proyeksi $\xi_1$ , ... , $\xi_k, \xi_{\circ} \in \mathbb{R^m}$ yang meminimalkan varians dijelaskan, yaitu memecahkan masalah berikut optimasi quartic

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

   Dengan keajaiban simetri, ia memiliki solusi dengan dekomposisi nilai singular

2. PCA umum . Sama seperti PCA, tetapi sekarang ada matriks presisi $A_i \in \mathbb{R^n x R^n}$ terkait dengan masing-masing dapat diamati $x_i$. Masalahnya menjadi lebih rumit

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

   (ketika semua $A_i$ adalah matriks identitas masalah ini setara dengan PCA, ketika $A_i = A_j, \forall i,j$ , dan diagonal itu adalah PCA tertimbang). Masalah ini juga dapat diselesaikan dalam waktu polinomial melalui pemrograman semi-pasti (SDP) - Karena solusi memiliki bentuk jumlah kuadrat, oleh NZ Shor (1987) itu adalah masalah cembung, dan tesis Parillo (2000) memberikan praktis cara untuk menghitungnya melalui SDP $\square$

$p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$$p$ tidak dapat direpresentasikan sebagai jumlah kuadrat dari polinomial kuadrat, lebih dari itu.

Saya ingin tahu apakah ada yang membuat studi sistematis polinomial dengan jumlah kuadrat polinomial kuadrat.

Sejauh pengetahuan saya, tidak ada studi seperti itu; lebih jauh lagi, tanpa beberapa kemajuan nontrivial dalam teknologi masalah sum-of-square (SOS), saat ini tidak jelas apa manfaat langsung dari studi semacam itu. (Saya akan fokus pada koneksi SOS karena itu, sejauh yang saya tahu, adalah cara terbaik untuk menyelesaikan masalah kuartik umum ini.) Pernyataan ini harus diambil dengan cara yang positif: Saya percaya ada banyak kedalaman penelitian di sekitar masalah-masalah ini. Saya akan mendukung klaim saya dalam beberapa cara, semoga dengan cara yang bermanfaat bagi orang lain ..

Pertama, untuk masalah paling mendasar dari tipe yang Anda diskusikan, koneksi SVD memberikan pemecah yang jauh lebih baik daripada kotak hitam SOS; khususnya, yang terakhir membangun SDP dengan syarat , di mana adalah jumlah total variabel dalam masalah optimisasi sumber (misalnya, jumlah total elemen dalam semua matriks yang tidak diketahui; untuk melihat di mana saya mendapatkan angka-angka ini, lihat kuliah 10 dari kursus Pablo Parrilo 2006: http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-972-algebraic-techniques-and-semidefinite-optimization -spring-2006 / lecture-notes / lecture_10.pdf ). Ini adalah SDP yang tidak ingin Anda selesaikan (waktu berjalan tergantung pada sebagai$\binom{n+2}{2}$$n$$n$$n^{6}$menggunakan solver titik interior?), terutama bila dibandingkan dengan kecepatan konyol solver SVD (menggunakan notasi yang konsisten, SVD akan menjadi sesuatu seperti ; Anda dapat menghapus perhitungan saya dengan melacak jumlah kolom, baris, dan peringkat target, tapi itu bencana tidak peduli bagaimana Anda memperbaiki kelalaian saya). Sepanjang nada ini, jika Anda merancang algoritma khusus untuk memecahkan masalah SOS di mana derajat maks dalam polinomial adalah dua: ini akan luar biasa, dan kemudian jenis survei yang Anda cari akan memiliki banyak nilai.$\mathcal O(n^{1.5})$

Kedua, karena rumusan dasar masalah ini adalah di luar jendela, orang mungkin bertanya-tanya apakah varian tertentu dari masalah ini ditangani dengan baik oleh pemecah SOS. Sebagai contoh penting, pertimbangkan masalah NMF (faktorisasi matriks non-negatif), di mana matriks tidak diketahui yang Anda optimalkan (dalam formulasi Anda di atas) sekarang harus memiliki entri yang tidak negatif. Sayangnya, jika Anda menggunakan SDP standar yang digunakan untuk menyelesaikan masalah ini (lihat misalnya catatan Pablo Parrilo dari atas), tidak ada cara untuk memperkenalkan kendala tersebut. (Dan karena beberapa formulasi dari masalah yang dihasilkan adalah NP-hard, Anda sekarang akan membangun skema perkiraan; yaitu, ini bisa menjadi buruk.) Selain itu, ada pekerjaan baru-baru ini yang mengeksploitasi struktur polinomial masalah ini untuk membangun solver dengan beberapa jaminan: lihathttp://arxiv.org/abs/1111.0952 oleh Arora, Ge, Kannan, dan Moitra. Mereka membangun beberapa algoritma, namun ketika mereka memecahkan masalah "persis" NMF (di mana ada faktorisasi yang tepat, yaitu, satu memberikan nilai objektif 0), mereka tidak menggunakan SOS solver: mereka menggunakan solver memeriksa kelayakan "semi" - set aljabar ", masalah optimisasi yang jauh lebih sulit yang memungkinkan jenis kendala yang ditimbulkan NMF, tetapi sekarang dengan waktu berjalan yang eksponensial.

Pokoknya, untuk merangkum dan memberikan beberapa perspektif lebih lanjut; karena SOS adalah afaik satu-satunya solver untuk masalah kuartik yang Anda bicarakan (yaitu, saya tidak berpikir ada solver kuartik khusus), saya telah membahas bagaimana solver ini memiliki alternatif yang lebih baik untuk jenis masalah kuartik yang orang pedulikan. Untuk menggunakan alat SOS secara efektif di sini, Anda harus membuat beberapa solver yang luar biasa untuk kasus kuartik (polinomial tingkat paling dalam 2), atau Anda harus menemukan cara untuk menambahkan kendala pada masalah ini. Kalau tidak, koneksi ke masalah SOS, sementara menarik, tidak memberi Anda banyak.

Anda juga menyebutkan bahwa Anda terkejut bahwa literatur yang Anda temukan tidak membuat hubungan ini. Saya pikir itu sebagian besar disebabkan oleh kebaruan pemecah SOS praktis (meskipun pertimbangan abstrak masalah SOS kembali sangat jauh), dan apa yang saya katakan di atas. Bahkan, ketika saya pertama kali menemukan pemecah SOS, itu melalui catatan dan kertas Parrilo, dan saya juga bertanya-tanya, "mengapa dia tidak berbicara tentang masalah tipe PCA"? Kemudian saya memeriksa fakta-fakta di atas dan banyak mengernyit. Saya pikir itu juga pertanda buruk bahwa Parrilo sendiri belum, sejauh yang saya bisa katakan / skim, membahas masalah ini di luar referensi yang Anda sebutkan dalam tesisnya (sementara itu, ia memiliki makalah tentang berbagai ekstensi, dan saya memiliki banyak rasa hormat untuk pekerjaannya di bidang ini: dia pasti telah memikirkan masalah kuartik khusus ini berkali-kali ..http://arxiv.org/abs/1111.1498 ).