Apa notasi klasik dalam statistik, aljabar linier, dan pembelajaran mesin? Dan apa hubungan antara notasi ini?

Ketika kita membaca buku, memahami notasi memainkan peran yang sangat penting dalam memahami konten. Sayangnya, komunitas yang berbeda memiliki konvensi notasi yang berbeda untuk perumusan model dan masalah optimisasi. Bisakah seseorang meringkas beberapa notasi formulasi di sini dan memberikan kemungkinan alasan?

Saya akan memberikan contoh di sini: Dalam literatur aljabar linier, buku klasik adalah pengantar Strang untuk aljabar linier . Notasi yang paling banyak digunakan dalam buku ini adalah

SEBUAH x = b

$A x=b$

Di mana $A$ adalah matriks koefisien , $x$ adalah variabel yang harus dipecahkan dan $b$ adalah vektor di sisi kanan persamaan . The Alasan buku memilih notasi ini adalah tujuan utama dari aljabar linier memecahkan sistem linear dan mencari tahu apa yang vektor $x$ . Mengingat formulasi seperti itu masalah optimasi OLS adalah

\underset{x}{memperkecil} ‖ SEBUAH x - b ‖^{2}

$\underset{x}{\text{minimize}}~~ \|A x-b\|^2$

Dalam melek statistik atau pembelajaran mesin (dari buku Elemen Pembelajaran Statistik ) orang menggunakan notasi yang berbeda untuk mewakili hal yang sama:

X β = y

$X \beta= y$

Di mana $X$ adalah matriks data , $\beta$ adalah koefisien atau bobot yang harus dipelajari , $y$ adalah jawabannya. The alasan orang menggunakan ini karena orang-orang dalam statistik atau komunitas pembelajaran mesin adalah data driven , sehingga data yang dan respon adalah hal yang paling menarik bagi mereka, di mana mereka menggunakan $X$ dan $y$ untuk mewakili.

Sekarang kita dapat melihat semua kebingungan yang mungkin ada di sana: $A$ dalam persamaan pertama sama dengan $X$ dalam persamaan kedua. Dan dalam persamaan kedua $X$ bukanlah sesuatu yang perlu dipecahkan. Juga untuk istilah: $A$ adalah matriks koefisien dalam aljabar linier, tetapi ini adalah data dalam statistik. $\beta$ juga disebut "koefisien".

Selain itu, saya sebutkan $X \beta=y$ bukan apa yang banyak digunakan orang dalam pembelajaran mesin, orang menggunakan versi setengah vektor yang meringkas semua poin data. Seperti

min \sum_{saya} L. (y_{saya}, f (x_{saya}))

$\min \sum_i \text{L}(y_i,f(x_i))$

Saya pikir alasan untuk ini adalah bahwa itu baik ketika berbicara tentang penurunan gradien stokastik dan fungsi kerugian yang berbeda lainnya. Juga, notasi matriks ringkas menghilang untuk masalah selain regresi linier.

Notasi matriks untuk regresi logistik

Adakah yang bisa memberikan lebih banyak rangkuman tentang notasi yang melintasi berbagai literatur? Saya berharap jawaban cerdas untuk pertanyaan ini dapat digunakan sebagai referensi yang baik untuk orang yang membaca buku-buku lintas literatur yang berbeda.

tolong jangan dibatasi oleh contoh saya dan . Ada banyak lainnya. Seperti $A x=b$ $X \beta=y$

Mengapa ada dua formulasi / notasi kerugian logistik yang berbeda?

— hxd1011
sumber

Notasi tidak benar-benar ada sebagai semacam kebenaran yang bisa diverifikasi secara eksternal. Ini adalah bahasa, jadi secara inheren kontekstual dan siap untuk redefinisi. Jika saya menulis x * b dan mengatakan itu berarti matriks x dot vektor produk b, itu hanya tebal atau tidak.

— Sycorax mengatakan Reinstate Monica

Saya akan mengatakan bahwa dan memiliki notasi yang setara. Hanya nama variabel yang telah berubah. Secara umum, Anda tidak akan menemukan penamaan variabel yang konsisten dari kertas ke kertas, bahkan di dalam bidang.

A x = b

$Ax = b$

X β = y

$X \beta = y$

— user20160

Saat ini, ini memiliki 10 upvote, 150 tampilan; sepertinya utas bernilai & bermanfaat. Selain itu, ia memiliki jawaban yang terangkat; jadi saya tidak berpikir itu terlalu luas untuk dijawab.

— gung - Reinstate Monica

Saya setuju dengan @gung, komunitas jelas memiliki minat pada pertanyaan ini. Saya dinominasikan untuk membuka kembali.

— Matthew Drury

Saya pikir itu terlalu luas untuk q reguler. - tetapi karena sudah CW & agak populer, saya telah menambahkan suara saya untuk membuka kembali ke empat yang ada di sana.

— Scortchi

Mungkin pertanyaan yang terkait adalah, "Apa kata yang digunakan dalam berbagai bahasa, dan apa hubungan antara kata-kata ini?"

Notasi dalam beberapa hal seperti bahasa:

Beberapa kata memiliki arti khusus wilayah; beberapa kata dipahami secara luas.
Seperti negara-negara yang kuat menyebarkan bahasa mereka, bidang-bidang yang sukses dan para peneliti berpengaruh menyebarkan notasi mereka.
Bahasa berkembang dari waktu ke waktu: bahasa memiliki perpaduan antara asal-usul historis dan pengaruh modern.

Pertanyaan spesifik Anda ...

Saya tidak setuju dengan pendapat Anda bahwa keduanya mengikuti "notasi yang sama sekali berbeda." Kedua dan menggunakan huruf kapital untuk menunjukkan matriks. Mereka bukan yang berbeda. $X\boldsymbol{\beta} = \boldsymbol{y}$ $A\mathbf{x} = \mathbf{b}$
Pembelajaran mesin sangat terkait dengan statistik, bidang yang besar dan matang. Menggunakan untuk merepresentasikan matriks data hampir pasti merupakan konvensi yang paling mudah dibaca, paling standar untuk diikuti. Sementara $X$ $A\mathbf{x} = \mathbf{b}$ adalah standar untuk menyelesaikan sistem linear, itu bukanlah cara orang melakukan statistik menulis persamaan normal. Anda akan menemukan audiens Anda lebih bingung jika Anda mencoba melakukan itu. Ketika di Roma...
Dalam beberapa hal, inti dari pertanyaan Anda yang telah direvisi adalah, "Apa asal historis statistik menggunakan hurufβ untuk mewakili data dan huruf untuk mewakili variabel yang tidak diketahui untuk dipecahkan?"
- Ini adalah pertanyaan untuk para sejarawan statistik! Pencarian singkat, saya melihat statistik Inggris yang berpengaruh dan akademisi Cambridge Udny Yule digunakan untuk mewakili data dalam Pengantar Teori Statistik (1911). Dia menulis persamaan regresi sebagai , dengan tujuan kuadrat terkecil sebagai meminimalkan $x$ $x_1 = a + bx_2$ $\sum\left( x_1 - a - bx_2\right)^2$ , dan dengan solusi . Setidaknya kembali ke saat itu ... $b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
- RA Fisher yang bahkan lebih berpengaruh digunakan untuk variabel dependen dan untuk variabel independen dalam bukunya 1925 Metode Statistik untuk Pekerja Penelitian . (Kiat ujung ke @Nick Cox untuk memberikan tautan dengan info.) $y$ $x$

Notasi yang baik seperti bahasa yang baik. Hindari jargon khusus bidang bila memungkinkan. Tulis dalam matematika yang setara dengan Bahasa Inggris BBC tinggi, bahasa yang dapat dimengerti oleh kebanyakan orang yang berbicara bahasa Inggris. Seseorang harus menulis, jika memungkinkan, menggunakan notasi yang jelas dan yang dipahami secara luas.

— Matthew Gunn
sumber

Sejarahwan amatir statistik ini dapat memberikan koreksi hebat bahwa Yule tidak pernah menjadi Profesor ... Lebih menarik lagi ada situs web terkait di jeff560.tripod.com/stat.html kecuali bahwa tampaknya sedang turun saat ini.

— Nick Cox

math.hawaii.edu/~tom/history/stat.html tampaknya merupakan salinan. Konvensi sistematis seperti Yunani untuk parameter dan roman untuk variabel yang saya pahami sebagian besar disebabkan oleh RA Fisher, tetapi ada banyak ketidaksesuaian misalnya untuk sampel statistik chi-square menunjukkan tidak ada tanda-tanda memudar.

χ^{2}

$\chi^2$

— Nick Cox

@NickCox Fantastic link jeff560.tripod.com/stat.html (untuk saya ...) yang merujuk Yule dan RA Fisher! Asal mula matematika paling awal dari regresi jelas kembali lebih awal ke Gauss dan Laplace, tetapi dalam pencarian amatir lengkap saya, mereka tampaknya menggunakan notasi yang berbeda.

— Matthew Gunn

jeff560.tripod.com/stat.html seperti yang saya tulis adalah pembaruan 2014; www.math.hawaii.edu/~tom/history/stat.html adalah salinan dari versi dari 2007.

— Nick Cox