Statistik dan Big Data

Saya telah mewarisi beberapa kode analisis data yang, tidak menjadi seorang ahli ekonometrika, saya berjuang untuk memahami. Satu model menjalankan regresi variabel instrumental dengan perintah Stata berikut ivreg my_dv var1 var2 var3 (L.my_dv = D2.my_dv D3.my_dv D4.my_dv) Dataset ini adalah panel dengan beberapa pengamatan berurutan untuk set variabel ini. Mengapa …

12 regression  stata  instrumental-variables 

Tolong, perkenalan, maju, dan bahkan tidak jelas. Sebagian besar untuk menguji diri sendiri. Saya ingin memastikan saya tahu apa yang saya bicarakan :) Terima kasih

12 teaching 

Saya sedang melakukan analisis keranjang belanja dataset saya adalah kumpulan vektor transaksi, dengan item-item produk yang dibeli. Ketika menerapkan k-means pada transaksi, saya akan selalu mendapatkan beberapa hasil. Matriks acak mungkin juga akan menampilkan beberapa kluster. Apakah ada cara untuk menguji apakah pengelompokan yang saya temukan adalah signifikan, atau itu …

12 clustering  statistical-significance  binary-data 

Apakah ada aturan praktis atau bahkan cara apa pun untuk mengetahui seberapa besar sampel dalam rangka memperkirakan model dengan sejumlah parameter tertentu? Jadi, misalnya, jika saya ingin memperkirakan regresi kuadrat-terkecil dengan 5 parameter, seberapa besar seharusnya sampel itu? Apakah penting teknik estimasi apa yang Anda gunakan (mis. Kemungkinan maksimum, kuadrat …

12 sample-size  estimation  least-squares  maximum-likelihood 

Sebagai contoh aplikasi, pertimbangkan dua properti berikut pengguna Stack Overflow: reputasi dan jumlah tampilan profil . Diharapkan bahwa bagi sebagian besar pengguna, kedua nilai tersebut akan proporsional: pengguna tingkat tinggi menarik lebih banyak perhatian dan karenanya mendapatkan lebih banyak tampilan profil. Karena itu, menarik untuk mencari pengguna yang memiliki banyak …

12 ratio 

Saya seorang pemula dan saya mencoba memahami apa yang ditunjukkan grafik autokorelasi. Saya telah membaca beberapa penjelasan dari sumber yang berbeda seperti halaman ini atau halaman Wikipedia terkait yang tidak saya kutip di sini. Saya memiliki kode yang sangat sederhana ini, di mana saya memiliki tanggal dalam indeks saya selama …

12 python  autocorrelation  pandas 

Saya mengacu pada penyesuaian pintu belakang dan penyesuaian pintu depan di sini : Penyesuaian pintu belakang : Masalah epidemiologis pola dasar dalam statistik adalah menyesuaikan efek pengacau yang terukur. Kriteria pintu belakang Pearl menggeneralisasikan ide ini. Penyesuaian pintu depan : Jika beberapa variabel tidak teramati maka kita mungkin perlu menggunakan …

12 causality  dag 

Fungsi softmax, yang biasa digunakan dalam jaringan saraf untuk mengubah bilangan real menjadi probabilitas, adalah fungsi yang sama dengan distribusi Boltzmann, distribusi probabilitas atas energi untuk ensembel partikel dalam kesetimbangan termal pada suhu T yang diberikan dalam termodinamika. Saya dapat melihat beberapa alasan heuristik yang jelas mengapa ini praktis: Tidak …

12 machine-learning  neural-networks  softmax 

Saya bertanya-tanya apa nilai intrinsik dari penggunaan rata-rata harmonik (misalnya untuk menghitung ukuran-F), yang bertentangan dengan rata-rata aritmatika tertimbang dalam menggabungkan presisi dan daya ingat? Saya berpikir bahwa rata-rata aritmatika tertimbang dapat memainkan peran rata-rata harmonik, atau apakah saya melewatkan sesuatu?

12 machine-learning  monte-carlo  precision-recall  harmonic-mean 

Saya telah melihat ceramah CS231N dari Stanford dan saya mencoba untuk membungkus kepala saya di beberapa masalah dalam arsitektur CNN. Apa yang saya coba pahami adalah jika ada beberapa pedoman umum untuk memilih ukuran filter konvolusi dan hal-hal seperti langkah atau apakah ini lebih merupakan seni daripada sains? Kumpulan yang …

12 neural-networks  deep-learning  conv-neural-network 

Saya mengerti bahwa diberikan satu set pengamatan independen yang Maximum Likelihood Estimator (atau, sama, MAP dengan datar / seragam sebelumnya) yang mengidentifikasi parameter yang menghasilkan distribusi Model p_ {Model} \ kiri (\, \ cdot \,; \ mathbf {θ} \ kanan) yang paling cocok dengan pengamatan itu adalahmmmO={o(1),...,o(m)}O={o(1),...,o(m)}\mathbb{O}=\{\mathbf{o}^{(1)}, . . . …

12 maximum-likelihood  deep-learning  cross-entropy 

Sudah lebih dari 2 tahun saya mengerjakan seri waktu yang berbeda. Saya telah membaca banyak artikel bahwa ACF digunakan untuk mengidentifikasi urutan istilah MA, dan PACF untuk AR. Ada aturan praktis bahwa untuk MA, jeda di mana ACF mati tiba-tiba adalah urutan MA dan juga untuk PACF dan AR. Ini …

12 time-series  arima  autoregressive  moving-average 

Dalam situasi apa kita harus menggunakan t-SNE (terlepas dari visualisasi data)? T-SNE digunakan untuk pengurangan dimensi. Jawaban untuk pertanyaan ini menunjukkan bahwa t-SNE harus digunakan hanya untuk visualisasi dan bahwa kita tidak boleh menggunakannya untuk pengelompokan. Lalu apa gunanya t-SNE?

12 data-visualization  dimensionality-reduction  tsne 

Setelah satu tahun di sekolah pascasarjana, pemahaman saya tentang "kuadrat terkecil tertimbang" adalah sebagai berikut: biarkan y∈Rny∈Rn\mathbf{y} \in \mathbb{R}^n , XX\mathbf{X} menjadi beberapa matriks desain n×pn×pn \times p , menjadi parameter vektor, \ boldsymbol \ epsilon \ in \ mathbb {R} ^ n menjadi vektor kesalahan sedemikian rupa sehingga \ …

12 r  linear-model  weighted-regression 

Dalam Pengenalan Pola Bishop dan Pembelajaran Mesin saya membaca yang berikut, tepat setelah kerapatan probabilitas diperkenalkan:p ( x ∈ ( a , b ) ) = ∫bSebuahp ( x ) d xp(x∈(a,b))=∫abp(x)dxp(x\in(a,b))=\int_a^bp(x)\textrm{d}x Di bawah perubahan variabel nonlinier, kepadatan probabilitas berubah secara berbeda dari fungsi sederhana, karena faktor Jacobian. Sebagai contoh, …

12 machine-learning  probability