Statistik dan Big Data

Saya seorang siswa lulusan matematika murni dengan sedikit latar belakang dalam matematika terapan. Sejak musim gugur yang lalu saya telah mengambil kelas di buku Casella & Berger, dan saya telah menyelesaikan ratusan (230+) halaman masalah latihan dalam buku ini. Saat ini saya di Bab 10. Namun, karena saya belum mengambil …

22 distributions  references  eda 

Saya mendengarkan ceramah dan melihat slide ini: Seberapa benar itu?

22 deep-learning  deep-belief-networks 

Bagaimana saya bisa mengecek apakah data saya mis. Gaji berasal dari distribusi eksponensial berkelanjutan dalam R? Ini histogram dari sampel saya: . Bantuan apa pun akan sangat dihargai!

22 r  distributions  goodness-of-fit  exponential 

Pertanyaan ini adalah tentang cara yang efisien untuk menghitung komponen utama. Banyak teks tentang advokasi PCA linier menggunakan dekomposisi nilai singular dari data dengan santai . Yaitu, jika kita memiliki data dan ingin mengganti variabel ( kolomnya ) dengan komponen utama, kita lakukan SVD: , nilai singular (akar kuadrat dari …

22 pca  algorithms  svd  matrix-decomposition 

Dalam komentar ini , Nick Cox menulis: Masuk ke kelas adalah metode kuno. Sementara histogram dapat berguna, perangkat lunak statistik modern membuatnya mudah dan disarankan untuk menyesuaikan distribusi dengan data mentah. Binning hanya membuang detail yang sangat penting dalam menentukan distribusi mana yang masuk akal. Konteks komentar ini menyarankan menggunakan …

22 references  histogram  binning  qq-plot 

Ketika kita melakukan beberapa regresi dan mengatakan kita sedang melihat perubahan rata-rata dalam variabel untuk perubahan dalam variabel , mempertahankan semua variabel lain konstan, nilai apa yang kita pegang pada variabel lain konstan? Maksud mereka? Nol? Ada nilai?yyyxxx Saya cenderung berpikir itu ada nilainya; hanya mencari klarifikasi. Jika ada yang …

22 multiple-regression  interpretation  least-squares  regression-coefficients  controlling-for-a-variable 

Saya melakukan uji statistik independen dengan hipotesis nol yang sama, dan ingin menggabungkan hasilnya menjadi satuNNN nilai. Tampaknya ada dua metode yang "diterima": metodeFisher dan metode Stouffer.ppp Pertanyaan saya adalah tentang metode Stouffer. Untuk setiap tes terpisah saya mendapatkan z-score . Di bawah hipotesis nol, masing-masing didistribusikan dengan distribusi normal …

22 hypothesis-testing  chi-squared  p-value  multiple-comparisons  combining-p-values 

Saya telah melihat ke dalam paket boot di R dan sementara saya telah menemukan sejumlah primer yang bagus tentang cara menggunakannya, saya belum menemukan apa pun yang menjelaskan dengan tepat apa yang terjadi "di balik layar". Misalnya, dalam contoh ini , panduan ini menunjukkan cara menggunakan koefisien regresi standar sebagai …

22 r  regression  bootstrap  regression-coefficients 

Saya saat ini sedang membaca "Bayesian Reasoning and Machine Learning" oleh David Barber dan ini adalah buku yang ditulis dengan sangat baik dan menarik untuk mempelajari dasar-dasarnya. Jadi pertanyaan untuk seseorang yang sudah melakukan ini. Apa set buku berikutnya yang harus saya lalui setelah saya memiliki kemampuan yang wajar dengan …

22 machine-learning  bayesian  references  graphical-model 

Dari sedikit yang saya tahu algoritma EM dapat digunakan untuk menemukan kemungkinan maksimum ketika menetapkan ke nol turunan parsial sehubungan dengan parameter kemungkinan memberikan seperangkat persamaan yang tidak dapat diselesaikan secara analitis. Tetapi apakah algoritma EM diperlukan alih-alih menggunakan beberapa teknik numerik untuk mencoba menemukan kemungkinan maksimum sehubungan dengan kendala …

22 expectation-maximization 

Saya merasa ini mungkin telah ditanyakan di tempat lain, tetapi tidak benar-benar dengan jenis deskripsi dasar yang saya butuhkan. Saya tahu non-parametrik bergantung pada median alih-alih mean untuk membandingkan ... sesuatu. Saya juga percaya ini bergantung pada "derajat kebebasan" (?) Bukannya standar deviasi. Koreksi saya jika saya salah. Saya telah …

22 hypothesis-testing  nonparametric  wilcoxon-mann-whitney 

Apakah pembelajaran mesin subjek penting bagi ahli statistik untuk berkenalan? Tampaknya pembelajaran mesin adalah statistik. Mengapa program statistik (sarjana dan pascasarjana) tidak membutuhkan pembelajaran mesin?

22 machine-learning  careers 

Ketika bekerja dengan banyak variabel input, kita sering khawatir tentang multikolinieritas . Ada sejumlah ukuran multikolinieritas yang digunakan untuk mendeteksi, memikirkan, dan / atau mengkomunikasikan multikolinieritas. Beberapa rekomendasi umum adalah: The multiple untuk variabel tertentu R2jRj2R^2_j Toleransi, , untuk variabel tertentu 1−R2j1−Rj21-R^2_j Varians inflasi varians, , untuk variabel tertentu VIF=1toleranceVIF=1tolerance\text{VIF}=\frac{1}{\text{tolerance}} …

22 multicollinearity 

Paket randomForest R tidak dapat menangani faktor dengan lebih dari 32 level. Ketika diberikan lebih dari 32 level, ia memancarkan pesan kesalahan: Tidak dapat menangani prediktor kategori dengan lebih dari 32 kategori. Tetapi data yang saya miliki memiliki beberapa faktor. Beberapa dari mereka memiliki 1000+ level dan beberapa dari mereka …

22 r  random-forest  many-categories 

Saya ingin bereksperimen dengan jaringan saraf untuk masalah klasifikasi yang saya hadapi. Saya berlari ke kertas yang berbicara tentang RBM. Tetapi dari apa yang saya mengerti, mereka tidak berbeda dari memiliki jaringan saraf multilayer. Apakah ini akurat? Selain itu saya bekerja dengan R dan tidak melihat paket kalengan untuk RBM. …

22 r  machine-learning  classification  neural-networks