Statistik dan Big Data

Saya menjadi bingung pada notasi makna yang tepat, serta makna beberapa notasi yang berkaitan dengan variabel acak dan distribusinya. Di bawah ini, saya akan mencantumkan hal-hal yang saya pikir benar, serta hal-hal yang tidak saya mengerti, dan saya akan sangat menyukai masukan / koreksi. Saya telah memberi label setiap poin …

17 probability  random-variable 

catatan: tanpa jawaban yang benar setelah sebulan, saya telah memposting ulang ke SO Latar Belakang Saya punya model, fff , di mana Y=f(X)Y=f(X)Y=f(\textbf{X}) XX\textbf{X} adalahmatriksn×mn×mn \times m sampel dariparametermmm danYYY adalahvektorn×1n×1n \times 1 dari output model. fff adalah komputasi yang intensif, jadi saya ingin memperkirakanfff menggunakan spline kubik multivariat melalui(X,Y)(X,Y)(X,Y) …

17 r  multivariate-analysis  splines  interpolation  gaussian-process 

Saya mencoba menghitung persentil ke-95 pada dataset berikut. Saya menemukan beberapa referensi online untuk melakukannya. Pendekatan 1: Berdasarkan data sampel Yang pertama memberitahu saya untuk mendapatkan TOP 95 Percentdataset dan kemudian memilih MINatau AVGdari set yang dihasilkan. Melakukannya untuk dataset berikut memberi saya: AVG: 29162 MIN: 0 Pendekatan 2: Asumsikan …

17 r  dataset  quantiles  sql 

Ketika berbicara tentang data longitudinal, kita dapat merujuk pada data yang dikumpulkan dari waktu ke waktu dari subjek / unit studi yang sama berulang kali, sehingga ada korelasi untuk pengamatan dalam subjek yang sama, yaitu kesamaan dalam subjek. Ketika berbicara tentang data deret waktu, kami juga merujuk pada data yang …

17 time-series  terminology  panel-data 

Saya mengeksplorasi berbagai metode klasifikasi untuk proyek yang sedang saya kerjakan, dan saya tertarik untuk mencoba Hutan Acak. Saya mencoba mendidik diri sendiri seiring berjalannya waktu, dan akan menghargai setiap bantuan yang diberikan oleh komunitas CV. Saya telah membagi data saya ke dalam set pelatihan / tes. Dari percobaan dengan …

17 r  machine-learning  random-forest 

Saya tahu korelasi tidak menyiratkan sebab-akibat, melainkan kekuatan dan arah hubungan. Apakah regresi linier sederhana menyiratkan sebab-akibat? Atau diperlukan uji statistik inferensial (uji-t, dll.) Untuk itu?

17 regression  correlation  causality 

Saya seorang mahasiswa kedokteran yang mencoba memahami statistik (!) - jadi harap bersikap lembut! ;) Saya sedang menulis esai yang mengandung cukup banyak analisis statistik termasuk analisis survival (Kaplan-Meier, Log-Rank dan regresi Cox). Saya menjalankan regresi Cox pada data saya mencoba mencari tahu apakah saya dapat menemukan perbedaan yang signifikan …

17 regression  survival  hazard 

Saya memiliki beberapa data frekuensi kumulatif. Garis sepertinya cocok dengan data dengan sangat baik, tetapi ada goyangan siklik / periodik di baris. Saya ingin memperkirakan kapan frekuensi kumulatif akan mencapai nilai tertentu c . Ketika saya memetakan nilai residu vs pas, saya mendapatkan perilaku sinusoidal yang indah.y=ax+by=ax+by=ax+bccc Sekarang, untuk menambahkan …

17 time-series  regression 

Salah satu cara untuk meringkas perbandingan dua kurva survival adalah dengan menghitung rasio bahaya (HR). Ada (setidaknya) dua metode untuk menghitung nilai ini. Metode logrank. Sebagai bagian dari perhitungan Kaplan-Meier, hitung jumlah peristiwa yang diamati (kematian, biasanya) di masing-masing kelompok ( , dan O b ), dan jumlah peristiwa yang …

17 survival  hazard 

Saya mencoba mencari cara untuk melakukan beberapa pengujian hipotesis pada regresi linier (hipotesis nol menjadi tidak ada korelasi). Setiap panduan dan halaman tentang subjek yang saya temui tampaknya menggunakan uji-t. Tapi saya tidak mengerti apa arti uji-t untuk regresi linier sebenarnya. Uji-t, kecuali saya memiliki pemahaman yang salah atau model …

17 regression  t-test 

Saya memiliki 150 fitur, dan banyak di antaranya sangat berkorelasi satu sama lain. Tujuan saya adalah untuk memprediksi nilai variabel diskrit, yang kisarannya 1-8 . Ukuran sampel saya adalah 550 , dan saya menggunakan validasi silang 10 kali lipat . AFAIK, di antara metode regularisasi (Lasso, ElasticNet, dan Ridge), Ridge …

17 regression  lasso  regularization  ridge-regression  elastic-net 

Adakah metode pengelompokan "non-parametrik" yang tidak perlu kita tentukan jumlah clusternya? Dan parameter lain seperti jumlah titik per cluster, dll.

17 clustering 

Bagaimana cara menghitung posterior dengan N ~ (a, b) setelah mengamati n titik data? Saya berasumsi bahwa kita harus menghitung mean sampel dan varians dari titik data dan melakukan semacam perhitungan yang menggabungkan posterior dengan sebelumnya, tapi saya tidak begitu yakin seperti apa rumus kombinasi itu.

17 bayesian  normal-distribution  conjugate-prior 

Saya punya beberapa pertanyaan yang membingungkan saya mengenai CNN. 1) Fitur yang diekstraksi menggunakan CNN adalah skala dan rotasi invarian? 2) Kernel yang kita gunakan untuk berbelit-belit dengan data kita sudah didefinisikan dalam literatur? kernel apa ini? apakah berbeda untuk setiap aplikasi?

17 neural-networks  deep-learning  conv-neural-network 

Saya memiliki data kepadatan ikan yang saya coba bandingkan di antara beberapa teknik pengumpulan yang berbeda, datanya memiliki banyak nol, dan histogram terlihat vaugley sesuai untuk distribusi poisson kecuali bahwa, sebagai kepadatan, itu bukan data integer. Saya relatif baru di GLM dan telah menghabiskan beberapa hari terakhir mencari online cara …

17 regression  distributions  generalized-linear-model  link-function