Statistik dan Big Data

Apakah data normalisasi (memiliki nol rata-rata dan standar deviasi kesatuan) sebelum melakukan validasi silang k-fold berulang-ulang memiliki konsekuensi negatif seperti overfitting? Catatan: ini untuk situasi di mana #cases> total #features Saya mengubah beberapa data saya menggunakan transformasi log, kemudian menormalkan semua data seperti di atas. Saya kemudian melakukan pemilihan fitur. …

16 cross-validation  normalization 

Saya selalu kesulitan menjelaskan teknik statistik kepada audiens tanpa latar belakang statistik. Jika saya ingin menjelaskan apa itu GLM untuk audiens seperti itu (tanpa membuang jargon statistik), apa yang akan menjadi cara terbaik atau paling efektif? Saya biasanya menjelaskan GLM dengan tiga bagian - (1) komponen acak yang merupakan variabel …

16 generalized-linear-model  communication 

Saya memiliki aplikasi berbasis servlet di mana saya mengukur waktu yang dibutuhkan untuk menyelesaikan setiap permintaan ke servlet itu. Saya sudah menghitung statistik sederhana seperti rata-rata dan maksimum; Saya ingin menghasilkan beberapa analisis yang lebih canggih, dan untuk itu saya percaya saya perlu memodelkan waktu respons ini dengan benar. Tentunya, …

16 distributions  web 

Ini eksperimen saya: Saya menggunakan findPeaksfungsi dalam paket kuantmod : Saya ingin mendeteksi puncak "lokal" dalam toleransi 5, yaitu lokasi pertama setelah rangkaian waktu turun dari puncak lokal sebanyak 5: aa=100:1 bb=sin(aa/3) cc=aa*bb plot(cc, type="l") p=findPeaks(cc, 5) points(p, cc[p]) p Outputnya adalah [1] 3 22 41 Tampaknya salah, karena saya …

16 r  time-series 

Saya menyadari ini subjektif, tetapi saya pikir akan menyenangkan untuk berbicara tentang kumpulan data favorit kami dan apa yang kami pikir membuatnya menarik. Ada banyak data di luar sana, dan apa dengan semua API (misalnya, Datamob ) bersama dengan kumpulan data klasik (misalnya, data R ), saya pikir ini bisa …

16 dataset 

Saya memiliki data jumlah (analisis permintaan / penawaran dengan menghitung jumlah pelanggan, tergantung pada - kemungkinan - banyak faktor). Saya mencoba regresi linier dengan kesalahan normal, tetapi plot QQ saya tidak terlalu bagus. Saya mencoba transformasi log dari jawabannya: sekali lagi, plot QQ buruk. Jadi sekarang, saya mencoba regresi dengan …

16 count-data  poisson-regression  overdispersion  quasi-likelihood 

Pertimbangkan regresi linier dengan beberapa regularisasi: Misalnya Find yang meminimalkan | | A x - b | | 2 + λ | | x | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Biasanya, kolom A distandarisasi untuk memiliki rata-rata nol dan norma satuan, sedangkan berpusat untuk memiliki rata-rata nol. Saya ingin memastikan apakah …

16 regression  lasso  regularization  standardization 

Saya telah ditugaskan untuk memindahkan salah satu model stokastik besar kami saat ini dari SAS dan ke bahasa baru. Secara pribadi, saya lebih suka bahasa kompilasi tradisional, tetapi PI ingin saya memeriksa R, yang saya tidak pernah gunakan. Motivasi kami untuk mengeluarkan model dari SAS adalah (1) banyak orang tidak …

16 r  computing 

Saya cukup baru dalam hal ini, jadi saya harap Anda memaafkan saya jika pertanyaannya naif. (Konteks: Saya belajar ekonometrik dari buku Davidson & MacKinnon "Teori dan Metode Econometrik" , dan mereka sepertinya tidak menjelaskan ini; Saya juga melihat buku optimisasi Luenberger yang berkaitan dengan proyeksi pada tingkat yang sedikit lebih …

16 regression  least-squares 

Saya memiliki satu set data di mana setiap data terdiri dari nnn ukuran berbeda. Untuk setiap ukuran, saya memiliki nilai tolok ukur. Saya ingin tahu seberapa dekat setiap data dengan nilai tolok ukur. Saya berpikir untuk menggunakan Weighted Euclidean Distance seperti ini: dx , b= ( ∑ni = 1wsaya( xsaya- …

16 distance-functions 

Saya memiliki model linier klasik, dengan 5 kemungkinan regresi. Mereka tidak berkorelasi satu sama lain, dan memiliki korelasi yang cukup rendah dengan respons. Saya telah sampai pada model di mana 3 dari regressor memiliki koefisien signifikan untuk statistik t mereka (p <0,05). Menambahkan salah satu atau kedua dari 2 variabel …

16 r  regression  self-study  linear-model 

Ini agak pertanyaan pemula, tetapi bagaimana seseorang menginterpretasikan hasil exp (B) dari 6.012 dalam model regresi logistik multinomial? 1) apakah 6.012-1.0 = 5.012 = peningkatan risiko 5012%? atau 2) 6.012 / (1 + 6.012) = 0.857 = peningkatan risiko 85.7%? Jika kedua alternatif tidak benar, dapatkah seseorang menyebutkan cara yang …

16 multinomial 

Saya diminta untuk menulis pengantar statistik dan saya berjuang bagaimana menunjukkan secara grafis cara p-value dan kekuatan berhubungan. Saya telah menghasilkan grafik ini: Pertanyaan saya: Apakah ada cara yang lebih baik untuk menampilkan ini? Ini kode R saya x <- seq(-4, 4, length=1000) hx <- dnorm(x, mean=0, sd=1) plot(x, hx, …

16 r  teaching  power 

Saya mencoba menerapkan analisis "titik perubahan", atau menggunakan regresi multifase nls()dalam R. Ini beberapa data palsu yang saya buat . Rumus yang ingin saya gunakan agar sesuai dengan data adalah: y=β0+β1x+β2max(0,x−δ)y=β0+β1x+β2max(0,x−δ)y = \beta_0 + \beta_1x + \beta_2\max(0,x-\delta) Apa yang seharusnya dilakukan adalah menyesuaikan data hingga titik tertentu dengan intersep dan …

16 r  regression  change-point  nls 

Saya seorang farmakologis dan, dalam pengalaman saya, hampir semua makalah dalam penelitian biomedis dasar menggunakan uji-t Student (baik untuk mendukung kesimpulan atau untuk memenuhi harapan ...). Beberapa tahun yang lalu menarik perhatian saya bahwa Student's t-test bukan tes yang paling efisien yang dapat digunakan: tes berurutan menawarkan daya lebih besar …

16 hypothesis-testing  teaching  statistical-significance