Statistik dan Big Data

Saya membaca perhitungan estimasi yang tidak bias dari standar deviasi dan sumber yang saya baca menyatakan (...) kecuali dalam beberapa situasi penting, tugas tersebut memiliki sedikit relevansi dengan aplikasi statistik karena kebutuhannya dihindari oleh prosedur standar, seperti penggunaan uji signifikansi dan interval kepercayaan, atau dengan menggunakan analisis Bayesian. Saya bertanya-tanya …

14 bayesian  statistical-significance  mathematical-statistics  standard-deviation  standard-error 

Misalkan saya ingin mundur terhadap X yang dinormalisasi , tetapi saya ingin solusi yang jarang. Setelah regresi, mengapa membuang koefisien dengan besaran terkecil tidak diperbolehkan?YYYXXX Sebagai catatan, saya telah mendengar tentang, dan sering menggunakan, metode LARS dan LASSO. Saya hanya ingin tahu mengapa pendekatan di atas tidak berlaku.

14 regression  regression-coefficients 

Misalkan independen danY=(Y1,…,Yn)′Y=(Y1,…,Yn)′ \textbf{Y} = (Y_1, \dots, Y_n)' Yi=0Yi=kwith probability pi+(1−pi)e−λiwith probability (1−pi)e−λiλki/k!Yi=0with probability pi+(1−pi)e−λiYi=kwith probability (1−pi)e−λiλik/k!\eqalign{ Y_i = 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ Y_i = k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! } Juga misalkan parameter dan p = ( p 1 , … , p n ) …

14 poisson-regression  zero-inflation 

Pertimbangkan masalah analisis data klasik di mana Anda memiliki hasil YiYiY_{i} dan bagaimana hal itu terkait dengan sejumlah prediktor . Jenis dasar aplikasi yang perlu diingat di sini adalah ituXi1,...,XipXi1,...,XipX_{i1}, ..., X_{ip} YiYiY_{i} adalah beberapa hasil tingkat grup seperti tingkat kejahatan di kota iii . Prediktor adalah karakteristik tingkat kelompok …

14 regression  measurement-error  errors-in-variables 

Mungkin hanya karena saya lelah, tetapi saya mengalami kesulitan mencoba memahami algoritma Forward Stagewise Regression. Dari "Elemen Pembelajaran Statistik" halaman 60: Regresi forward-stagewise (FS) bahkan lebih terbatas daripada regresi step-maju. Itu dimulai seperti regresi maju-langkah, dengan intersep sama dengan [rata-rata] y, dan prediktor terpusat dengan koefisien awalnya semua 0. Pada …

14 regression  algorithms  feature-selection 

Saya memiliki data berikut dan ingin mencocokkan model pertumbuhan eksponensial negatif dengan itu: Days <- c( 1,5,12,16,22,27,36,43) Emissions <- c( 936.76, 1458.68, 1787.23, 1840.04, 1928.97, 1963.63, 1965.37, 1985.71) plot(Days, Emissions) fit <- nls(Emissions ~ a* (1-exp(-b*Days)), start = list(a = 2000, b = 0.55)) curve((y = 1882 * (1 - …

14 r  nonlinear-regression  fitting  nls 

Saya memiliki beberapa data dikotomis, hanya variabel biner, dan bos saya meminta saya untuk melakukan analisis faktor menggunakan matriks korelasi tetrakorik. Saya sebelumnya sudah bisa belajar sendiri bagaimana menjalankan analisis yang berbeda berdasarkan contoh-contoh di sini dan di situs stat UCLA dan situs lain seperti itu, tetapi saya tidak bisa …

14 r  factor-analysis  psychometrics  binary-data 

Tampaknya jika saya memiliki model regresi seperti berfungsi dalam R tidak. Saya juga tidak menemukan apa pun di pencarian web saya, termasuk di sini. Apakah merekonstruksi koefisien mentah (dan mendapatkan variansnya) dari koefisien yang dipasang pada polinomial ortogonal ...yi∼β0+β1xi+β2x2i+β3x3iyi∼β0+β1xi+β2xi2+β3xi3y_i \sim \beta_0 + \beta_1 x_i+\beta_2 x_i^2 +\beta_3 x_i^3Saya dapat memasukkan polinomial …

14 regression  linear-model  regression-coefficients  polynomial 

Saya memiliki dataset kasus insiden berdasarkan musim penyakit langka. Misalnya, ada 180 kasus di musim semi, 90 di musim panas, 45 di musim gugur, dan 210 di musim dingin. Saya bergumul dengan apakah pantas untuk melampirkan kesalahan standar pada angka-angka ini. Tujuan penelitian dapat disimpulkan dalam arti bahwa kita mencari …

14 poisson-distribution  standard-error  count-data 

Saya melakukan percobaan di mana saya membesarkan keluarga yang berbeda yang berasal dari dua populasi sumber yang berbeda. Setiap keluarga diberi satu dari dua perawatan. Setelah percobaan saya mengukur beberapa sifat pada setiap individu. Untuk menguji efek dari salah satu perlakuan atau sumber serta interaksi mereka, saya menggunakan model efek …

14 r  anova  variance  lme4-nlme 

Saya menggunakan libsvm dan saya perhatikan bahwa setiap kali saya memanggil svmtrain (), saya membuat model baru dan sepertinya tidak ada pilihan untuk memasukkan data ke dalam model yang sudah ada. Apakah ini mungkin dilakukan? Apakah saya tidak melihat aspek ini di libsvm?

14 svm  libsvm 

Saya telah mengembangkan sistem bukti konsep untuk pengenalan suara menggunakan model mfcc dan markov tersembunyi. Ini memberikan hasil yang menjanjikan ketika saya menguji sistem pada suara yang dikenal. Meskipun sistem, ketika suara yang tidak dikenal dimasukkan mengembalikan hasil dengan kecocokan terdekat dan skor tidak berbeda untuk merancang itu adalah suara …

14 machine-learning  hidden-markov-model  pattern-recognition 

Saya menganalisis data pada 300.000 siswa di 175 sekolah dengan model efek linear campuran logistik (penyadapan acak). Setiap murid terjadi tepat sekali dan datanya merentang 6 tahun. Bagaimana cara memisahkan varians antara tingkat sekolah dan murid, dengan cara yang mirip dengan VPC / ICC untuk hasil yang berkelanjutan? Saya telah …

14 mixed-model  binary-data 

Ini jelas hanya masalah definisi atau konvensi, dan hampir tidak ada kepentingan praktis. Jika αα\alpha diatur ke nilai tradisionalnya 0,05, apakah nilai ppp 0,0500000000000 ... dianggap signifikan secara statistik atau tidak? Apakah aturan untuk mendefinisikan signifikansi statistik biasanya dianggap sebagai p&lt;αp&lt;αp < \alpha atau p≤αp≤αp \leq \alpha ??

14 hypothesis-testing  statistical-significance  definition 

Jika Anda cocok dengan model linier atau model campuran ada berbagai jenis pengkodean yang tersedia untuk mengubah varibale kategori atau nominal menjadi sejumlah variabel yang diperkirakan paramaters, seperti dummy conding (standar R) dan pengkodean efek. Saya mendengar bahwa efek pengkodean (kadang-kadang disebut penyimpangan atau pengkodean kontras) lebih disukai ketika Anda …

14 regression  mixed-model  categorical-data  contrasts  categorical-encoding