Statistik dan Big Data

Mudah-mudahan ini adalah pertanyaan yang seseorang di sini dapat menjawab untuk saya tentang sifat dekomposisi jumlah kuadrat dari model efek campuran cocok dengan lmer(dari paket lme4 R). Pertama saya harus mengatakan bahwa saya menyadari kontroversi dengan menggunakan pendekatan ini, dan dalam praktiknya saya akan lebih cenderung menggunakan LRT bootstrap untuk …

30 r  anova  mixed-model  lme4-nlme 

Saya mencari distribusi di mana kepadatan probabilitas berkurang dengan cepat setelah beberapa titik menjauh dari rata-rata, atau dengan kata-kata saya sendiri "distribusi berbentuk dataran tinggi". Sesuatu di antara Gaussian dan seragam.

30 distributions  normal-distribution  uniform 

Bagaimana saya dapat secara manual menghasilkan nomor acak dari distribusi yang diberikan, seperti misalnya, 10 realisasi dari distribusi normal standar?

30 normal-distribution  simulation  monte-carlo  random-generation  randomness 

Saya bertanya-tanya apakah ada yang bisa memberi tahu saya tentang perbedaan saat ini antara kedua fungsi ini. Saya menemukan pertanyaan berikut: Bagaimana memilih perpustakaan nlme atau lme4 R untuk model efek campuran? , tapi itu berasal dari beberapa tahun yang lalu. Itu seumur hidup di lingkaran perangkat lunak. Pertanyaan spesifik …

30 r  mixed-model  lme4-nlme 

Saya bekerja dengan kumpulan data besar (rahasia, jadi saya tidak bisa berbagi terlalu banyak), dan sampai pada kesimpulan diperlukan regresi binomial negatif. Saya belum pernah melakukan regresi glm sebelumnya, dan saya tidak dapat menemukan informasi yang jelas tentang apa asumsi itu. Apakah mereka sama untuk MLR? Dapatkah saya mengubah variabel …

30 regression  generalized-linear-model  data-transformation  assumptions  negative-binomial 

Saya mencoba menyusun kurikulum matematika mandiri untuk mempersiapkan pembelajaran penambangan data dan pembelajaran mesin. Ini dimotivasi dengan memulai kelas pembelajaran mesin Andrew Ng di Coursera dan merasa bahwa sebelum melanjutkan saya perlu meningkatkan keterampilan matematika saya. Saya lulus dari perguruan tinggi beberapa saat yang lalu sehingga aljabar dan statistik saya …

30 machine-learning  references  data-mining 

Misalkan menunjukkan fungsi distribusi binomial (DF) dengan parameter n ∈ N dan p ∈ ( 0 , 1 ) dievaluasi pada r ∈ { 0 , 1 , … , n } : B ( n , p , r ) = r ∑ i = 0 ( nB(n,p,r)B(n,p,r)B(n,p,r)n∈Nn∈Nn \in …

30 binomial  poisson-distribution  convergence  probability-inequalities 

Saya ingin tahu apakah ada uji statistik untuk "menguji" pentingnya distribusi bimodal. Maksud saya, seberapa banyak data saya memenuhi distribusi bimodal atau tidak? Jika demikian, apakah ada tes dalam program R?

30 r  hypothesis-testing  distributions  bimodal 

Sering kali saya menemukan peringatan informal terhadap "pengintaian data" (inilah salah satu contoh yang lucu ), dan saya pikir saya memiliki ide intuitif tentang kira-kira apa artinya itu, dan mengapa itu mungkin menjadi masalah. Di sisi lain, "analisis data eksplorasi" tampaknya menjadi prosedur yang sangat terhormat dalam statistik, setidaknya dinilai …

30 multiple-comparisons  interpretation  eda 

Saya memiliki banyak string alamat: 1600 Pennsylvania Ave, Washington, DC 20500 USA Saya ingin mengurai mereka menjadi komponen-komponen mereka: street: 1600 Pennsylvania Ave city: Washington province: DC postcode: 20500 country: USA Tetapi tentu saja datanya kotor: itu berasal dari banyak negara dalam banyak bahasa, ditulis dengan cara yang berbeda, mengandung …

30 machine-learning  text-mining 

Saya memiliki dataset besar dan saya ingin melakukan pengurangan dimensionalitas. Sekarang di mana-mana saya membaca bahwa saya dapat menggunakan PCA untuk ini. Namun, saya masih belum mendapatkan apa yang harus dilakukan setelah menghitung / melakukan PCA. Dalam R ini mudah dilakukan dengan perintah princomp. Tetapi apa yang harus dilakukan setelah …

30 r  pca 

Saya memiliki sebuah manuskrip tentang metode bootstrap untuk menguji hipotesis satu mean, dan saya ingin mengirimkannya untuk publikasi, tetapi saya memiliki dilema moral. Saya telah menandatangani protes terhadap Elsevier untuk praktik bisnis mereka yang tidak etis, dan membaca seluruh masalah itu benar-benar membuat saya mempertanyakan etika jurnal akademik nirlaba lainnya. …

30 hypothesis-testing  bootstrap  journals 

Diberikan dataset dengan instance xsayaxsayax_i bersama dengan kelas mana setiap instance persis milik satu kelasx i y iNNNxsayaxsayax_iysayaysayay_i classifier multiclass Setelah pelatihan dan pengujian saya pada dasarnya memiliki tabel dengan benar kelas dan diprediksi kelas untuk setiap instance dalam tes set. Jadi untuk setiap contoh saya memiliki kecocokan ( ) …

30 machine-learning  classification  multi-class 

Saya sangat baru dengan R dan statistik secara umum, tetapi saya perlu membuat sebar yang saya pikir mungkin di luar kapasitas aslinya. Saya memiliki beberapa vektor pengamatan dan saya ingin membuat sebar dengan mereka, dan masing-masing pasangan jatuh ke dalam satu dari tiga kategori. Saya ingin membuat sebar yang memisahkan …

30 r  data-visualization  scatterplot 

Model aditif umum adalah yang mana y=α+f1(x1)+f2(x2)+eiy=α+f1(x1)+f2(x2)+ei y = \alpha + f_1(x_1) + f_2(x_2) + e_i misalnya. fungsinya halus, dan diperkirakan. Biasanya dengan splines dihukum. MGCV adalah paket dalam R yang melakukannya, dan penulis (Simon Wood) menulis buku tentang paketnya dengan contoh-contoh R. Ruppert, dkk. (2003) menulis buku yang jauh …

30 r  nonparametric  interaction  splines  intuition