Statistik dan Big Data

Saya ingin membuat plot yang dijelaskan dalam buku ElemStatLearn "Unsur-unsur Pembelajaran Statistik: Penambangan Data, Inferensi, dan Prediksi. Edisi Kedua" oleh Trevor Hastie & Robert Tibshirani & Jerome Friedman. Plotnya adalah: Saya bertanya-tanya bagaimana saya bisa menghasilkan grafik yang tepat ini R, khususnya perhatikan grafik kotak dan perhitungan untuk menunjukkan batas.

31 r  data-visualization  k-nearest-neighbour 

Wikipedia menjelaskan: Untuk kumpulan data, rata-rata adalah jumlah nilai yang dibagi dengan jumlah nilai. Namun definisi ini sesuai dengan apa yang saya sebut "rata-rata" (setidaknya itulah yang saya ingat pelajari). Namun Wikipedia sekali lagi mengutip: Ada langkah-langkah statistik lain yang menggunakan sampel yang membingungkan sebagian orang dengan rata-rata - termasuk …

31 mean  interpretation  average 

Dalam pekerjaan saya, kami membandingkan peringkat yang diprediksi dengan peringkat yang benar untuk beberapa set data. Hingga saat ini, kami telah menggunakan Kendall-Tau sendirian. Sekelompok yang mengerjakan proyek serupa menyarankan agar kami mencoba menggunakan Goodman-Kruskal Gamma sebagai gantinya, dan mereka lebih menyukainya. Saya bertanya-tanya apa perbedaan antara algoritma korelasi peringkat …

31 spearman-rho  kendall-tau  goodman-kruskal-gamma 

Diketahui bahwa interval kepercayaan dan pengujian hipotesis statistik sangat terkait. Pertanyaan saya terfokus pada perbandingan cara untuk dua kelompok berdasarkan variabel numerik. Anggaplah hipotesis tersebut diuji menggunakan uji-t. Di sisi lain, seseorang dapat menghitung interval kepercayaan untuk sarana kedua kelompok. Apakah ada hubungan antara interval kepercayaan yang tumpang tindih dan …

31 hypothesis-testing  confidence-interval 

Saya telah menemukan beberapa distribusi yang BUGS dan R memiliki parameterisasi berbeda: Normal, log-Normal, dan Weibull. Untuk masing-masing ini, saya mengumpulkan bahwa parameter kedua yang digunakan oleh R perlu diubah terbalik (1 / parameter) sebelum digunakan dalam BUGS (atau JAGS dalam kasus saya). Adakah yang tahu daftar lengkap transformasi yang …

31 r  distributions  bugs  jags  parameterization 

Apakah mungkin untuk memvisualisasikan output dari Analisis Komponen Utama dengan cara yang memberikan wawasan lebih dari sekadar tabel ringkasan? Apakah mungkin untuk melakukannya ketika jumlah pengamatan besar, katakan ~ 1e4? Dan mungkinkah melakukannya di R [lingkungan lain diterima]?

31 r  data-visualization  pca  biplot 

Terkadang dalam laporan saya menyertakan penafian tentang nilai-p dan statistik inferensial lainnya yang saya berikan. Saya mengatakan bahwa karena sampel tidak acak, maka statistik seperti itu tidak akan berlaku ketat. Kata-kata spesifik saya biasanya diberikan dalam catatan kaki: "Sementara, secara nyata, statistik inferensial hanya berlaku dalam konteks pengambilan sampel acak, …

31 inference  p-value 

Saya mencoba menganalisis beberapa data menggunakan model efek campuran. Data yang saya kumpulkan mewakili bobot beberapa hewan muda dari genotipe berbeda dari waktu ke waktu. Saya menggunakan pendekatan yang diusulkan di sini: https://gribblelab.wordpress.com/2009/03/09/repeat-measures-anova-using-r/ Secara khusus saya menggunakan solusi # 2 Jadi saya punya sesuatu seperti require(nlme) model <- lme(weight ~ …

31 r  anova  mixed-model  multiple-comparisons  repeated-measures 

Meskipun pertanyaan ini agak subyektif, saya harap ini memenuhi syarat sebagai pertanyaan subyektif yang baik menurut pedoman faq . Ini didasarkan pada pertanyaan yang Olle Häggström tanyakan kepada saya setahun yang lalu dan meskipun saya memiliki beberapa pemikiran tentang hal itu saya tidak memiliki jawaban yang pasti dan saya akan …

31 hypothesis-testing  data-mining 

Pada Mei 2010, pengguna Wikipedia Mcorazao menambahkan kalimat pada artikel skewness bahwa "Nilai nol menunjukkan bahwa nilai-nilai tersebut didistribusikan secara merata di kedua sisi rata-rata, biasanya tetapi tidak selalu menyiratkan distribusi simetris." Namun, halaman wiki tidak memiliki contoh distribusi aktual yang melanggar aturan ini. Googling "contoh distribusi asimetris dengan nol …

31 distributions  expected-value  skewness 

Konteks: Menanggapi pertanyaan sebelumnya tentang penelitian yang dapat direproduksi, Jake menulis Satu masalah yang kami temukan saat membuat arsip JASA kami adalah bahwa versi dan standar paket CRAN berubah. Jadi, dalam arsip itu, kami juga menyertakan versi paket yang kami gunakan. Sistem berbasis sketsa mungkin akan rusak ketika orang mengubah …

31 r  reproducible-research  project-management 

Membayangkan Anda menjalankan regresi linier dengan empat prediktor numerik (IV1, ..., IV4) Ketika hanya IV1 yang dimasukkan sebagai prediktor, beta terstandardisasi adalah +.20 Ketika Anda juga memasukkan IV2 ke IV4 tanda koefisien regresi standar dari IV1 membalik -.25(yaitu, itu menjadi negatif). Ini menimbulkan beberapa pertanyaan: Berkenaan dengan terminologi, apakah Anda …

31 regression  predictor 

Ambil dan dan anggaplah kita memodelkan tugas memprediksi y yang diberikan x menggunakan regresi logistik. Kapan koefisien regresi logistik dapat ditulis dalam bentuk tertutup?x∈{0,1}dx∈{0,1}dx \in \{0,1\}^dy∈{0,1}y∈{0,1}y \in \{0,1\} Salah satu contoh adalah ketika kita menggunakan model jenuh. Yaitu, tentukan , di mana mengindeks set dalam set daya , dan mengembalikan …

31 logistic  generalized-linear-model 

Selain gnuplot dan ggobi , alat open source apa yang digunakan orang untuk memvisualisasikan data multi-dimensi? Gnuplot kurang lebih adalah paket perencanaan dasar. Ggobi dapat melakukan sejumlah hal bagus, seperti: menghidupkan data sepanjang dimensi atau di antara koleksi diskrit animate kombinasi linear yang memvariasikan koefisien menghitung komponen utama dan transformasi …

31 data-visualization  open-source 

Apa itu standar deviasi, bagaimana cara menghitungnya dan apa gunanya dalam statistik?

31 standard-deviation