Statistik dan Big Data

Saya menggunakan R, Aku mencari di Google dan belajar bahwa kpss.test(), PP.test(), dan adf.test()digunakan untuk mengetahui stasioneritas dari time series. Tapi saya bukan ahli statistik, yang bisa menafsirkan hasil mereka > PP.test(x) Phillips-Perron Unit Root Test data: x Dickey-Fuller = -30.649, Truncation lag parameter = 7, p-value = 0.01 > …

30 r  time-series  stationarity  augmented-dickey-fuller  kpss-test 

Versi tl; Strategi sukses apa yang Anda pakai untuk mengajarkan distribusi sampling (dari mean sampel, misalnya) di tingkat sarjana pengantar? Latar belakang Pada bulan September saya akan mengajar kursus statistik pengantar untuk ilmu sosial tahun kedua (terutama ilmu politik dan sosiologi) siswa menggunakan The Basic Practice of Statistics oleh David …

30 distributions  sampling  teaching 

Kemungkinan dapat didefinisikan dengan beberapa cara, misalnya: fungsi dari yang memetakan untuk yaitu .L LLΘ × XΘ×X\Theta\times{\cal X} ( θ , x ) (θ,x)(\theta,x)L ( θ ∣ x ) L(θ∣x)L(\theta \mid x)L : Θ × X → RL:Θ×X→RL:\Theta\times{\cal X} \rightarrow \mathbb{R} fungsi acakL ( ⋅ ∣ X )L(⋅∣X)L(\cdot \mid X) …

30 mathematical-statistics  likelihood  likelihood-ratio  parametric 

Saya belajar bahwa statistik adalah atribut yang dapat Anda peroleh dari sampel. Mengambil banyak sampel dengan ukuran yang sama, menghitung atribut ini untuk semuanya dan memplot pdf, kami mendapatkan distribusi atribut yang sesuai atau distribusi statistik yang sesuai. Saya juga mendengar bahwa statistik dibuat menjadi penduga, bagaimana perbedaan kedua konsep …

30 terminology  estimators  definition 

Saya mencoba untuk meningkatkan kecepatan dengan R. Saya akhirnya ingin menggunakan pustaka R untuk melakukan klasifikasi teks. Saya hanya ingin tahu apa pengalaman orang-orang sehubungan dengan skalabilitas R ketika datang untuk melakukan klasifikasi teks. Saya cenderung mengalami data dimensi tinggi (~ 300k dimensi). Saya melihat menggunakan SVM dan Random Forest …

30 r  machine-learning  svm  text-mining  random-forest 

Saya memikirkan ini dari perspektif persyaratan yang sangat mendasar dan minimal. Apa teori-teori kunci yang harus diketahui, dipahami, dan dimanfaatkan oleh pakar statistik industri (bukan akademis)? Yang besar yang terlintas dalam pikiran adalah Hukum angka besar . Apa yang paling penting untuk menerapkan teori statistik pada analisis data?

30 theory  careers  law-of-large-numbers 

Saya memiliki tugas klasifikasi di mana saya memiliki sejumlah prediktor (salah satunya adalah yang paling informatif), dan saya menggunakan model MARS untuk membangun classifier saya (saya tertarik pada model sederhana apa pun, dan menggunakan glms untuk tujuan ilustrasi akan menjadi baik baik juga). Sekarang saya memiliki ketidakseimbangan kelas yang sangat …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Ini adalah pertanyaan mendasar, tetapi saya tidak dapat menemukan jawabannya. Saya memiliki dua pengukuran: peristiwa n1 dalam waktu t1 dan peristiwa n2 dalam waktu t2, keduanya diproduksi (katakanlah) oleh proses Poisson dengan nilai lambda yang mungkin berbeda. Ini sebenarnya dari artikel berita, yang pada dasarnya mengklaim bahwa sejak n1/t1≠n2/t2n1/t1≠n2/t2n_1/t_1\neq n_2/t_2 …

30 hypothesis-testing  poisson-distribution 

Apakah ada model visualisasi yang bagus untuk menunjukkan persimpangan tumpang tindih banyak set? Saya sedang memikirkan sesuatu seperti diagram Venn, tetapi entah bagaimana itu dapat memberikan lebih banyak jumlah set yang lebih besar seperti 10 atau lebih. Wikipedia memang menunjukkan beberapa diagram Venn set yang lebih tinggi tetapi bahkan 4 …

30 data-visualization  dataset 

Saya menemukan tutorial yang bagus ini: Buku Pegangan Analisis Statistik Menggunakan R. Bab 13. Analisis Komponen Utama: Olympic Heptathlon tentang cara melakukan PCA dalam bahasa R. Saya tidak mengerti interpretasi dari Gambar 13.3: Jadi saya merencanakan vektor eigen pertama vs vektor eigen kedua. Apa artinya? Misalkan nilai eigen yang sesuai …

30 r  pca  data-visualization  interpretation  biplot 

Apa perbedaan antara uji normalitas Shapiro-Wilk dan uji normalitas Kolmogorov-Smirnov? Kapan hasil dari kedua metode ini berbeda?

30 distributions  statistical-significance  normality-assumption  kolmogorov-smirnov 

Saya telah menggunakan kode r berikut untuk memperkirakan interval kepercayaan proporsi binomial karena saya mengerti bahwa itu menggantikan "perhitungan daya" ketika merancang desain kurva karakteristik penerima yang berfungsi mengamati deteksi penyakit dalam suatu populasi. n adalah 150, dan penyakit ini, kami percaya, adalah 25% lazim dalam populasi. Saya telah menghitung …

30 confidence-interval  binomial 

Jika saya mengerti dengan benar, interval kepercayaan parameter adalah interval yang dibangun oleh metode yang menghasilkan interval yang berisi nilai sebenarnya untuk proporsi sampel tertentu. Jadi 'kepercayaan' adalah tentang metode daripada interval yang saya hitung dari sampel tertentu. Sebagai pengguna statistik, saya selalu merasa tertipu oleh ini karena ruang semua …

30 confidence-interval  interpretation 

Apa perbedaan pemusatan (atau de-makna) data Anda untuk PCA? Saya pernah mendengar bahwa itu membuat matematika lebih mudah atau mencegah PC pertama dari yang didominasi oleh variabel, tetapi saya merasa seperti saya belum dapat memahami konsep ini dengan kuat. Misalnya, jawaban teratas di sini Bagaimana cara memusatkan data menyingkirkan intersep …

30 r  pca  svd  eigenvalues  centering 

Katakanlah saya punya dua sampel. Jika saya ingin tahu apakah mereka ditarik dari populasi yang berbeda, saya dapat menjalankan uji-t. Tetapi katakanlah saya ingin menguji apakah sampel berasal dari populasi yang sama. Bagaimana caranya? Yaitu, bagaimana cara menghitung probabilitas statistik bahwa dua sampel ini diambil dari populasi yang sama?

30 statistical-significance