Statistik dan Big Data

Sambil memeriksa untuk melihat apakah dua variabel berkorelasi, saya mengamati bahwa menerapkan korelasi Pearson menghasilkan angka serendah 0,1 menunjukkan tidak ada korelasi. Apakah ada yang bisa saya lakukan untuk memperkuat klaim ini? Dataset (himpunan karena batas posting) yang saya lihat adalah ini: 6162.178176 0.049820046 4675.14432 0.145022261 5969.056896 0.47210138 5357.506176 0.052263122 …

9 correlation  data-mining  pearson-r 

Ketika memperkirakan interval kepercayaan rata-rata, saya pikir metode bootstrap t dan metode bootstrap nonparametrik dapat diterapkan, tetapi yang pertama memerlukan sedikit lebih banyak perhitungan. Saya bertanya-tanya apa kelebihan dan kekurangan bootstrap t daripada bootstrap nonparametric normal? Mengapa? Apakah ada beberapa referensi untuk menjelaskan ini?

9 confidence-interval  bootstrap 

Saya dihadapkan dengan mencoba mendemonstrasikan melalui pengujian tingkat kesalahan yang sangat rendah untuk sensor (tidak lebih dari 1 kesalahan dalam 1.000.000 upaya). Kami memiliki waktu terbatas untuk melakukan percobaan sehingga kami mengantisipasi tidak dapat memperoleh lebih dari sekitar 4.000 upaya. Saya melihat tidak ada masalah yang menunjukkan sensor tidak memenuhi …

9 survival  sample-size  quality-control 

Saya memiliki semacam pertanyaan filosofis tentang kapan koreksi perbandingan banyak diperlukan. Saya mengukur sinyal bervariasi waktu kontinu (pada titik waktu diskrit). Peristiwa terpisah terjadi dari waktu ke waktu dan saya ingin memastikan apakah peristiwa-peristiwa ini memiliki efek signifikan pada sinyal yang diukur. Jadi saya bisa mengambil sinyal rata-rata yang mengikuti …

9 hypothesis-testing  multiple-comparisons 

Saya tidak yakin metode mana yang digunakan untuk memodelkan hubungan antara dua variabel ( dan y ) dalam percobaan yang dijelaskan sebagai berikut:xxxyyy Ada 3 variabel: , x dan y .xaimxaimx_{aim}xxxyyy Nilai diatur saat mengoperasikan percobaan. Namun, x dan x a i m tidak selalu sama.xaimxaimx_{aim}xxxxaimxaimx_{aim} Koefisien korelasi Pearson antara …

9 regression  correlation 

Saya memiliki dataset dengan sekitar 2.000 variabel biner / 200.000 baris dan saya mencoba untuk memprediksi variabel dependen biner tunggal. Tujuan utama saya pada tahap ini bukan untuk mendapatkan akurasi prediksi, melainkan untuk mengidentifikasi variabel mana yang merupakan prediktor penting. Saya ingin menurunkan jumlah variabel dalam model akhir saya menjadi …

9 machine-learning  data-mining  large-data 

Saya mengalami kalimat ini ketika membaca artikel di sciencemag.org . Pada akhirnya, tanggapan dari hanya 7600 peneliti di 12 negara dimasukkan karena data yang tersisa tidak dianggap signifikan secara statistik. Apakah ini cara yang tepat untuk melakukan penelitian? Untuk meninggalkan hasil karena mereka tidak dianggap signifikan secara statistik?

9 statistical-significance  sampling  outliers  theory 

Adakah yang bisa menjelaskan mengapa uji-t "terjadi"? Saya diajarkan untuk menggunakan uji-t ketika Anda tidak tahu standar deviasi populasi (yaitu, Anda hanya tahu standar deviasi sampel Anda), tetapi saya tidak yakin mengapa itu akan membuatnya berbeda dari uji-z. .

9 hypothesis-testing  t-test 

Saya membaca artikel wiki tentang Apriori. Saya kesulitan memahami langkah prune dan Join. Adakah yang bisa menjelaskan kepada saya bagaimana algoritma Apriori bekerja secara sederhana (sehingga pemula seperti saya dapat mengerti dengan mudah)? Akan lebih baik jika seseorang menjelaskan proses langkah demi langkah yang terlibat di dalamnya.

9 data-mining  algorithms  frequentist 

Untuk beberapa variabel Y, yang dibagi menjadi 3 kelompok (X), saya ingin membandingkan kelompok dan untuk hipotesis bahwa 90% kuantil adalah sama di antara ketiga kelompok. Tes apa yang bisa saya gunakan? Satu opsi yang dapat saya pikirkan adalah menggunakan regresi kuantil, adakah alternatif / persetujuan lain? Saya membayangkan bahwa …

9 hypothesis-testing  anova  median  quantiles  kruskal-wallis 

Saya ingin mensimulasikan dari kepadatan normal (katakanlah mean = 1, sd = 1) tetapi hanya ingin nilai positif. Salah satu caranya adalah dengan mensimulasi dari normal dan mengambil nilai absolut. Saya menganggap ini sebagai lipatan normal. Saya melihat di R ada fungsi untuk generasi variabel acak terpotong. Jika saya mensimulasikan …

9 normal-distribution  simulation  truncation 

Ini adalah pemahaman saya bahwa kita tidak boleh membiarkan kumpulan data yang sama yang kita analisis untuk mendorong / menentukan seperti apa distribusi sebelumnya dalam analisis Bayesian. Secara khusus, tidak tepat untuk mendefinisikan distribusi sebelumnya untuk analisis Bayesian berdasarkan statistik ringkasan dari set data yang sama yang Anda akan gunakan …

9 bayesian  prior 

Saya sedang mengerjakan proyek kontrol mesin. Kita dapat mengukur arus motor selama operasi. Data sampel dari dua motor yang berhasil melakukan operasi ada di bawah ini. Jejak merah menunjukkan arus dari satu motor, jejak biru arus dari yang lain. Saya ingin mencoba dan membuat algoritma untuk mengidentifikasi masalah dengan perilaku …

9 time-series 

Saya mencari set data yang ada yang dapat kita gunakan untuk menguji beberapa teknik datavis yang sedang kita teliti. Saya tahu beberapa sumber seperti yang termasuk dalam R (coba plot(Orange)atau lihat di sini ). Tapi saya ingin mengambil satu langkah ke depan: Apa dataset dunia nyata terbaik untuk menguji alat …

9 data-visualization  dataset  teaching 

Pada dasarnya, tujuan pengelompokan grafik dan metode deteksi komunitas adalah untuk menghitung cluster. Apakah ada perbedaan di antara mereka?

9 clustering