Statistik dan Big Data

Apa cara terbaik untuk menunjukkan hubungan antara: variabel kontinu dan diskrit, dua variabel diskrit? Sejauh ini saya telah menggunakan sebar plot untuk melihat hubungan antara variabel kontinu. Namun dalam kasus variabel diskrit, titik data diakumulasikan pada interval tertentu. Dengan demikian garis yang paling cocok mungkin bias.

19 data-visualization  categorical-data  random-variable 

Beberapa buku menyatakan ukuran sampel ukuran 30 atau lebih tinggi diperlukan untuk teorema batas pusat untuk memberikan perkiraan yang baik untuk . X¯X¯\bar{X} Saya tahu ini tidak cukup untuk semua distribusi. Saya ingin melihat beberapa contoh distribusi di mana bahkan dengan ukuran sampel yang besar (mungkin 100, atau 1000, atau …

19 mean  sample-size  normality-assumption  central-limit-theorem 

Saya memiliki tabel data T1, yang berisi hampir seribu variabel (V1) dan sekitar 200 juta titik data. Data jarang dan sebagian besar entri adalah NA. Setiap titik data memiliki id unik dan pasangan tanggal untuk dibedakan dari yang lain. Saya punya T2 tabel lain, yang berisi kumpulan variabel yang terpisah …

19 r  generalized-linear-model  missing-data 

Seringkali orang menggunakan program untuk mendapatkan nilai-p, tetapi kadang-kadang - untuk alasan apa pun - mungkin perlu untuk mendapatkan nilai kritis dari serangkaian tabel. Diberikan tabel statistik dengan jumlah tingkat signifikansi yang terbatas, dan jumlah derajat kebebasan yang terbatas, bagaimana cara saya mendapatkan nilai-nilai kritis perkiraan pada tingkat signifikansi lain …

19 hypothesis-testing  statistical-significance  chi-squared  interpolation  tables 

Ini kelihatannya sangat mendasar, tetapi saya selalu terjebak pada titik ini ... Sebagian besar data yang saya tangani tidak normal, dan sebagian besar analisis didasarkan pada struktur GLM. Untuk analisis saya saat ini, saya memiliki variabel respons yaitu "kecepatan berjalan" (meter / menit). Mudah bagi saya untuk mengidentifikasi bahwa saya …

19 generalized-linear-model  stata  gamma-distribution 

Adakah deskripsi yang sangat sederhana tentang perbedaan praktis antara kedua teknik ini? Keduanya tampaknya digunakan untuk pembelajaran yang diawasi (meskipun aturan asosiasi juga dapat menangani tanpa pengawasan). Keduanya dapat digunakan untuk prediksi Deskripsi terdekat yang saya temukan dengan deskripsi 'baik' adalah dari Statsoft Textbook . Mereka mengatakan Aturan Asosiasi digunakan …

19 data-mining  association-rules 

Untuk proyek ekologi, kelompok lab saya menambahkan cuka ke 4 tangki berisi volume air kolam yang sama, 1 kontrol tanpa elodea (tanaman air) dan 3 perawatan dengan jumlah elodea yang sama di masing-masing. Tujuan menambahkan cuka adalah untuk mengurangi pH. Hipotesisnya adalah bahwa tangki dengan elodea akan kembali ke pH …

19 hypothesis-testing  t-test  sample-size 

Hai dapat hal yang sama ditunjukkan untuk mendapatkan parameter bentuk dan skala untuk metode kemungkinan maksimum yang dimodifikasi

19 r  maximum-likelihood  weibull 

Katakanlah kami sedang mengerjakan model efek acak dari beberapa data jumlah dari waktu ke waktu, dan kami ingin mengendalikan beberapa tren. Biasanya, Anda akan melakukan sesuatu seperti: lmer(counts ~ dependent_variable + (1+t+I(t^2)|ID), family="poisson") untuk memasukkan bentuk kuadrat untuk t. Apakah mungkin untuk menggunakan beberapa teknik smoothing yang lebih canggih seperti …

19 mixed-model  lme4-nlme  splines 

Skenario berikut telah menjadi Most-FAQ di trio penyelidik (I), reviewer / editor (R, tidak terkait dengan CRAN) dan saya (M) sebagai pencipta plot. Kita dapat berasumsi bahwa (R) adalah peninjau bos besar medis yang khas, yang hanya tahu bahwa setiap plot harus memiliki bar kesalahan, jika tidak maka itu salah. …

19 data-visualization  standard-error  paired-comparisons  paired-data  crossover-study 

Sangat umum untuk menggunakan peta panas / kontur ketika menyajikan temuan EEG frekuensi waktu. Skema warna yang sering dipilih (dan yang saya sukai dan gunakan) adalah skema warna "jet" (lihat misalnya, waktu-frekuensi pencarian gambar google EEG ). Saya ingin tahu apakah ada skema warna yang lebih baik untuk menyajikan plot …

19 data-visualization 

Dalam sebuah komentar yang baru-baru ini diposting di sini, seorang komentator menunjuk ke sebuah blog oleh Larry Wasserman yang menunjukkan (tanpa sumber) yang sering berselisih dengan prinsip kemungkinan. Prinsip kemungkinan hanya mengatakan bahwa percobaan menghasilkan fungsi kemungkinan yang sama harus menghasilkan kesimpulan yang sama. Dua bagian dari pertanyaan ini: Bagian, …

19 inference  likelihood  frequentist  likelihood-principle 

Saya sedang mengerjakan simulasi fisik 2D dan saya mengumpulkan data tepat waktu di beberapa titik. Titik-titik diskrit ini berada di sepanjang garis vertikal, dengan beberapa garis dalam arah aksial. Ini membuat dataset menjadi 4D secara efektif. Misalnya, anggap saya memiliki titik pengumpulan di (X, Y) koordinat: (0,0), (1,0), (2,0) (0,1), …

19 time-series  data-visualization  spatio-temporal 

Ada perbedaan yang membuat saya bingung dengan model campuran, dan saya bertanya-tanya apakah saya bisa mendapatkan kejelasan tentang itu. Mari kita asumsikan Anda punya model campuran data hitungan. Ada variabel yang Anda tahu Anda inginkan sebagai efek tetap (A) dan variabel lain untuk waktu (T), dikelompokkan dengan mengatakan variabel "Situs". …

19 r  mixed-model  lme4-nlme 

Saya menarik dalam mempelajari tentang bagaimana menilai dan memberi peringkat individu dalam suatu kelompok yang hanya berinteraksi / bersaing secara berpasangan (yaitu, sistem seperti sistem peringkat ELO untuk catur). Apakah ada metode masuk atau metode yang lebih akurat dan canggih di luar sana? Apakah ada paket R yang membuat implementasi …

19 ranking  rating  bradley-terry-model  elo