Statistik dan Big Data

Apa cara yang paling diterima untuk memvisualisasikan hasil uji-dua sampel independen? Apakah tabel numerik lebih sering digunakan atau semacam plot? Tujuannya adalah agar pengamat biasa melihat sosok itu dan segera melihat bahwa mereka mungkin berasal dari dua populasi yang berbeda.

11 data-visualization  t-test 

Pertimbangkan model AR ( ) (dengan asumsi nol untuk kesederhanaan):halpp xt= φ1xt - 1+ ... + φhalxt - p+ εtxt=φ1xt−1+…+φpxt−p+εt x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t Estimator OLS (setara dengan estimator kemungkinan maksimum bersyarat ) untuk diketahui bias, seperti dicatat dalam utas terbaru .φ : …

11 time-series  maximum-likelihood  autoregressive  unbiased-estimator 

(posting yang cukup panjang, maaf. Ini termasuk banyak info latar belakang, jadi silakan lewati ke pertanyaan di bagian bawah.) Intro: Saya sedang mengerjakan sebuah proyek di mana kami mencoba mengidentifikasi efek dari variabel endogen biner, , pada hasil yang berkelanjutan, y . Kami memiliki datang dengan instrumen, z 1 , …

11 econometrics  interpretation  binary-data  instrumental-variables 

Ketika satu set persamaan tidak dapat diselesaikan secara analitis, maka kita dapat menggunakan algoritma gradient descent. Tetapi tampaknya ada juga metode simulasi Monte Carlo yang dapat digunakan untuk menyelesaikan masalah yang tidak memiliki solusi analitis. Bagaimana cara mengetahui kapan harus menggunakan gradient descent dan kapan menggunakan Monte Carlo? Atau apakah …

11 monte-carlo  gradient-descent 

Secara khusus, anggap dan adalah variabel acak normal (independen tetapi tidak harus terdistribusi secara identik). Dengan adanya , apakah ada formula yang bagus untuk atau konsep serupa? Apakah kita tahu bahwa \ max (X, Y) terdistribusi normal, mungkin rumus untuk mean dan standar deviasi dalam hal untuk X dan Y …

11 normal-distribution  extreme-value 

Masalah dasar Inilah masalah dasar saya: Saya mencoba mengelompokkan dataset yang berisi beberapa variabel yang sangat miring dengan jumlah. Variabel mengandung banyak nol dan karenanya tidak terlalu informatif untuk prosedur pengelompokan saya - yang kemungkinan merupakan algoritma k-means. Baik, Anda berkata, hanya mengubah variabel menggunakan akar kuadrat, kotak cox, atau …

11 clustering  data-transformation  k-means  count-data  compositional-data 

Saya menganalisis tabel 2x2 dari dataset kecil 30 pasien. Kami secara retrospektif mencoba menemukan beberapa variabel yang memberikan petunjuk tentang perawatan mana yang harus dipilih. Variabel (obs normal / aneh) dan keputusan pengobatan (A / B) adalah minat khusus dan oleh karena itu data terlihat seperti ini: Obs / Tr. …

11 chi-squared  power  contingency-tables  fishers-exact 

Saya mencoba untuk memodelkan intensitas rata-rata parasit yang mempengaruhi inang dalam R menggunakan model binomial negatif. Saya terus mendapatkan 50 atau lebih peringatan yang mengatakan: In dpois(y, mu, log = TRUE) : non-integer x = 251.529000 Bagaimana saya bisa mengatasi ini? Kode saya terlihat seperti ini: mst.nb = glm.nb(Larvae+Nymphs+Adults~B.type+Month+Season, data=MI.df)

11 r  generalized-linear-model  negative-binomial 

Pertanyaannya adalah sebagai berikut: Sampel acak dari nilai n dikumpulkan dari distribusi binomial negatif dengan parameter k = 3. Temukan estimator kemungkinan maksimum dari parameter π. Temukan rumus asimptotik untuk kesalahan standar estimator ini. Jelaskan mengapa distribusi binomial negatif akan mendekati normal jika parameter k cukup besar. Apa parameter perkiraan …

11 self-study  maximum-likelihood  negative-binomial 

Mengikuti komentar dari utas sebelumnya , saya ingin tahu bagaimana seseorang dapat menguji asumsi kecenderungan umum antara kelompok perlakuan dan kontrol dalam metode Perbedaan dalam Perbedaan? Dapatkah saya menguji asumsi itu dengan data dua titik waktu (misalnya, survei dasar pada 2002, pengobatan terjadi dari 2002 hingga 2006 dan survei lanjutan …

11 difference-in-difference 

Saya membaca buku Kevin Murphy: Machine Learning-A probabilistic Perspective. Dalam bab pertama penulis menjelaskan kutukan dimensi dan ada bagian yang saya tidak mengerti. Sebagai contoh, penulis menyatakan: Pertimbangkan input didistribusikan secara seragam di sepanjang unit D-dimensi cube. Misalkan kita memperkirakan kepadatan label kelas dengan menumbuhkan hiper kubus di sekitar x …

11 self-study  k-nearest-neighbour  high-dimensional 

Saya ingin menerapkan Adaboost menggunakan Decision Stump. Benarkah membuat banyak tunggakan keputusan seperti fitur kumpulan data kami di setiap iterasi Adaboost? Misalnya, jika saya memiliki kumpulan data dengan 24 fitur, haruskah saya memiliki 24 class stump classifier di setiap iterasi? Atau haruskah saya secara acak memilih beberapa fitur dan membuat …

11 machine-learning  classification  cart  boosting 

Saya mengerti perbedaan antara k medoid dan k berarti. Tapi bisakah Anda memberi saya contoh dengan set data kecil di mana output medoid k berbeda dari output k means.

11 k-means  k-medoids 

Saya ingin menerapkan regresi proses gaussian tambahan menggunakan jendela geser di atas titik data yang tiba satu per satu melalui aliran. Biarkan menunjukkan dimensi ruang input. Jadi, setiap titik data memiliki jumlah elemen.dddxsayaxix_iddd Biarkan menjadi ukuran jendela geser.nnn Untuk membuat prediksi, saya perlu menghitung kebalikan dari matriks gram , di …

11 regression  covariance  gaussian-process  linear-algebra  online 

Ketika mempelajari dua sampel independen berarti, kita diberitahu bahwa kita sedang melihat "perbedaan dua rata-rata". Ini berarti kami mengambil rata-rata dari populasi 1 ( ) dan mengurangi rata-rata dari populasi 2 ( ). Jadi, "perbedaan dua cara" kami adalah ( - ). ˉ y 2 ˉ y 1 ˉ y …

11 paired-comparisons  paired-data  mean