Statistik dan Big Data

Saya mencoba untuk memodelkan variabel respons yang secara teoritis dibatasi antara -225 dan +225. Variabelnya adalah skor total yang diperoleh subjek saat bermain game. Meskipun secara teoritis dimungkinkan untuk mata pelajaran untuk mencetak +225. Meskipun demikian karena skor tidak hanya bergantung pada aksi subjek, tetapi juga aksi aksi lainnya, skor …

11 regression  data-transformation  beta-distribution  bounds  beta-regression 

Saya ingin membandingkan 2 pengklasifikasi yang berbeda untuk masalah klasifikasi teks multi-kelas yang menggunakan dataset pelatihan besar. Saya ragu apakah saya harus menggunakan kurva ROC atau kurva belajar untuk membandingkan 2 pengklasifikasi. Di satu sisi, kurva pembelajaran berguna untuk menentukan ukuran dataset pelatihan, karena Anda dapat menemukan ukuran dataset di …

11 machine-learning  classification  roc  accuracy 

Saya memiliki kotak 2D, dan saya memiliki satu set poin di dalamnya, katakanlah, 1000 poin. Saya perlu cara untuk melihat apakah distribusi titik di dalam alun-alun tersebar (atau kurang lebih terdistribusi secara merata) atau apakah mereka cenderung berkumpul bersama di beberapa tempat di dalam alun-alun. Saya perlu cara matematika / …

11 distributions  probability  spatial  point-process 

Saya memiliki data survei besar, variabel hasil biner dan banyak variabel penjelas termasuk biner dan kontinu. Saya membangun set model (bereksperimen dengan GLM dan GLM campuran) dan menggunakan pendekatan teori informasi untuk memilih model teratas. Saya hati-hati memeriksa penjelasan (baik kontinu dan kategoris) untuk korelasi dan saya hanya menggunakan yang …

11 regression  logistic  data-transformation  skewness 

Bagaimana cara harmonik menangani nilai nol? apa arti harmonik dari {3, 4, 5, 0} sejak ?1 / 0 = ∞1/0=∞1/0=\infty

11 mean  average  harmonic-mean 

Saya mencoba untuk secara cerdas membuang koleksi yang diurutkan. Saya punya koleksi data. Tapi aku tahu bahwa data ini cocok dalam m merata berukuran sampah. Saya tidak tahu bagaimana memilih titik akhir secara cerdas agar sesuai dengan data. sebagai contoh:nnnmmm Katakanlah saya memiliki 12 item dalam koleksi saya, dan saya …

11 clustering  histogram  binning 

Saya mengamati pola aneh dalam residu untuk data saya: [EDIT] Berikut adalah plot regresi parsial untuk dua variabel: [EDIT2] Menambahkan Plot PP Distribusi tampaknya baik-baik saja (lihat di bawah) tetapi saya tidak tahu dari mana garis lurus ini berasal. Ada ide? [UPDATE 31,07] Ternyata Anda benar, saya punya kasus di …

11 regression  multiple-regression  residuals  diagnostic 

Saya memiliki kelompok perlakuan ukuran 30 (30 sekolah di California) yang menggunakan perangkat lunak tambahan matematika. Dalam analisis sederhana, saya ingin membandingkan rata-rata pertumbuhan Matematika siswa antara kelompok perlakuan kami dan kelompok kontrol yang sebanding. Ada banyak sekolah di CA yang tidak menggunakan perangkat lunak. Saya ingin kelompok kontrol untuk …

11 mathematical-statistics  descriptive-statistics  computational-statistics 

Bentuk paling sederhana dari teori informasi CLT adalah sebagai berikut: Biarkan menjadi iid dengan mean dan varians 1 . Biarkan f_n menjadi kepadatan jumlah normal \ frac {\ sum_ {i = 1} ^ n X_i} {\ sqrt {n}} dan \ phi menjadi kepadatan Gaussian standar. Maka teori informasi CLT menyatakan …

11 mathematical-statistics  information-theory  central-limit-theorem 

Saya mencoba memprediksi keberhasilan atau kegagalan siswa berdasarkan beberapa fitur dengan model regresi logistik. Untuk meningkatkan kinerja model, saya sudah berpikir untuk membagi siswa menjadi kelompok yang berbeda berdasarkan perbedaan yang jelas dan membangun model yang terpisah untuk masing-masing kelompok. Tetapi saya pikir mungkin sulit untuk mengidentifikasi kelompok-kelompok ini dengan …

11 clustering  data-mining  logistic 

Situasi yang sangat umum dalam grafik komputer adalah bahwa warna beberapa piksel sama dengan integral dari beberapa fungsi bernilai nyata. Seringkali fungsi ini terlalu rumit untuk diselesaikan secara analitis, jadi kita dibiarkan dengan pendekatan numerik. Tetapi fungsi ini juga sering kali sangat mahal untuk dihitung, jadi kami sangat terkendala dalam …

11 estimation  monte-carlo  function  quasi-monte-carlo 

Diberikan seri waktu (diamati) dengan , apakah ada uji statistik untuk menguji hipotesis nol bahwa (yaitu properti markov)?X t ∈ { 1 , . . . , N } P ( X t | X t - 1 , X t - 2 , . . . , X 1 …

11 time-series  hypothesis-testing  markov-process 

Saya sedang melakukan penelitian di bidang respon fungsional tungau. Saya ingin melakukan regresi untuk memperkirakan parameter (tingkat serangan dan waktu penanganan) dari fungsi Rogers tipe II. Saya memiliki dataset pengukuran. Bagaimana saya bisa menentukan outlier yang terbaik? Untuk regresi saya, saya menggunakan skrip berikut dalam R (regresi non linier): (Dateet …

11 r  outliers  nonlinear-regression 

Saya bermaksud memberikan ceramah satu jam kepada para remaja tentang statistik. Saya mungkin akan melihat mereka hanya sekali. Skenario ini mungkin terjadi berulang-ulang. Saya ingin memberi mereka beberapa kegiatan untuk membuat mereka mengalami statistik. Tetapi saya terpaksa melakukannya dengan orang-orang yang tidak tahu apa-apa tentang probabilitas, kesimpulan statistik, analisis eksplorasi …

11 teaching 

Seperti judulnya, apakah ada yang tahu tentang buku yang bagus dan terkini yang mencakup preprocessing data secara umum dan khususnya teknik deteksi outlier? Buku ini tidak perlu berfokus secara khusus pada hal itu, tetapi harus membahas topik-topik yang disebutkan di atas secara mendalam - saya tidak akan senang dengan sesuatu …

11 dataset  data-mining  references  outliers