Statistik dan Big Data

Saya memiliki dua seri waktu S, dan T. mereka memiliki frekuensi dan panjang yang sama. Saya ingin menghitung (menggunakan R), korelasi antara pasangan ini (yaitu S dan T), dan juga dapat menghitung signifikansi korelasi tersebut, sehingga saya dapat menentukan apakah korelasinya karena kebetulan atau tidak. Saya ingin melakukan ini di …

14 r  time-series  correlation 

Saya sedang membangun aplikasi android yang merekam data accelerometer selama tidur, untuk menganalisis tren tidur dan secara opsional membangunkan pengguna di dekat waktu yang diinginkan selama tidur ringan. Saya sudah membangun komponen yang mengumpulkan dan menyimpan data, serta alarm. Saya masih perlu menangani binatang menampilkan dan menyimpan data tidur dengan …

14 time-series  smoothing  signal-processing  java 

Setelah membaca salah satu "Tip penelitian" RJ Hyndman tentang validasi silang dan rangkaian waktu, saya kembali ke pertanyaan lama saya yang akan saya coba rumuskan di sini. Idenya adalah bahwa dalam masalah klasifikasi atau regresi, pemesanan data tidak penting, dan karenanya k- lipatan validasi silang dapat digunakan. Di sisi lain, …

14 time-series  machine-learning  cross-validation 

Penambahan, pengurangan, perkalian dan pembagian variabel acak normal didefinisikan dengan baik, tetapi bagaimana dengan operasi trigonometri? Sebagai contoh, mari kita anggap bahwa saya sedang berusaha mencari sudut baji segitiga (dimodelkan sebagai segitiga sudut kanan) dengan dua dimensi catheti memiliki dan d 2 , baik digambarkan sebagai distribusi normal.d1d1d_1d2d2d_2 Baik intuisi …

14 distributions  normal-distribution  circular-statistics  saddlepoint-approximation 

Ketika Anda yang melakukan pekerjaan itu, menyadari apa yang Anda lakukan, Anda mengembangkan perasaan ketika Anda memiliki model yang terlalu pas. Untuk satu hal, Anda dapat melacak tren atau kemunduran di Adjusted R Square model. Anda juga dapat melacak penurunan yang serupa pada nilai p dari koefisien regresi dari variabel …

14 regression  multivariate-analysis  overfitting 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Piramida zaman terlihat seperti ini: Saya ingin membuat sesuatu yang serupa, yaitu 2 barplot (bukan histogram) dengan kategori yang sama, diputar secara vertikal dan memanjang ke …

14 r  data-visualization 

Saya mencari kerangka teori atau spesialisasi yang sesuai untuk membantu saya memahami bagaimana menangani kesalahan yang dimiliki sistem GPS - terutama ketika berhadapan dengan rute. Pada dasarnya, saya mencari persyaratan pada data dan algoritma apa pun yang digunakan untuk dapat menetapkan panjang jejak. Jawabannya harus bisa dipercaya. Seorang teman saya …

14 error  sampling 

Saya menerapkan algoritma hutan acak sebagai penggolong pada dataset microarray yang dibagi menjadi dua kelompok yang dikenal dengan ribuan fitur. Setelah menjalankan awal saya melihat pentingnya fitur dan menjalankan algoritma pohon lagi dengan 5, 10 dan 20 fitur paling penting. Saya menemukan bahwa untuk semua fitur, top 10 dan 20 …

14 r  machine-learning  classification  random-forest 

Apakah ada teknik pemodelan seperti LOESS yang memungkinkan nol, satu, atau lebih diskontinuitas, di mana waktu diskontinuitas tidak diketahui apriori? Jika ada teknik, apakah ada implementasi yang ada di R?

14 r  regression  curve-fitting  change-point  loess 

Seorang kolega di kantor saya berkata kepada saya hari ini, "Model pohon tidak bagus karena tertangkap oleh pengamatan ekstrim". Pencarian di sini menghasilkan utas ini yang pada dasarnya mendukung klaim. Yang mengarahkan saya ke pertanyaan - dalam situasi apa model CART dapat menjadi kuat, dan bagaimana hal itu ditunjukkan?

14 regression  classification  robust  cart 

Sebagai seseorang yang membutuhkan pengetahuan statistik tetapi bukan ahli statistik yang terlatih secara formal, saya akan sangat membantu untuk memiliki diagram alur (atau semacam pohon keputusan) untuk membantu saya memilih pendekatan yang tepat untuk menyelesaikan masalah tertentu (mis. "Apakah Anda perlu ini dan tahu itu dan itu dan menganggap data …

14 hypothesis-testing  data-mining  eda 

Saya mencari Rpaket untuk memperkirakan koefisien model logit dengan efek tetap individual (intersep individu) menggunakan penduga 1980 Chamberlain. Ini sering dikenal sebagai estimator logit efek tetap Chamberlain. Ini adalah penaksir klasik ketika berhadapan dengan data panel hasil biner (setidaknya dalam ekonometrik), tetapi saya tidak menemukan apa pun yang terkait dengannya …

14 r  logistic  panel-data  clogit 

Saya melihat halaman inidan perhatikan metode untuk interval kepercayaan untuk lme dan lmer di R. Bagi mereka yang tidak tahu R, itu adalah fungsi untuk menghasilkan efek campuran atau model multi-level. Jika saya memiliki efek tetap pada sesuatu seperti desain tindakan berulang apa yang akan berarti interval kepercayaan di sekitar …

14 r  confidence-interval  mixed-model  repeated-measures  sas 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya ingin mengelompokkan ~ 22.000 poin. Banyak algoritma pengelompokan bekerja lebih baik dengan tebakan awal kualitas yang lebih tinggi. Alat apa yang ada yang dapat memberi …

14 data-visualization  clustering  software 

Saat ini saya sedang menyelesaikan makalah dan menemukan pertanyaan ini dari kemarin yang membuat saya mengajukan pertanyaan yang sama kepada diri saya sendiri. Apakah lebih baik menyediakan grafik saya dengan kesalahan standar aktual dari data atau yang diperkirakan dari ANOVA saya? Karena pertanyaan dari kemarin agak tidak spesifik dan pertanyaan …

14 data-visualization  anova  mixed-model  standard-error