Statistik dan Big Data

Saya menggunakan stl () di R untuk menguraikan data hitungan menjadi komponen tren, musiman & tidak teratur. Nilai tren yang dihasilkan bukan bilangan bulat lagi. Saya punya pertanyaan berikut: Apakah stl () cara yang tepat untuk menasionalisasi data hitungan? Karena tren yang dihasilkan tidak lagi dinilai interger, dapatkah saya menggunakan …

12 r  time-series  poisson-distribution 

Dalam Regresi Logistik dengan istilah linier dan kuadrat saja, jika saya memiliki koefisien linier dan koefisien kuadratik , dapatkah saya mengatakan bahwa ada titik balik probabilitas di ?β 2 - β 1 / ( 2β1β1\beta_1β2β2\beta_2−β1/(2β2)−β1/(2β2)-\beta_1 / (2\beta_2)

12 interpretation  logit  polynomial 

AIC didefinisikan sebagai , di mana adalah estimator kemungkinan maksimum dan adalah dimensi ruang parameter. Untuk estimasi , biasanya diabaikan faktor konstan dari kepadatan. Ini adalah faktor yang tidak bergantung pada parameter, untuk menyederhanakan kemungkinan. Di sisi lain, faktor ini sangat penting untuk perhitungan AIC, mengingat bahwa ketika membandingkan model …

12 model-selection  aic  nested-models 

Saya memiliki data dengan sejumlah fitur minimum yang tidak berubah, dan beberapa fitur tambahan yang dapat berubah dan berdampak besar pada hasilnya. Kumpulan data saya terlihat seperti ini: Fitur-fiturnya adalah A, B, C (selalu ada), dan D, E, F, G, H (kadang-kadang ada) A = 10, B = 10, C …

12 machine-learning  feature-selection 

Pemahaman saya adalah picks hutan random acak mtry variabel untuk membangun setiap pohon keputusan. Jadi jika mtry = ncol / 3 maka masing-masing variabel akan digunakan rata-rata di 1/3 dari pohon. Dan 2/3 pohon tidak akan menggunakannya. Tetapi bagaimana jika saya tahu bahwa satu variabel mungkin sangat penting, apakah lebih …

12 r  random-forest  parameterization 

Untuk set data yang diberikan, spread sering dihitung baik sebagai standar deviasi atau sebagai IQR (rentang antar-kuartil). Sedangkan a standard deviationdinormalisasi (skor-z, dll.) Dan dapat digunakan untuk membandingkan penyebaran dari dua populasi yang berbeda, ini bukan kasus dengan IQR karena sampel dari dua populasi yang berbeda dapat memiliki nilai pada …

12 nonparametric  mathematical-statistics  standard-deviation  descriptive-statistics  normalization 

Misalkan saya memiliki campuran banyak Gaussians dengan bobot, sarana, dan standar deviasi yang diketahui. Berarti tidak sama. Deviasi rata-rata dan standar dari campuran dapat dihitung, tentu saja, karena momen adalah rata-rata tertimbang dari momen komponen. Campuran itu bukan distribusi normal, tetapi seberapa jauh dari normal itu? Gambar di atas menunjukkan …

12 normal-distribution  mixture  distance 

Saya membandingkan distribusi ukuran pohon dalam enam pasang plot di mana satu plot menerima perlakuan dan yang lainnya sebagai kontrol. Menggunakan tes Kolmogorov-Smirnov pada setiap pasangan plot, saya menemukan bahwa berkisar dari hingga . Apakah ada metode yang tepat untuk menangani semua ulangan bersama, seperti perpanjangan multi sampel uji KS, …

12 nonparametric  kolmogorov-smirnov 

Saya tidak dapat menemukan cara melakukan regresi linier dalam R dalam untuk desain ukuran berulang. Dalam pertanyaan sebelumnya (masih belum dijawab) disarankan kepada saya untuk tidak menggunakan lmmelainkan menggunakan model campuran. Saya menggunakan lmcara berikut: lm.velocity_vs_Velocity_response <- lm(Velocity_response~Velocity*Subject, data=mydata) (detail lebih lanjut tentang dataset dapat ditemukan di tautan di atas) …

12 r  regression  mixed-model  repeated-measures 

Bisakah kita mengartikan probabilitas posterior yang diperoleh dari classifier yang menghasilkan nilai kelas yang diprediksi dan probabilitas (misalnya, regresi logistik atau Naif Bayes) sebagai semacam skor kepercayaan yang ditugaskan untuk nilai kelas yang diprediksi?

12 probability  logistic  naive-bayes 

Apakah ada trik teknis untuk menentukan kuartil ketiga jika termasuk dalam interval terbuka yang berisi lebih dari seperempat populasi (jadi saya tidak bisa menutup interval dan menggunakan rumus standar)? Edit Jika saya salah memahami sesuatu, saya akan memberikan lebih atau kurang konteks penuh. Saya memiliki data yang disusun dalam tabel …

12 distributions  histogram  descriptive-statistics 

Saya mencoba mendeteksi nilai-nilai anomali dalam serangkaian waktu data iklim dengan beberapa pengamatan yang hilang. Mencari di web saya menemukan banyak pendekatan yang tersedia. Dari semua itu, dekomposisi pertama tampaknya menarik, dalam arti menghilangkan tren dan komponen musiman dan mempelajari sisanya. Membaca STL: Prosedur Dekomposisi Tren Musiman Berdasarkan Loess , …

12 r  time-series  outliers  missing-data 

Saya ingin menggunakan Akaike Information Criterion (AIC) untuk memilih jumlah faktor yang tepat untuk diekstraksi dalam PCA. Satu-satunya masalah adalah saya tidak yakin bagaimana menentukan jumlah parameter. Pertimbangkan matriks , di mana mewakili jumlah variabel dan jumlah pengamatan, sehingga . Karena matriks kovarians simetris, maka estimasi kemungkinan maksimum dapat menetapkan …

12 pca  model-selection 

Bisakah Anda memberi saya beberapa klarifikasi tentang data mining dan algoritma kecerdasan buatan? Basis matematika apa yang mereka gunakan? Bisakah Anda memberi saya titik awal, dalam matematika, untuk memahami jenis-jenis algoritma ini?

12 mathematical-statistics  references  data-mining  algorithms  artificial-intelligence 

Saya mencoba untuk menguraikan matriks kovarians berdasarkan pada set data yang jarang / gappy. Saya memperhatikan bahwa jumlah lambda (dijelaskan varians), sebagaimana dihitung dengan svd, sedang diperkuat dengan data yang semakin gappy. Tanpa celah, svddan eigenhasil yang sama. Ini sepertinya tidak terjadi dengan eigendekomposisi. Saya telah condong ke arah penggunaan …

12 r  svd  eigenvalues