Statistik dan Big Data

Saya mencoba memahami mengapa jumlah dua (atau lebih) variabel acak lognormal mendekati distribusi lognormal ketika Anda meningkatkan jumlah pengamatan. Saya sudah mencari online dan tidak menemukan hasil mengenai ini. Jelas jika dan adalah variabel lognormal independen, maka dengan sifat eksponen dan variabel acak gaussian, juga lognormal. Namun, tidak ada alasan …

11 distributions  lognormal  convolution  sum 

Paket R mclustmenggunakan BIC sebagai kriteria untuk pemilihan model klaster. Dari pemahaman saya, model dengan BIC terendah harus dipilih daripada model lain (jika Anda hanya peduli tentang BIC). Namun, ketika nilai BIC semuanya negatif, Mclustfungsi tersebut default ke model dengan nilai BIC tertinggi. Pemahaman saya secara keseluruhan dari berbagai uji …

11 r  clustering  gaussian-mixture  bic  model-based-clustering 

Saya memiliki distribusi gaji dan saya ingin membandingkan perbedaan dalam hal rata-rata untuk pria dan wanita. Saya tahu ada T-test siswa untuk membandingkan dua cara, tetapi setelah menyarankan ANOVA saya menerima beberapa kritik yang mengatakan bahwa ANOVA adalah untuk membandingkan lebih dari dua cara. Apa (jika ada) yang salah dalam …

11 hypothesis-testing  anova  t-test 

Pertanyaan saya terinspirasi oleh generator nomor acak eksponensial bawaan R , fungsinya rexp(). Ketika mencoba untuk menghasilkan angka acak yang didistribusikan secara eksponensial, banyak buku teks merekomendasikan metode transformasi terbalik seperti yang diuraikan dalam halaman Wikipedia ini . Saya sadar bahwa ada metode lain untuk menyelesaikan tugas ini. Secara khusus, …

11 r  simulation  random-generation  exponential  inverse-cdf 

Apakah ada bukti untuk CLT yang tidak menggunakan fungsi karakteristik, metode yang lebih sederhana? Mungkin metode Tikhomirov atau Stein? Sesuatu yang mandiri dapat Anda jelaskan kepada seorang mahasiswa (tahun pertama matematika atau fisika) dan membutuhkan waktu kurang dari satu halaman?

11 mathematical-statistics  central-limit-theorem  characteristic-function 

Saya sedang melakukan penelitian untuk melihat perbedaan dalam kepadatan ikan dan kekayaan spesies ikan ketika menggunakan dua metode sensus visual bawah air yang berbeda. Data saya awalnya menghitung data tetapi biasanya ini diubah menjadi kepadatan ikan tetapi saya masih memutuskan untuk menggunakan Poisson GLM, yang saya harap benar. model1 <- …

11 r  generalized-linear-model  poisson-distribution  offset 

Asumsikan, saya memiliki classifier (Ini bisa berupa pengklasifikasi standar seperti pohon keputusan, hutan acak, regresi logistik, dll.) Untuk deteksi penipuan menggunakan kode di bawah ini library(randomForest) rfFit = randomForest(Y ~ ., data = myData, ntree = 400) # A very basic classifier Say, Y is a binary outcome - Fraud/Not-Fraud …

11 classification  supervised-learning 

Prof kami tidak masuk ke matematika atau bahkan representasi geometris dari regresi linier berganda dan ini membuat saya sedikit bingung. Di satu sisi itu masih disebut regresi linier berganda, bahkan dalam dimensi yang lebih tinggi. Di sisi lain, jika kita memiliki misalnya dan kita dapat memasukkan nilai apa pun yang …

11 multiple-regression  high-dimensional 

Apa cara yang benar untuk menentukan perbedaan dalam model perbedaan dengan data panel tingkat individu? Ini adalah setup: Asumsikan bahwa saya memiliki data panel tingkat individu yang tertanam di kota selama beberapa tahun dan perawatan bervariasi pada tingkat kota-tahun. Secara formal, biarkan menjadi hasil bagi individu di kota dan tahun …

11 econometrics  panel-data  fixed-effects-model  difference-in-difference 

Saya sudah mendapat data permintaan setengah jam, yang merupakan rangkaian waktu multi-musiman. Aku digunakan tbatsdalam forecastpaket di R, dan mendapat hasil seperti ini: TBATS(1, {5,4}, 0.838, {<48,6>, <336,6>, <17520,5>}) Apakah ini berarti seri tidak harus menggunakan transformasi Box-Cox, dan istilah kesalahan adalah ARMA (5, 4), dan 6, 6 dan 5 …

11 r  time-series  diagnostic  multiple-seasonalities  tbats 

Saya bertanya-tanya apakah ada teknik pembelajaran mesin (tanpa pengawasan) untuk memodelkan data longitudinal? Saya selalu menggunakan model efek campuran (kebanyakan non-linear) tapi saya bertanya-tanya apakah ada cara lain untuk melakukan ini (menggunakan pembelajaran mesin). Dengan pembelajaran mesin, maksud saya hutan acak, klasifikasi / pengelompokan, pohon keputusan dan bahkan pembelajaran yang …

11 machine-learning  mixed-model 

Saya mencari model antara stockprices energi dan cuaca. Saya memiliki harga MWatt yang dibeli antara negara-negara Eropa, dan banyak nilai pada cuaca (file Grib). Setiap jam dalam jangka waktu 5 tahun (2011-2015). Harga / hari Ini per hari selama satu tahun. Saya memiliki ini per jam pada 5 tahun. Contoh …

11 time-series  forecasting  predictive-models  modeling  large-data 

Saya telah mengambil kursus ML sebelumnya, tetapi sekarang saya bekerja dengan proyek-proyek terkait ML di pekerjaan saya, saya berjuang sedikit untuk benar-benar menerapkannya. Saya yakin hal-hal yang saya lakukan telah diteliti / ditangani sebelumnya, tetapi saya tidak dapat menemukan topik tertentu. Semua contoh pembelajaran mesin yang saya temukan online sangat …

11 machine-learning  references  train  application 

Saya mencoba melakukan pemilihan model pada beberapa kandidat yang menggunakan LASSO dengan hasil yang berkelanjutan. Tujuannya adalah untuk memilih model optimal dengan kinerja prediksi terbaik, yang biasanya dapat dilakukan dengan validasi silang K-fold setelah mendapatkan jalur solusi dari parameter tuning dari LASSO. Masalahnya di sini adalah bahwa data berasal dari …

11 cross-validation  survey  lasso  glmnet 

Baru-baru ini, kami melihat kemunculan Residual Neural Net, di mana, setiap lapisan terdiri dari modul komputasi dan koneksi pintasan yang mempertahankan input ke lapisan seperti output dari pameran lapisan ke-i: Jaringan memungkinkan untuk mengekstraksi fitur residu dan memungkinkan untuk kedalaman yang lebih dalam sambil lebih kuat terhadap masalah gradien menghilang, …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks