Statistik dan Big Data

Saya memiliki satu set data yang saya harapkan untuk mengikuti distribusi Poisson, tetapi overdispersikan sekitar 3 kali lipat. Saat ini, saya memodelkan penyebaran berlebih ini menggunakan sesuatu seperti kode berikut dalam R. ## assuming a median value of 1500 med = 1500 rawdist = rpois(1000000,med) oDdist = rawDist + ((rawDist-med)*3) …

15 distributions  modeling  poisson-distribution  overdispersion 

Sebagai tindak lanjut dari jaringan saraf saya, saya bahkan tidak bisa mempelajari jarak Euclidean. Saya menyederhanakan lebih banyak lagi dan mencoba melatih satu ReLU tunggal (dengan berat acak) menjadi satu ReLU tunggal. Ini adalah jaringan paling sederhana yang ada, namun separuh dari waktu gagal untuk bertemu. Jika tebakan awal berada …

15 machine-learning  neural-networks  optimization  keras 

Saya menggunakan regresi logistik binomial untuk mengidentifikasi apakah paparan has_xatau has_ydampak kemungkinan bahwa pengguna akan mengklik sesuatu. Model saya adalah sebagai berikut: fit = glm(formula = has_clicked ~ has_x + has_y, data=df, family = binomial()) Ini output dari model saya: Call: glm(formula = has_clicked ~ has_x + has_y, family = …

15 regression  logistic  standard-error  logit 

Ini adalah pertanyaan diskusi tentang persimpangan statistik dan ilmu pengetahuan lainnya. Saya sering menghadapi masalah yang sama: para peneliti di bidang saya cenderung mengatakan bahwa tidak ada efek ketika nilai-p tidak kurang dari tingkat signifikansi. Pada awalnya, saya sering menjawab ini bukan cara kerja pengujian hipotesis. Mengingat seberapa sering pertanyaan …

15 hypothesis-testing 

http://www.deeplearningbook.org/contents/ml.html menjelaskan kesalahan bayes seperti di bawah ini Model yang ideal adalah oracle yang hanya tahu distribusi probabilitas sebenarnya yang menghasilkan data. Bahkan model seperti itu masih akan menimbulkan beberapa kesalahan pada banyak masalah, karena mungkin masih ada kebisingan dalam distribusi. Dalam kasus pembelajaran yang diawasi, pemetaan dari x ke …

15 machine-learning  deep-learning  terminology 

Hampir semua basis data yang ingin kita prediksi menggunakan algoritma pembelajaran mesin akan menemukan nilai yang hilang untuk beberapa karakteristik. Ada beberapa pendekatan untuk mengatasi masalah ini, untuk mengecualikan garis yang memiliki nilai yang hilang sampai mereka mengisi dengan nilai rata-rata dari karakteristik. Saya ingin menggunakan pendekatan yang agak lebih …

15 machine-learning  scikit-learn  data-imputation 

Saya baru-baru ini membaca artikel ini pada entropi distribusi probabilitas diskrit. Ini menjelaskan cara berpikir yang baik tentang entropi sebagai bit angka yang diharapkan (setidaknya ketika menggunakan log2log2\log_2 dalam definisi entropi Anda) yang diperlukan untuk menyandikan pesan ketika penyandian Anda optimal, mengingat kemungkinan distribusi kata-kata yang Anda gunakan. Namun, ketika …

15 entropy  information-theory 

Saya mencoba memahami kurva recall presisi, saya mengerti apa itu precision dan recall tapi yang saya tidak mengerti adalah nilai "baseline". Saya sedang membaca tautan ini https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ dan saya tidak mengerti bagian dasar seperti yang ditunjukkan dalam "Kurva Precision-Recall dari pengklasifikasi sempurna" apa fungsinya? dan bagaimana kita menghitungnya? Apakah ini …

15 r  machine-learning  classification  precision-recall 

Bagaimana randomForestpaket memperkirakan probabilitas kelas saat saya menggunakan predict(model, data, type = "prob")? Saya menggunakan rangeruntuk melatih hutan acak menggunakan probability = Targumen untuk memprediksi probabilitas. rangermengatakan dalam dokumentasi bahwa: Menumbuhkan hutan probabilitas seperti di Malley et al. (2012). Saya mensimulasikan beberapa data dan mencoba kedua paket dan memperoleh hasil …

15 r  random-forest  prediction 

Saya menganalisis set data menggunakan model efek campuran dengan satu efek tetap (kondisi) dan dua efek acak (peserta karena desain subjek dan pasangan dalam). Model ini dihasilkan dengan lme4paket: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Selanjutnya, saya melakukan uji rasio kemungkinan model ini terhadap model tanpa efek tetap (kondisi) dan memiliki perbedaan yang signifikan. Ada …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Saya seharusnya mengajar teorema Frish Waugh di bidang ekonometrika, yang belum saya pelajari. Saya telah memahami matematika di baliknya dan saya harap idenya juga "koefisien yang Anda dapatkan untuk koefisien tertentu dari model linier berganda sama dengan koefisien model regresi sederhana jika Anda" menghilangkan "pengaruh regressor lain". Jadi ide teoretis …

15 regression  econometrics  least-squares  projection  decomposition 

Saya sedang melakukan analisis data eksplorasi (EDA) pada dataset. Kemudian saya akan memilih beberapa fitur untuk memprediksi variabel dependen. Pertanyaannya adalah: Apakah saya harus melakukan EDA hanya pada dataset pelatihan saya? Atau haruskah saya bergabung dengan pelatihan dan menguji kumpulan data kemudian melakukan EDA pada keduanya dan memilih fitur berdasarkan …

15 dataset  feature-selection  feature-construction  eda 

Saya selalu berjuang untuk mendapatkan esensi sejati dari masalah parameter insidental. Saya membaca dalam beberapa kesempatan bahwa penduga efek tetap dari model data panel nonlinier dapat sangat bias karena masalah parameter insidental "terkenal". Ketika saya meminta penjelasan yang jelas tentang masalah ini, jawabannya adalah: Asumsikan bahwa data panel memiliki N …

15 nonlinear-regression  fixed-effects-model  bias 

Saya berencana untuk menggunakan validasi silang 10 kali lipat bertingkat yang diulang (sekitar 10 kali) pada sekitar 10.000 kasus menggunakan algoritma pembelajaran mesin. Setiap kali repetisi akan dilakukan dengan seed acak berbeda. Dalam proses ini saya membuat 10 contoh estimasi probabilitas untuk setiap kasus. 1 instance estimasi probabilitas untuk masing-masing …

15 roc 

Bisakah seseorang tolong beri tahu saya bagaimana saya seharusnya membangun jaringan saraf menggunakan metode batch? Saya telah membaca bahwa, dalam mode batch, untuk semua sampel dalam set pelatihan, kami menghitung kesalahan, delta dan dengan demikian bobot delta untuk setiap neuron dalam jaringan dan kemudian alih-alih segera memperbarui bobot, kami mengakumulasikannya, …

15 machine-learning  neural-networks