Statistik dan Big Data

Mekanika Kuantum telah menggeneralisasikan teori probabilitas ke bilangan negatif / imajiner, sebagian besar untuk menjelaskan pola interferensi, dualitas gelombang / partikel dan umumnya hal-hal aneh seperti itu. Akan tetapi, ini dapat dilihat secara lebih abstrak sebagai generalisasi probabilitas Bayesian yang non-komutatif (kutipan dari Terrence Tao). Saya ingin tahu tentang hal-hal …

27 probability 

Semua variabel saya kontinu. Tidak ada level. Apakah mungkin untuk bahkan memiliki interaksi antara variabel?

27 regression  modeling  interaction 

Dalam konteks pembelajaran mesin, apa perbedaannya belajar tanpa pengawasan pembelajaran yang diawasi dan pembelajaran semi-terawasi? Dan apa saja beberapa pendekatan algoritmik utama untuk dilihat?

27 machine-learning  unsupervised-learning  supervised-learning  semi-supervised 

Saat ini saya harus menganalisis sekitar 20 juta catatan dan membangun model prediksi. Sejauh ini saya sudah mencoba Statistica, SPSS, RapidMiner dan R. Di antara Statistica ini tampaknya paling cocok untuk berurusan dengan data mining dan antarmuka pengguna RapidMiner juga sangat berguna tetapi tampaknya bahwa Statistica, RapidMiner dan SPSS hanya …

27 large-data  software  data-mining 

Pertanyaan: Dari sudut pandang ahli statistik (atau seorang praktisi), dapatkah seseorang menyimpulkan kausalitas menggunakan skor kecenderungan dengan studi observasional ( bukan eksperimen )? Tolong, tidak ingin memulai perang api atau debat fanatik. Latar belakang: Dalam program stat PhD kami, kami hanya menyentuh inferensi kausal melalui kelompok kerja dan beberapa sesi …

27 causality  propensity-scores 

Saya lebih sebagai programmer daripada ahli statistik, jadi saya harap pertanyaan ini tidak terlalu naif. Ini terjadi dalam eksekusi program sampling secara acak. Jika saya mengambil N = 10 sampel waktu-acak dari status program, saya bisa melihat fungsi Foo dieksekusi, misalnya, I = 3 dari sampel tersebut. Saya tertarik pada …

27 binomial  beta-binomial  beta-distribution 

Analisis antar pasar adalah metode pemodelan perilaku pasar dengan cara menemukan hubungan antara pasar yang berbeda. Sering kali, suatu korelasi dihitung antara dua pasar, katakanlah S&P 500 dan treasury AS 30-Tahun. Perhitungan ini lebih sering didasarkan pada data harga, yang jelas bagi semua orang bahwa itu tidak sesuai dengan definisi …

27 correlation  stationarity 

Misalkan Anda memiliki tas dengan ubin, masing-masing dengan huruf di atasnya. Ada ubin dengan huruf 'A', dengan 'B', dan seterusnya, dan 'wildcard' (kami memiliki ). Misalkan Anda memiliki kamus dengan jumlah kata yang terbatas. Anda memilih ubin dari kantong tanpa pengganti. Bagaimana Anda menghitung (atau memperkirakan) probabilitas bahwa Anda dapat …

27 sampling  games  probability 

Saya sedang mengerjakan pembelajaran mesin teoretis - pembelajaran transfer, untuk lebih spesifik - untuk Ph.D. Karena penasaran, mengapa saya harus mengikuti kursus tentang optimasi cembung? Apa kesimpulan dari optimasi cembung yang dapat saya gunakan dalam penelitian saya tentang pembelajaran mesin teoretis?

27 machine-learning  optimization  convex  transfer-learning 

Saya telah membaca di sejumlah referensi bahwa estimasi Lasso untuk parameter vektor regresi setara dengan mode posterior di mana distribusi sebelumnya untuk setiap adalah distribusi eksponensial ganda (juga dikenal sebagai distribusi Laplace).B B iBBBBBBBiBiB_i Saya telah mencoba untuk membuktikan ini, dapatkah seseorang menyempurnakan detailnya?

27 regression  bayesian  lasso  prior  regularization 

Apakah Average Precision (AP) area di bawah Precision-Recall Curve (AUC dari PR-curve)? EDIT: berikut adalah beberapa komentar tentang perbedaan dalam PR AUC dan AP. AUC diperoleh dengan interpolasi trapesium dari presisi. Metrik alternatif dan biasanya hampir setara adalah Average Precision (AP), yang dikembalikan sebagai info.ap. Ini adalah rata-rata presisi yang …

27 scikit-learn  precision-recall  auc  average-precision 

Saya mencoba menyelesaikan tugas regresi. Saya menemukan bahwa 3 model bekerja dengan baik untuk subset data yang berbeda: LassoLARS, SVR dan Gradient Tree Boosting. Saya perhatikan bahwa ketika saya membuat prediksi menggunakan ketiga model ini dan kemudian membuat tabel 'output nyata' dan output dari 3 model saya, saya melihat bahwa …

27 regression  scikit-learn  ensemble 

Saya menyelesaikan kursus Pembelajaran Mesin Andrew Ng sekitar setahun yang lalu, dan sekarang saya sedang menulis penjelajahan Matematika SMA saya tentang cara kerja Regresi Logistik dan teknik untuk mengoptimalkan kinerja. Salah satu teknik ini, tentu saja, regularisasi. Tujuan dari regularisasi adalah untuk mencegah overfitting dengan memperluas fungsi biaya untuk memasukkan …

27 regression  machine-learning  optimization  regularization  overfitting 

Masalah: Saya telah membaca di posting lain yang predicttidak tersedia untuk lmermodel efek campuran {lme4} di [R]. Saya mencoba menjelajahi subjek ini dengan dataset mainan ... Latar Belakang: Dataset diadaptasi dari sumber ini , dan tersedia sebagai ... require(gsheet) data <- read.csv(text = gsheet2text('https://docs.google.com/spreadsheets/d/1QgtDcGJebyfW7TJsB8n6rAmsyAnlz1xkT3RuPFICTdk/edit?usp=sharing', format ='csv')) Ini adalah baris dan …

27 r  mixed-model  lme4-nlme 

Misalkan kita memiliki beberapa skenario perbandingan seperti inferensi post hoc pada statistik berpasangan, atau seperti regresi berganda, di mana kita membuat total perbandingan . Andaikan juga, bahwa kami ingin mendukung inferensi dalam kelipatan ini menggunakan interval kepercayaan.mmm 1. Apakah kita menerapkan beberapa penyesuaian perbandingan pada CI? Yaitu, sama seperti beberapa …

27 confidence-interval  multiple-comparisons  inference