Statistik dan Big Data

Saya punya dua sampel yang sangat kecil ( untuk masing-masing) dan saya mendapatkan dua sampel uji-t untuk mereka 0,49, yang relatif kecil (dihitung dengan R ). Namun, uji-t Welch Two Sample memberikan nilai-p sini, sehingga hipotesis nol dapat ditolak.n = 7n=7n=7power.t.test()0,0320.0320.032 Sekarang haruskah saya khawatir bahwa kekuatannya kecil? Pemahaman saya …

8 hypothesis-testing  t-test  power  type-i-and-ii-errors 

The peluang dari suatu peristiwa adalah hasil bagi dari probabilitas acaraAAAdan komplemennya; yaitu p/(1−p)p/(1−p)p/(1-p), jika p=P(A)p=P(A)p = P(A). Apakah ada nama untuk istilah ini: p(1−p)p(1−p)p(1-p)? (Juga terkadang muncul sebagaipqpqpq.)

8 probability  terminology 

Bayangkan sebuah pemilihan di mana orang membuat pilihan biner: mereka memilih A atau menentangnya. Hasilnya adalah bahwa orang memilih untuk A, dan hasilnya A adalah .nnnmmmp = m / np=m/np=m/n Jika saya ingin memodelkan pemilihan ini, saya dapat mengasumsikan bahwa setiap orang memilih A secara independen dengan probabilitas , yang …

8 mathematical-statistics  variance  binomial  underdispersion 

Saya sudah mencoba mencari tahu apa sebenarnya yang dimaksud dengan fungsi aktivasi "Maxout" di jaringan saraf. Ada pertanyaan ini , makalah ini , dan bahkan dalam buku Deep Learning oleh Bengio et al. , kecuali hanya dengan sedikit informasi dan TODO besar di sebelahnya. Saya akan menggunakan notasi yang dijelaskan …

8 machine-learning  neural-networks 

Saya memiliki vektor Xdari N=900pengamatan yang terbaik dimodelkan oleh estimator bandwidth yang global yang kepadatan Kernel (model parametrik, termasuk model campuran yang dinamis, ternyata tidak menjadi cocok baik): Sekarang, saya ingin mensimulasikan dari KDE ini. Saya tahu ini bisa dicapai dengan bootstrap. Dalam R, semuanya bermuara pada baris kode sederhana …

8 distributions  sampling  bootstrap  simulation  kernel-smoothing 

Dalam hubungannya dengan pertanyaan yang Divalidasi Lintas dalam mensimulasikan dari kopula tertentu, yaitu, multivarian cdf didefinisikan pada , saya mulai bertanya-tanya tentang gambar yang lebih besar, yaitu bagaimana, ketika diberikan fungsi seperti itu, dapatkah seseorang mencari algoritma umum untuk disimulasikan dari distribusi probabilitas yang sesuai?C(u1,…,uk)C(u1,…,uk)C(u_1,\ldots,u_k)[0,1]k[0,1]k[0,1]^k Jelas, salah satu solusi adalah …

8 multivariate-analysis  simulation  mcmc  copula 

Elemen Pembelajaran Statistik (ESL) adalah buku yang memiliki luas dan kedalaman fantastis. Ini mencakup penting untuk metode yang sangat modern dengan mengutip makalah di mana studi asli ini terjadi. Namun, saya benar-benar menemukan bahasa buku itu sangat sangat mahal. Saya percaya ada cara yang lebih mudah untuk membahas konsep. Saya …

8 self-study  statistical-learning 

Saya memiliki dataset 17 orang, peringkat 77 pernyataan. Saya ingin mengekstraksi komponen-komponen utama pada matriks korelasi transposisi korelasi antara orang (sebagai variabel) di seluruh pernyataan (sebagai kasus). Aku tahu, itu aneh, itu disebut Q Metodologi . Saya ingin menggambarkan bagaimana PCA bekerja dalam konteks ini, dengan mengekstraksi dan memvisualisasikan nilai …

8 r  data-visualization  pca  ggplot2  eigenvalues 

Apa cara terbaik untuk memvisualisasikan perbedaan-dalam-perbedaan untuk pengobatan biner dan berkelanjutan? Apakah saya regresi variabel hasil pada set kontrol tetapi mengecualikan variabel pengobatan dan plot residu di setiap kelompok (kasus biner)? Apakah ada cara untuk melihat "dinamika" dari parameter ATE dari waktu ke waktu? Saya ingin menunjukkan bahwa asumsi tren …

8 data-visualization  causality  treatment-effect  difference-in-difference 

Dari dokumen Lucene IDF=1+log(numDocsdocFreq+1)IDF=1+log⁡(numDocsdocFreq+1)\text{IDF} = 1 + \log\left(\frac{\text{numDocs}}{\text{docFreq}+1}\right) Dalam referensi lain (mis. Wikipedia ), IDF biasanya dihitung sebagai atau untuk menghindari menyelam oleh 0.log(numDocsdocFreq)log⁡(numDocsdocFreq)\log\left(\frac{\text{numDocs}}{\text{docFreq}}\right)catatan(numDocsdocFreq + 1)catatan⁡(numDocsdocFreq+1)\log\left(\frac{\text{numDocs}}{\text{docFreq}+1}\right) Saya juga menyadari Lucene menggunakan daripada untuk menghitung TF, tetapi pemahaman saya adalah bahwa ini hanya transformasi yang disukai, mungkin untuk menghindari .x--√x\sqrt{x}catatan( x …

8 information-retrieval  tf-idf 

Untuk tesis master saya, pada dasarnya saya ingin mencari tahu, mengapa negara-negara berkembang stagnan. Di samping aspek teoretis, saya juga ingin membuat regresi. Saya ingin mengurangi PDB atau pertumbuhan PDB sebagai variabel dependen pada banyak variabel independen, seperti masa jabatan kepala negara, harapan hidup, pembatasan jam kerja, melek huruf orang …

8 regression  econometrics  panel-data  macroeconomics 

Sistem yang kami kerjakan bersifat biologis, lebih khusus lagi distribusi peristiwa kerusakan DNA terprogram di seluruh kromosom. Ini dapat dianggap sebagai array 1D (kromosom) di mana titik dapat dipilih (situs kerusakan yang disengaja). Kami telah memetakan posisi peristiwa-peristiwa ini secara eksperimental dan pada awalnya bertanya apakah mereka cocok dengan distribusi …

8 probability  distributions  mathematical-statistics  matlab 

Saya mencoba memahami bagaimana regularisasi bekerja dalam hal proyeksi ke a l∗l∗l_* bola, dan proyeksi Euclidean ke simpleks. Saya tidak yakin saya mengerti apa yang kami maksud ketika kami memproyeksikan vektor bobot ke l1l1l_1 atau l2l2l_2 bola. Saya bisa mengerti konsep l1l1l_1program regularisasi, seperti dalam, kita pergi melalui setiap elemen …

8 optimization  regularization  projection 

Jika prior saya dimodelkan sebagai distribusi probabilitas kontinu, katakanlah, distribusi beta condong untuk mencerminkan bias saya terhadap model-model tertentu, bagaimana saya bisa menghitung probabilitas posterior? Tantangan bagi saya adalah menghitung probabilitas model yang diberikan, karena distribusi kontinu hanya akan memberi saya perkiraan untuk interval . Tolong maafkan kenaifan pertanyaan, Saya …

8 bayesian  prior 

Jika R kuadrat yang disesuaikan lebih baik daripada R kuadrat, lalu mengapa perangkat lunak statistik terus melaporkan yang terakhir? Apakah ada situasi ketika peneliti lebih suka menggunakan R kuadrat daripada R kuadrat yang disesuaikan?

8 regression