Statistik dan Big Data

Dalam buku teks ekonometrik saya (Introductory Econometrics) yang mencakup OLS, penulis menulis, "SSR harus jatuh ketika variabel penjelas lainnya ditambahkan." Kenapa sih?

9 regression  optimization  econometrics  intuition  sums-of-squares 

Saya memiliki vektor fitur (~ sejuta). Ada fitur biner (~ sejuta), tetapi dalam setiap vektor hanya (~ seribu) dari mereka akan menjadi , sisanya adalah . Saya mencari pasangan vektor yang memiliki setidaknya (~ seratus) fitur yang sama ( di keduanya). Jumlah pasangan demikian besarnya sama dengan (~ satu juta).M …

9 algorithms  high-dimensional 

Saya telah mencoba untuk membangun ketidaksetaraan |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} di mana adalah mean sampel dan standar deviasi sampel, yaitu .X¯X¯\bar{X}SSSS=∑ni=1(Xi−X¯)2n−1−−−−−−−−−√S=∑i=1n(Xi−X¯)2n−1S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}} Sangat mudah untuk melihat bahwa dan seterusnya tapi ini tidak terlalu dekat dengan apa yang saya cari, juga bukan ikatan yang berguna. Saya …

9 self-study  descriptive-statistics  bounds 

Saya buku daftar yang idf sebagai manal o g( 1 + Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) : Jumlah DokumenNNN tntntn_t : Jumlah Dokumen yang mengandung istilahttt Wikipedia mencantumkan rumus ini sebagai versi dari aktual . Yang saya mengerti: berkisar dari hingga yang tampaknya intuitif. Tapi berubah dari menjadi yang tampaknya sangat aneh ... Saya …

9 text-mining  natural-language  smoothing 

Misalkan saya melakukan percobaan dengan dua faktor atau lebih. Keseluruhan ANOVA dibangun, dan kemudian kami menindaklanjuti dengan dua set atau lebih tes post hoc , katakanlah beberapa perbandingan. Pertanyaan saya adalah tentang seberapa besar --- dan berapa banyak --- keluarga harus digunakan sebagai dasar untuk penyesuaian multiplisitas dari tes post …

9 multiple-comparisons  post-hoc 

Saya mengamati bahwa Caffe (kerangka pembelajaran yang mendalam) menggunakan Softmax Loss Layer SoftmaxWithLoss sebagai lapisan keluaran untuk sebagian besar sampel model . Sejauh yang saya tahu, lapisan Softmax Loss adalah kombinasi dari Multinomial Logistic Loss Layer dan Softmax Layer . Dari Caffe, mereka mengatakan itu Komputasi gradien Softmax Loss Layer …

9 multinomial  entropy  sums-of-squares  softmax 

Saya tidak yakin apa sebenarnya VectorSource dan VCorpus dalam paket 'tm'. Dokumentasinya tidak jelas mengenai hal ini, adakah yang bisa membuat saya mengerti secara sederhana?

9 r  text-mining 

Saya membaca entri Wikipedia yang berguna tentang peningkatan gradien ( https://en.wikipedia.org/wiki/Gradient_boosting ), dan mencoba memahami bagaimana / mengapa kita dapat memperkirakan residu dengan langkah penurunan paling curam (juga disebut pseudo-gradient) ). Adakah yang bisa memberi saya intuisi tentang bagaimana keturunan paling curam terkait / mirip dengan residu? Bantuan sangat dihargai!

9 self-study  gradient-descent 

Pertanyaan: Apakah model linier yang tidak tepat digunakan dalam praktik atau apakah mereka semacam keingintahuan dijelaskan dari waktu ke waktu dalam jurnal ilmiah? Jika demikian, di bidang apa mereka digunakan? Apakah ada contoh model lainnya? Akhirnya, apakah kesalahan standar, -values, dll. Diambil dari OLS untuk model seperti itu benar, atau …

9 regression  references  linear-model  robust 

Misalkan saya memiliki guci yang berisi N warna bola yang berbeda dan setiap warna yang berbeda dapat muncul beberapa kali berbeda (jika ada 10 bola merah tidak perlu ada juga 10 bola biru). Jika kita tahu isi guci yang tepat sebelum menggambar, kita dapat membentuk distribusi probabilitas diskrit yang memberi …

9 probability  discrete-data  distributions 

Di bidang saya, cara yang biasa untuk memplot data berpasangan adalah sebagai serangkaian segmen garis miring tipis, menimpanya dengan median dan CI median untuk dua kelompok: Namun, plot semacam ini menjadi lebih sulit dibaca karena jumlah titik data menjadi sangat besar (dalam kasus saya yang saya miliki di urutan 10.000 …

9 generalized-linear-model  data-visualization  modeling  interpretation  paired-data 

Saya berharap memiliki wawasan lebih tentang empat jenis kemiringan dari komunitas ini. Jenis yang saya rujuk disebutkan dalam http://www.inside-r.org/packages/cran/e1071/docs/skewness help page. Metode lama tidak disebutkan di halaman bantuan, tapi saya tetap memasukkannya. require(moments) require(e1071) x=rnorm(100) n=length(x) hist(x) ###############type=1 e1071::skewness(x,type=1) sqrt(n) * sum((x-mean(x))^3)/(sum((x - mean(x))^2)^(3/2)) #from e1071::skewness source m_r=function(x,r) {n=length(x); sum((x …

9 skewness 

Apa saja alternatif untuk uji chi-squared untuk variabel kategori dengan tabel lebih besar dari 2 x 2 dan sel dengan jumlah kurang dari 5, jika saya tidak ingin menggabungkan kelas?

9 chi-squared  fishers-exact 

Untuk bilangan konstanta yang diberikan (misalnya 4), apakah mungkin untuk menemukan distribusi probabilitas untuk , sehingga kita memiliki ?rrrXXXV a r (X) = rVar(X)=r\mathrm{Var}(X)=r

9 distributions  mathematical-statistics  variance 

Di banyak tempat saya telah membaca bahwa kita tidak pernah dapat mengatakan bahwa kita "menerima" hipotesis nol. Sebaliknya, kita harus mengatakan bahwa kita "gagal menolak" hipotesis nol. Tetapi saya tidak melihat bagaimana itu cocok dengan contoh sederhana ini: Misalkan kita sedang menguji obat yang seharusnya menyembuhkan diabetes sepenuhnya dalam waktu …

9 hypothesis-testing