Statistik dan Big Data

Salah satu cara umum untuk "berbohong dengan data" adalah dengan menggunakan skala sumbu y yang membuatnya tampak seolah-olah perubahan lebih signifikan daripada yang sebenarnya. Ketika saya meninjau publikasi ilmiah, atau laporan laboratorium siswa, saya sering frustrasi dengan "dosa visualisasi data" ini (yang saya percaya penulis lakukan secara tidak sengaja, tetapi …

45 data-visualization 

Saya telah menulis MLP sederhana di TensorFlow yang memodelkan XOR-Gate . Jadi untuk: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] itu harus menghasilkan yang berikut: output_data = [[0.], [1.], [1.], [0.]] Jaringan memiliki lapisan input, lapisan tersembunyi dan lapisan keluaran dengan masing-masing 2, 5 dan 1 neuron. …

45 machine-learning  neural-networks  error  gradient-descent  supervised-learning 

Al Rahimi baru-baru ini memberikan ceramah yang sangat provokatif di NIPS 2017 membandingkan Machine Learning saat ini dengan Alkimia. Salah satu klaimnya adalah bahwa kita perlu kembali ke perkembangan teoretis, untuk memiliki teorema sederhana yang membuktikan hasil dasar. Ketika dia mengatakan itu, saya mulai mencari teorema utama untuk ML, tetapi …

45 machine-learning  deep-learning  theory 

Saya belajar di kelas model linier saya bahwa jika dua prediktor berkorelasi dan keduanya termasuk dalam model, satu akan tidak signifikan. Sebagai contoh, asumsikan ukuran rumah dan jumlah kamar tidur berkorelasi. Ketika memperkirakan biaya rumah menggunakan dua prediktor ini, salah satunya dapat dijatuhkan karena keduanya memberikan banyak informasi yang sama. …

45 regression  multiple-regression  p-value  linear-model  multicollinearity 

Saat menggunakan mesin dukungan vektor, apakah ada pedoman untuk memilih kernel linear vs kernel nonlinier, seperti RBF? Saya pernah mendengar bahwa kernel non-linear cenderung tidak berkinerja baik setelah jumlah fitur besar. Apakah ada referensi tentang masalah ini?

45 machine-learning  classification  svm  references  kernel-trick 

Saya membuat grafik untuk menunjukkan tren tingkat kematian (per 1000 ppl.) Di berbagai negara dan kisah yang harus berasal dari plot adalah bahwa Jerman (garis biru muda) adalah satu-satunya yang trennya meningkat setelah 1932. Ini adalah percobaan (dasar) pertama saya Menurut pendapat saya, grafik ini sudah menunjukkan apa yang ingin …

45 data-visualization 

Saya tahu saya kehilangan sesuatu dalam pemahaman saya tentang regresi logistik, dan akan sangat menghargai bantuan apa pun. Sejauh yang saya mengerti, regresi logistik mengasumsikan bahwa probabilitas hasil '1' diberikan input, adalah kombinasi linear dari input, melewati fungsi invers-logistik. Ini dicontohkan dalam kode R berikut: #create data: x1 = rnorm(1000) …

45 r  regression  logistic  generalized-linear-model  simulation 

Di bidang ekonomi (saya pikir) kami memiliki ARIMA dan GARCH untuk deret waktu yang teratur dan Poisson, Hawkes untuk proses titik pemodelan, jadi bagaimana dengan upaya untuk pemodelan deret waktu yang tidak beraturan (tidak merata) - apakah ada (setidaknya) praktik umum ? (Jika Anda memiliki pengetahuan dalam topik ini, Anda …

45 time-series  garch  poisson-process  point-process  unevenly-spaced-time-series 

Diberikan variabel acak Y=max(X1,X2,…,Xn)Y=max(X1,X2,…,Xn)Y = \max(X_1, X_2, \ldots, X_n) di mana XiXiX_i adalah variabel seragam IID, bagaimana cara menghitung PDF YYY ?

45 pdf  maximum 

Apakah ada kemungkinan untuk menggunakan R di antarmuka web tanpa harus menginstalnya? Saya hanya punya satu skrip kecil yang ingin saya jalankan tetapi saya hanya ingin mencobanya tanpa prosedur instalasi yang panjang. Terima kasih.

45 r 

Apa itu "Penyimpangan," bagaimana cara menghitungnya, dan apa kegunaannya dalam berbagai bidang dalam statistik? Secara khusus, saya pribadi tertarik dengan penggunaannya di CART (dan implementasinya dalam rpart in R). Saya menanyakan hal ini karena artikel wiki sepertinya kurang dan wawasan Anda akan sangat disambut.

45 r  cart  rpart  deviance 

Saya telah menemukan pertanyaan dalam tes bakat wawancara kerja untuk berpikir kritis. Ini berjalan kira-kira seperti ini: Republik Zorganian memiliki beberapa kebiasaan yang sangat aneh. Pasangan hanya ingin memiliki anak perempuan karena hanya perempuan yang dapat mewarisi kekayaan keluarga, jadi jika mereka memiliki anak laki-laki, mereka akan memiliki lebih banyak …

45 probability  ratio 

Saya kenal dengan algoritma gradient descent dasar untuk pelatihan jaringan saraf. Saya telah membaca makalah yang mengusulkan Adam: ADAM: METODE UNTUK OPTIMISASI STOKASTIK . Meskipun saya pasti memiliki beberapa wawasan (setidaknya), makalah ini tampaknya terlalu tinggi bagi saya secara keseluruhan. Sebagai contoh, fungsi biaya sering merupakan jumlah dari banyak fungsi …

45 neural-networks  optimization  gradient-descent  adam 

Secara khusus, saya ingin tahu apakah ada perbedaan antara lm(y ~ x1 + x2)dan glm(y ~ x1 + x2, family=gaussian). Saya pikir kasus glm ini sama dengan lm. Apakah aku salah?

45 r  normal-distribution  generalized-linear-model  lm 

Apa perbedaan antara data 'Normalisasi' dan data 'Skala'? Sampai sekarang saya pikir kedua istilah mengacu pada proses yang sama tetapi sekarang saya menyadari ada sesuatu yang lebih yang saya tidak tahu / mengerti. Juga jika ada perbedaan antara Normalisasi dan Penskalaan, kapan kita harus menggunakan Normalisasi tetapi tidak untuk Penskalaan …

45 data-transformation  scales  normality-assumption  normalization