Statistik dan Big Data

PERTANYAAN: Saya memiliki data biner pada pertanyaan ujian (benar / salah). Beberapa individu mungkin memiliki akses sebelumnya ke subset pertanyaan dan jawaban yang benar. Saya tidak tahu siapa, berapa banyak, atau yang mana. Jika tidak ada kecurangan, anggaplah saya akan memodelkan kemungkinan respons yang benar untuk item sebagai , di …

25 r  clustering  classification  psychometrics 

Saya ditanya pertanyaan ini selama wawancara untuk posisi perdagangan dengan perusahaan dagang berpemilik. Saya sangat ingin tahu jawaban untuk pertanyaan ini dan intuisi di baliknya. Amuba Pertanyaan: Suatu populasi amuba dimulai dengan 1. Setelah 1 periode itu amuba dapat dibagi menjadi 1, 2, 3, atau 0 (bisa mati) dengan probabilitas …

25 probability 

Seorang siswa bertanya kepada saya hari ini, "Bagaimana mereka tahu berapa banyak orang yang menghadiri acara kelompok besar, misalnya, 'Rally to Restore Sanity' Stewart / Colbert di Washington DC?" Outlet berita melaporkan perkiraan dalam puluhan ribu, tetapi metode apa yang digunakan untuk mendapatkan estimasi tersebut, dan seberapa andalkah mereka? Satu …

25 estimation  sampling 

Analisis data eksplorasi (EDA) sering mengarah untuk mengeksplorasi "trek" lain yang tidak harus milik set hipotesis awal. Saya menghadapi situasi seperti itu dalam studi dengan ukuran sampel terbatas dan banyak data yang dikumpulkan melalui kuesioner yang berbeda (data sosio-demografi, skala neuropsikologis atau medis - misalnya, fungsi mental atau fisik, tingkat …

25 multiple-comparisons  epidemiology  small-sample  eda 

Katakanlah saya sudah makan hamburger setiap hari Selasa selama bertahun-tahun. Anda bisa mengatakan bahwa saya makan hamburger 14% dari waktu, atau bahwa kemungkinan saya makan hamburger dalam minggu tertentu adalah 14%. Apa perbedaan utama antara probabilitas dan proporsi? Apakah probabilitas proporsi yang diharapkan? Apakah probabilitas tidak pasti dan proporsi dijamin?

25 probability  intuition 

Metode reliabilitas antar penilai mana yang paling tepat untuk data ordinal atau interval? Saya percaya bahwa "Probabilitas kesepakatan bersama" atau "Kappa" dirancang untuk data nominal. Sementara "Pearson" dan "Spearman" dapat digunakan, mereka terutama digunakan untuk dua penilai (meskipun mereka dapat digunakan untuk lebih dari dua penilai). Apa ukuran lain yang …

25 reliability  psychometrics  agreement-statistics  cohens-kappa 

Saya sudah mulai bekerja dengan cara saya melalui Tutorial Statistik Data Mining oleh Andrew Moore (sangat disarankan untuk orang lain yang pertama kali menjelajah ke bidang ini). Saya mulai dengan membaca PDF yang sangat menarik ini yang berjudul "Tinjauan Pengantar tentang algoritma pendeteksian anomali berbasis time-series" di mana Moore menelusuri …

25 time-series  outliers  signal-processing  wavelet 

Apa cara yang baik untuk memvisualisasikan serangkaian tanggapan Likert? Misalnya, satu set item yang menanyakan tentang pentingnya X terhadap keputusan seseorang tentang A, B, C, D, E, F & G? Apakah ada sesuatu yang lebih baik daripada grafik batang yang ditumpuk? Apa yang harus dilakukan dengan respons N / A? …

25 data-visualization  scales  likert 

Saya mencoba menerapkan gradient descent dasar dan saya mengujinya dengan fungsi kehilangan engsel yaitu . Namun, saya bingung tentang gradien kehilangan engsel. Saya mendapat kesan bahwa itu adalahlengsel= maks ( 0 , 1 - y x ⋅ w )lengsel=maks(0,1-y x⋅w)l_{\text{hinge}} = \max(0,1-y\ \boldsymbol{x}\cdot\boldsymbol{w}) ∂∂wlengsel= { - y x0jika y x …

25 loss-functions 

Ini mungkin sulit ditemukan, tetapi saya ingin membaca contoh ARIMA yang dijelaskan dengan baik itu menggunakan matematika minimal memperluas diskusi di luar membangun model menggunakan model itu untuk memperkirakan kasus-kasus tertentu menggunakan grafik serta hasil numerik untuk menandai kecocokan antara nilai yang diperkirakan dan yang sebenarnya.

25 time-series  arima  intuition 

Dalam membaca tentang uji KS 2-sampel, saya mengerti persis apa yang dilakukannya tetapi saya tidak mengerti mengapa itu bekerja . Dengan kata lain, saya dapat mengikuti semua langkah untuk menghitung fungsi distribusi empiris, menemukan perbedaan maksimum antara keduanya untuk menemukan D-statistik, menghitung nilai kritis, mengubah D-statistik ke nilai p dll. …

25 distributions  statistical-significance  nonparametric  kolmogorov-smirnov 

Judulnya adalah pertanyaan. Saya diberitahu bahwa rasio dan invers variabel acak seringkali bermasalah. Yang dimaksud adalah bahwa harapan seringkali tidak ada. Apakah ada penjelasan sederhana dan umum tentang hal itu?

25 probability  distributions  random-variable  expected-value  ratio 

Diberikan fungsi biaya cembung, menggunakan SGD untuk optimisasi, kami akan memiliki gradien (vektor) pada titik tertentu selama proses optimasi. Pertanyaan saya adalah, mengingat titik pada cembung, apakah gradien hanya menunjuk pada arah di mana fungsi naik / turun tercepat, atau gradien selalu menunjuk pada titik optimal / ekstrim dari fungsi …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Regresi LASSO menyusutkan koefisien ke nol, sehingga memberikan pemilihan model yang efektif. Saya percaya bahwa dalam data saya ada interaksi yang bermakna antara kovariat nominal dan kontinu. Namun tidak harus, 'efek utama' dari model yang sebenarnya bermakna (bukan nol). Tentu saja saya tidak tahu ini karena model yang sebenarnya tidak …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 2 tahun yang lalu . Masalah mendasar dengan pembelajaran mendalam dan jaringan saraf pada umumnya. Solusi yang sesuai …

25 machine-learning  neural-networks  svm  deep-learning