Statistik dan Big Data

Misalkan kita memiliki respons Y dan prediktor X1, ...., Xn. Jika kita mencoba mencocokkan Y melalui model linier X1, ...., Xn, dan kebetulan saja bahwa hubungan yang benar antara Y dan X1, ..., Xn tidak linier, kita mungkin dapat untuk memperbaiki model dengan mengubah X entah bagaimana dan kemudian menyesuaikan …

15 machine-learning  random-forest 

Saya tertarik melihat beberapa metrik yang berbeda untuk algoritme pemeringkatan - ada beberapa yang terdaftar di halaman wikipedia Learning to Rank, termasuk: • Rata-rata presisi rata-rata (MAP); • DCG dan NDCG; • Precision @ n, NDCG @ n, di mana "@n" menunjukkan bahwa metrik dievaluasi hanya pada n dokumen teratas; …

15 algorithms  ranking 

Saya mencoba memahami beberapa makalah oleh Mark van der Laan. Dia seorang ahli statistik teoritis di Berkeley yang mengerjakan masalah yang tumpang tindih secara signifikan dengan pembelajaran mesin. Satu masalah bagi saya (selain matematika yang mendalam) adalah bahwa ia sering akhirnya menggambarkan pendekatan pembelajaran mesin yang akrab dengan menggunakan terminologi …

15 mathematical-statistics  estimation  nonparametric  autocorrelation  censoring 

Saya membaca makalah ilmiah tentang klasifikasi gambar. Dalam hasil percobaan mereka berbicara tentang akurasi top-1 dan top-5 tetapi saya belum pernah mendengar istilah itu, juga tidak dapat menemukannya menggunakan google. Bisakah seseorang memberi saya definisi atau menunjuk saya ke suatu tempat? :)

15 machine-learning 

Jadi saya merencanakan ACF / PACF dari pengembalian minyak dan mengharapkan untuk melihat beberapa autokorelasi positif tetapi yang mengejutkan saya, saya hanya mendapatkan autokorelasi signifikan negatif. Bagaimana saya menafsirkan grafik di atas? Mereka tampaknya menunjukkan bahwa ada kecenderungan pengembalian minyak meningkat ketika sebelumnya menurun dan sebaliknya, sehingga perilaku berosilasi. Harap …

15 time-series 

Katakanlah saya memiliki dua atau lebih populasi sampel vektor bernilai kontinu n-dimensi. Apakah ada cara nonparametrik untuk menguji apakah sampel ini dari distribusi yang sama? Jika demikian, apakah ada fungsi dalam R atau python untuk ini?

15 r  distributions  nonparametric  python 

Ketika melakukan klasifikasi SVM linier, seringkali membantu untuk menormalkan data pelatihan, misalnya dengan mengurangi rata-rata dan membaginya dengan standar deviasi, dan kemudian skala data uji dengan rata-rata dan standar deviasi data pelatihan. Mengapa proses ini mengubah secara dramatis kinerja klasifikasi?

15 machine-learning  svm  standardization 

Misalkan dua kelompok, terdiri dari dan masing-masing peringkat satu set 25 item dari yang paling penting sampai yang paling tidak penting. Apa cara terbaik untuk membandingkan peringkat ini?n1n1n_1n2n2n_2 Jelas, dimungkinkan untuk melakukan 25 tes Mann-Whitney U, tetapi ini akan menghasilkan 25 hasil tes untuk ditafsirkan, yang mungkin terlalu banyak (dan, …

15 ranking  group-differences 

Saya telah bekerja dengan informasi timbal balik untuk beberapa waktu. Tetapi saya menemukan ukuran yang sangat baru dalam "dunia korelasi" yang juga dapat digunakan untuk mengukur independensi distribusi, yang disebut "korelasi jarak" (juga disebut korelasi Brown): http://en.wikipedia.org/wiki/Brownian_covariance . Saya memeriksa makalah tempat langkah ini diperkenalkan, tetapi tanpa menemukan kiasan untuk …

15 correlation  mutual-information  distance-covariance 

Saya telah menerima hasil dari tes peringkat Mann-Whitney yang saya tidak mengerti. Median 2 populasi identik (6,9). Kuantitas atas dan yang lebih rendah dari setiap populasi adalah: 6.64 & 7.2 6.60 & 7.1 Nilai p yang dihasilkan dari uji yang membandingkan populasi ini adalah 0,007. Bagaimana populasi ini berbeda secara …

15 nonparametric  median  ranks  wilcoxon-mann-whitney 

Misalkan menjadi variabel acak terdistribusi chi-kuadrat dengan derajat kebebasan k . Apa batas paling tajam yang diketahui untuk probabilitas berikutX∼χ2kX∼χk2X \sim \chi^2_kkkk P[X&gt;t]≤1−δ1(t,k)P[X&gt;t]≤1−δ1(t,k) \mathbb{P}[X > t] \leq 1 - \delta_1(t, k) dan P[X&lt;z]≤1−δ2(z,k)P[X&lt;z]≤1−δ2(z,k) \mathbb{P}[X < z] \leq 1 - \delta_2(z, k) di mana dan δ 2 adalah beberapa fungsi. Pointer …

15 probability  chi-squared 

Saya ingin saran tentang metode analisis yang saya gunakan, untuk mengetahui apakah itu baik secara statistik. Saya telah mengukur dua titik proses dan T 2 = t 2 1 , t 2 2 , . . . , t 2 m dan saya ingin menentukan apakah peristiwa di T 1 …

15 point-process  cross-correlation 

Apa turunan dari fungsi aktivasi ReLU didefinisikan sebagai: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Bagaimana dengan kasus khusus di mana ada diskontinuitas dalam fungsi di ?x=0x=0x=0

15 self-study  neural-networks 

Saya ingin melakukan proyek optical character recognition (OCR). Setelah melakukan beberapa penelitian saya menemukan arsitektur yang tampaknya menarik: CNN + RNN + CTC. Saya akrab dengan jaringan saraf berbelit-belit (CNN), dan jaringan saraf berulang (RNN), tetapi apa itu Classification Temporal Classification (CTC)? Saya ingin penjelasan dalam istilah awam.

15 machine-learning  deep-learning  conv-neural-network  rnn 

Bisakah seseorang tolong jelaskan kepada saya mengapa Anda perlu menormalkan data saat menggunakan K tetangga terdekat. Saya sudah mencoba mencari ini, tetapi saya masih belum bisa memahaminya. Saya menemukan tautan berikut: https://discuss.analyticsvidhya.com/t/why-it-is-n perlu-to-normalisasi-in-knn/2715 Namun dalam penjelasan ini, saya tidak mengerti mengapa kisaran yang lebih besar di salah satu fitur mempengaruhi …

15 k-nearest-neighbour