Statistik dan Big Data

Adakah yang bisa memberi tahu saya cara menafsirkan plot 'residual vs pas', 'q-q normal', 'skala-lokasi', dan 'residual vs leverage'? Saya memasang GLM binomial, menyimpannya dan merencanakannya.

30 r  logistic  data-visualization  generalized-linear-model  qq-plot 

Saya punya dua sampel yang ingin saya uji (menggunakan python) jika diambil dari distribusi yang sama. Untuk melakukan itu saya menggunakan fungsi statistik ks_2samp dari scipy.stats. Ini mengembalikan 2 nilai dan saya menemukan kesulitan bagaimana menafsirkannya. Tolonglah!

30 python 

Dalam matematika, ada cabang-cabang seperti aljabar, analisis, topologi, dll. Dalam pembelajaran mesin ada yang diawasi, tidak diawasi, dan pembelajaran penguatan. Di dalam masing-masing cabang ini, ada cabang yang lebih baik yang membagi metode lebih lanjut. Saya mengalami masalah menggambar paralel dengan statistik. Apa yang akan menjadi cabang utama statistik (dan …

30 self-study  classification 

Dalam Paradox Ulang Tahun tradisional, pertanyaannya adalah "apa peluang dua atau lebih orang dalam sekelompok nnn orang berbagi ulang tahun". Saya terjebak pada masalah yang merupakan perpanjangan dari ini. Daripada mengetahui probabilitas bahwa dua orang berbagi ulang tahun, saya perlu memperluas pertanyaan untuk mengetahui berapa probabilitas xxx atau lebih banyak …

29 probability  combinatorics  birthday-paradox 

Jika dua variabel acak dan Y tidak berkorelasi, bisa kita juga tahu bahwa X 2 dan Y berkorelasi? Hipotesis saya adalah ya.XXXYYYX2X2X^2YYY tidak berkorelasi berarti E [ X Y ] = E [ X ] E [ Y ] , atauX,YX,YX, YE[XY]=E[X]E[Y]E[XY]=E[X]E[Y]E[XY]=E[X]E[Y] E[XY]=∫xyfX(x)fY(y)dxdy=∫xfX(x)dx∫yfY(y)dy=E[X]E[Y]E[XY]=∫xyfX(x)fY(y)dxdy=∫xfX(x)dx∫yfY(y)dy=E[X]E[Y] E[XY]=\int xy f_X(x)f_Y(y)dxdy=\int xf_X(x)dx\int yf_Y(y)dy=E[X]E[Y] Apakah itu …

29 random-variable  independence 

Jika Hessians sangat baik untuk optimasi (lihat misalnya metode Newton ), mengapa berhenti di situ? Mari kita gunakan derivatif ketiga, keempat, kelima, dan keenam? Kenapa tidak?

29 optimization  gradient-descent  hessian 

Saya memiliki kursus online, di mana saya belajar, bahwa kelas yang tidak seimbang dalam data pelatihan dapat menyebabkan masalah, karena algoritma klasifikasi berlaku untuk aturan mayoritas, karena memberikan hasil yang baik jika ketidakseimbangan itu terlalu banyak. Dalam suatu tugas seseorang harus menyeimbangkan data melalui undersampling kelas mayoritas. Namun di blog …

29 machine-learning  classification  unbalanced-classes 

Apa gunanya analisis deret waktu? Ada banyak metode statistik lain, seperti regresi dan pembelajaran mesin, yang memiliki kasus penggunaan yang jelas: regresi dapat memberikan informasi tentang hubungan antara dua variabel, sementara pembelajaran mesin sangat bagus untuk prediksi. Tapi sementara itu, saya tidak melihat untuk analisis deret waktu apa. Tentu, saya …

29 time-series  arima 

Gagasan analisis data adaptif adalah Anda mengubah rencana Anda untuk menganalisis data saat Anda belajar lebih banyak tentangnya. Dalam kasus analisis data eksplorasi (EDA), ini umumnya merupakan ide yang baik (Anda sering mencari pola yang tidak terduga dalam data), tetapi untuk studi konfirmasi, ini diterima secara luas sebagai metode analisis …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

Asumsikan saya memiliki dua kelompok data, berlabel A dan B (masing-masing berisi misalnya 200 sampel dan 1 fitur), dan saya ingin tahu apakah mereka berbeda. Saya bisa: a) melakukan uji statistik (misalnya uji-t) untuk melihat apakah mereka berbeda secara statistik. b) menggunakan pembelajaran mesin yang diawasi (mis. dukungan vektor klasifikasi …

29 machine-learning  hypothesis-testing  t-test  unsupervised-learning  supervised-learning 

Saya tidak jelas alasan kami menormalkan gambar untuk CNN dengan (image - mean_image)? Terima kasih!

29 deep-learning  conv-neural-network  image-processing 

Sebuah meta-analisis mencakup banyak studi, yang semuanya melaporkan nilai P lebih besar dari 0,05. Apakah mungkin untuk keseluruhan meta-analisis untuk melaporkan nilai P kurang dari 0,05? Dalam keadaan apa? (Saya cukup yakin jawabannya adalah ya, tapi saya ingin referensi atau penjelasan.)

29 statistical-significance  meta-analysis  combining-p-values 

Mengapa node bias digunakan dalam jaringan saraf? Berapa banyak yang harus Anda gunakan? Di lapisan mana Anda harus menggunakannya: semua lapisan tersembunyi dan lapisan keluaran?

29 machine-learning  neural-networks  bias-node 

Apakah ada cabang statistik yang berkaitan dengan data yang nilai pastinya tidak diketahui , tetapi untuk setiap individu, kita tahu batas maksimum atau minimum pada nilai tersebut ? Saya menduga bahwa masalah saya sebagian besar berasal dari kenyataan bahwa saya berjuang untuk mengartikulasikannya dalam istilah statistik, tetapi mudah-mudahan sebuah contoh …

29 biostatistics  population  bounds  interval-censoring 

Misalkan kita memiliki variabel acak X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta) . Jika θ0θ0\theta_0 adalah parameter sebenarnya, fungsi kemungkinan harus dimaksimalkan dan turunannya sama dengan nol. Ini adalah prinsip dasar di balik estimator kemungkinan maksimum. Seperti yang saya pahami, informasi Fisher didefinisikan sebagai I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] Jadi, jika θ0θ0\theta_0 …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information