Statistik dan Big Data

Saya seorang pemula yang menggunakan pembelajaran mesin (saya menyelesaikan kursus Ng), saya menggunakan scikit-learn in python. Saya ingin menemukan cara terbaik untuk mendeteksi anomali di sistem kami. Kami memiliki peristiwa yang sedang berlangsung yang terjadi sesuai jadwal (setiap beberapa menit / jam), dan saya ingin mendeteksi ketika sesuatu yang abnormal …

8 time-series  python  scikit-learn  anomaly-detection 

Hanya melakukan beberapa permainan pikiran melalui catatan statistik saya ... Saya telah melihat ACF sekitar dengan nilai negatif pada lag 1 dan 2 - Saya mungkin memiliki pikiran kosong di sini, tetapi tidak akan AC negatif tinggi pada lag 1 menyiratkan serangkaian seperti (-1,1, -1,1, ...), dan karena itu kita …

8 time-series  correlation  autocorrelation 

Saya memiliki dataset 1 dimensi dan saya menggunakan boxplotfungsinya untuk membuat plot kotak. Maka saya bisa melihat bahwa saya memiliki beberapa outlier. Apakah pencilan dihitung ketika kuantil ditentukan? Apakah ada cara yang benar / salah atau keduanya benar selama kita jelas tentang metode mana yang telah digunakan? Jika demikian, bagaimana …

8 r  data-visualization  boxplot 

Misalkan adalah sampel acak dari fungsi distribusi kontinu . Biarkan independen dari . Bagaimana saya bisa menghitung ?Y1,…,Yn+1Y1,…,Yn+1Y_1,\dots,Y_{n+1}FFFX∼Uniform{1,…,n}X∼Uniform{1,…,n}X\sim\mathrm{Uniform}\{1,\dots,n\}YiYiY_iE[∑Xi=1I{Yi≤Yn+1}]E[∑i=1XI{Yi≤Yn+1}]\mathrm{E}\!\left[\sum _{i=1}^X I_{\{Y_i\leq Y_{n+1}\}}\right]

8 probability  self-study 

Terinspirasi oleh pertanyaan ini , saya mencoba untuk mendapatkan ekspresi untuk momen sentral ketiga dari jumlah variabel acak iid acak. Pertanyaan saya adalah apakah itu benar dan, jika tidak, apa yang salah atau asumsi tambahan apa yang mungkin hilang. Secara khusus, biarkan: S=∑1NXi,S=∑1NXi,S=\sum_1^N{X_i}, mana adalah variabel acak bernilai integer bernilai …

8 random-variable  moments 

Meskipun manfaat pemilihan model bertahap telah dibahas sebelumnya, menjadi tidak jelas bagi saya apa sebenarnya " pemilihan model bertahap " atau " regresi bertahap ". Saya pikir saya memahaminya, tetapi tidak begitu yakin lagi. Pemahaman saya adalah bahwa kedua istilah ini sinonim (setidaknya dalam konteks regresi), dan bahwa mereka merujuk …

8 multiple-regression  model-selection  aic  stepwise-regression 

Saya telah mencari pertanyaan tentang pengkodean fitur kategorikal, tetapi tidak dapat menemukan yang membahas masalah saya. Maaf jika saya melewatkannya. Katakanlah kita memiliki dataset dengan variabel biner dan nominal yang kira-kira sama pentingnya. Sebagian besar pengklasifikasi tidak dapat menangani tipe kategorikal secara langsung, jadi ini harus ditransformasikan - misalnya menggunakan …

8 classification  categorical-data  dimensionality-reduction  feature-construction  many-categories 

Saya bekerja sebagai analis data, terutama dalam SQL, menyediakan data operasi untuk pelanggan internal. Saya jarang melakukan analisis statistik. Baru-baru ini, pelanggan internal datang kepada saya dengan data dari proyek yang dirancang dengan buruk (tidak ada kelompok kontrol, tidak ada metodologi yang direncanakan, dll) dan meminta saya untuk melakukan analisis …

8 multivariate-analysis  assumptions  accuracy 

Saya telah melakukan Pencocokan Skor Prospensitas (dalam R menggunakan paket-R "Matchit"). Saya menggunakan metode pencocokan "tetangga terdekat". Setelah mencocokkan saya membandingkan pengobatan dan kelompok kontrol dalam hal variabel hasil mereka. Untuk perbandingan ini saya menggunakan uji-t. Saya menemukan bahwa setelah setiap prosedur pencocokan, hasil uji-t berubah. Untuk menguji asumsi saya …

8 k-nearest-neighbour  matching  propensity-scores 

Berapa peluang satu tahun kabisat akan memiliki 53 Minggu? Sesuai uji coba saya, apakah akan 2/7? Karena 366 hari dalam satu tahun kabisat berarti 52 minggu dan 2 hari lagi, jadi dari dua hari tambahan, probabilitas hari Minggu adalah 2/7. PS: Ini pertanyaan yang saya temukan di buku statistik dasar.

8 probability  self-study 

Saya memiliki dua variabel acak yang independen dan terdistribusi secara identik, yaitu ϵ1,ϵ0∼iidGumbel ( μ , β)ϵ1,ϵ0∼iidGumbel(μ,β)\epsilon_{1}, \epsilon_{0} \overset{\text{iid}}{\sim} \text{Gumbel}(\mu,\beta): F( ϵ ) = exp( - exp( -ϵ - μβ) ) ,F(ϵ)=exp⁡(−exp⁡(−ϵ−μβ)),F(\epsilon) = \exp(-\exp(-\frac{\epsilon-\mu}{\beta})), f( ϵ ) =1βexp( - (ϵ - μβ+ exp( -ϵ - μβ) ) ) .f(ϵ)=1βexp⁡(−(ϵ−μβ+exp⁡(−ϵ−μβ))).f(\epsilon) = …

8 probability  logistic  conditional-probability  conditional-expectation  gumbel 

Seperti yang saya pahami, jaringan saraf yang dalam melakukan "representasi pembelajaran" dengan meletakkan fitur bersama. Ini memungkinkan mempelajari struktur dimensi yang sangat tinggi dalam fitur-fiturnya. Tentu saja, ini adalah model parametrik dengan jumlah parameter yang tetap, sehingga memiliki keterbatasan yang biasa sehingga kompleksitas model mungkin sulit disetel. Apakah ada cara …

8 machine-learning  bayesian  nonparametric  deep-learning 

Saya cukup baru dalam pengenalan digit, dan saya perhatikan bahwa banyak tutorial menggunakan klasifikasi SVM, misalnya: http://hanzratech.in/2015/02/24/handwritten-digit-recognition-using-opencv-sklearn-and-python.html http://scikit-learn.org/stable/auto_examples/classification/plot_digits_classification.html Saya ingin tahu apakah ada manfaat (khusus domain) untuk alat itu, dibandingkan dengan misalnya Belajar jaringan saraf yang mendalam Klasifikasi berdasarkan k-means Terima kasih atas komentarnya. Klarifikasi, mengapa SVM adalah alat yang …

8 svm  deep-learning  k-means  pattern-recognition  image-processing 

BBC telah menganalisis lebih banyak data referendum Brexit; bagan pertama di artikel mereka menarik perhatian saya: Tampaknya aneh untuk membagi sumbu x pada 50%. Tentunya ini seharusnya dipecah pada median data? (Atau maksudnya jika data terdistribusi secara normal; tetapi menyipitkan mata, sepertinya tidak demikian di sini.) (Mereka belum merilis data …

8 data-visualization  statistics-in-media 

Saya telah mengalami masalah ini beberapa kali sekarang, dengan pengulas meminta lebih banyak pembenaran untuk penggunaan LMM, tes tradisional, bukan atau di samping LMM, dan tabel perkiraan parameter lengkap dengan apa yang Anda laporkan dengan model linier biasa . Saat ini masalah spesifik saya adalah pengulas yang meminta "Tabel yang …

8 mixed-model  lme4-nlme  reporting