Statistik dan Big Data

Misalkan saya ingin melihat apakah data saya eksponensial berdasarkan histogram (yaitu condong ke kanan). Bergantung pada bagaimana saya mengelompokkan atau menyimpan data, saya bisa mendapatkan histogram yang sangat berbeda. Satu set histogram akan dibuat tampak bahwa data itu eksponensial. Set lain akan membuatnya tampak bahwa data tidak eksponensial. Bagaimana cara …

111 distributions  data-visualization  histogram  binning 

Saya membaca makalah di mana penulis membuang beberapa variabel karena tingginya korelasi dengan variabel lain sebelum melakukan PCA. Jumlah variabel adalah sekitar 20. Apakah ini memberikan manfaat? Sepertinya overhead bagi saya karena PCA harus menangani ini secara otomatis.

111 correlation  pca 

Penguatan pohon gradien seperti yang diusulkan oleh Friedman menggunakan pohon keputusan sebagai pelajar dasar. Saya bertanya-tanya apakah kita harus membuat pohon keputusan dasar serumit mungkin (dewasa) atau lebih sederhana? Apakah ada penjelasan untuk pilihannya? Random Forest adalah metode ensemble lain yang menggunakan pohon keputusan sebagai pelajar dasar. Berdasarkan pemahaman saya, …

110 machine-learning  random-forest  cart  boosting  ensemble 

Saya sedang mengerjakan proyek kecil yang melibatkan wajah pengguna twitter melalui foto profil mereka. Masalah yang saya temui adalah bahwa setelah saya memfilter semua kecuali gambar yang merupakan foto potret yang jelas, sebagian kecil tapi signifikan pengguna twitter menggunakan gambar Justin Bieber sebagai gambar profil mereka. Untuk memfilternya, bagaimana saya …

110 machine-learning  clustering  image-processing 

Saya punya pertanyaan aneh. Asumsikan bahwa Anda memiliki sampel kecil di mana variabel dependen yang akan Anda analisis dengan model linier sederhana sangat miring. Jadi, Anda berasumsi bahwa tidak terdistribusi normal, karena ini akan menghasilkan y terdistribusi normal . Tetapi ketika Anda menghitung plot QQ-Normal ada bukti, bahwa residu terdistribusi …

110 regression  residuals  error  normality-assumption 

Menindaklanjuti pertanyaan ini, Bagaimana Anda menjelaskan kovarians kepada seseorang yang hanya mengerti maksudnya? , yang membahas masalah menjelaskan kovarians kepada orang awam, mengemukakan pertanyaan serupa di benak saya. Bagaimana orang menjelaskan kepada orang baru tentang perbedaan antara kovarians dan korelasi ? Tampaknya keduanya merujuk pada perubahan dalam satu variabel yang …

109 correlation  covariance 

Dari fungsi kerapatan distribusi, kami dapat mengidentifikasi rata-rata (= 0) untuk distribusi Cauchy seperti grafik di bawah ini. Tapi mengapa kita mengatakan distribusi Cauchy tidak ada artinya?

109 distributions  mathematical-statistics  mean  pdf  cauchy 

Bagaimana cara kerja Mesin Vector Support (SVM) bekerja, dan apa yang membedakannya dari pengklasifikasi linier lainnya, seperti Linear Perceptron , Analisis Diskriminan Linear , atau Regresi Logistik ? * (* Saya sedang berpikir dalam hal motivasi yang mendasari algoritma, strategi optimasi, kemampuan generalisasi, dan kompleksitas run-time )

108 machine-learning  classification  svm  statistical-learning 

Pertama adalah Brexit , sekarang pemilihan AS. Banyak model prediksi yang dibuat dengan selisih yang lebar, dan apakah ada pelajaran yang bisa dipelajari di sini? Sampai jam 4 sore PST kemarin, pasar taruhan masih mengunggulkan Hillary 4 banding 1. Saya menganggap bahwa pasar taruhan, dengan uang nyata di telepon, harus …

108 predictive-models  ensemble  confounding 

Di sini @gung membuat referensi ke aturan .632+. Pencarian Google cepat tidak menghasilkan jawaban yang mudah dimengerti tentang apa arti aturan ini dan untuk tujuan apa aturan itu digunakan. Apakah seseorang tolong jelaskan aturan .632+?

107 bootstrap 

Untuk matriks data diberikan (dengan variabel dalam kolom dan titik data dalam baris), sepertinya A T A memainkan peran penting dalam statistik. Sebagai contoh, ini adalah bagian penting dari solusi analitik kuadrat terkecil biasa. Atau, untuk PCA, vektor eigennya adalah komponen utama data.AAAATAATAA^TA Saya mengerti bagaimana menghitung , tapi saya …

107 matrix  covariance-matrix  correlation-matrix 

Banyak pekerjaan statistik meminta pengalaman dengan data skala besar. Apa saja jenis keterampilan statistik dan komputasi yang akan diperlukan untuk bekerja dengan kumpulan data besar. Misalnya, bagaimana dengan membangun model regresi yang diberikan kumpulan data dengan 10 juta sampel?

107 regression  machine-learning  multivariate-analysis  large-data 

Saya agak mengerti apa arti "overfitting", tetapi saya perlu bantuan tentang bagaimana menghasilkan contoh dunia nyata yang berlaku untuk overfitting.

107 overfitting 

Ini adalah pertanyaan umum yang ditanyakan secara tidak langsung beberapa kali di sini, tetapi tidak memiliki jawaban otoritatif tunggal. Alangkah baiknya memiliki jawaban terperinci untuk ini sebagai referensi. Akurasi , proporsi klasifikasi yang benar di antara semua klasifikasi, adalah ukuran yang sangat sederhana dan sangat "intuitif", namun itu mungkin ukuran …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Saat ini saya sedang melakukan Tutorial Belajar Udacity Deep. Dalam Pelajaran 3, mereka berbicara tentang lilitan 1x1. Konvolusi 1x1 ini digunakan dalam Modul Google Inception. Saya mengalami kesulitan memahami apa yang dimaksud dengan konvolusi 1x1. Saya juga melihat posting ini oleh Yann Lecun. Bisakah seseorang dengan ramah menjelaskan ini kepada …

106 neural-networks  deep-learning  convolution  conv-neural-network