Statistik dan Big Data

Saya sedang mengerjakan prediksi deret waktu. Aku punya dua set data D 1 = { x1, x2, . . . . xn}D1={x1,x2,....xn}D1=\{x_1, x_2,....x_n\} dan D 2 = { xn+ 1 , xn+ 2 , xn+ 3 , . . . . , xn+ k }D2={xn+1,xn+2,xn+3,....,xn+k}D2=\{x_n+1, x_n+2, x_n+3,...., x_n+k\} . Saya …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation 

Apakah ada asumsi khusus mengenai kesalahan untuk regresi logistik seperti varians konstan dari istilah kesalahan dan normalitas residual? Juga biasanya ketika Anda memiliki titik yang memiliki jarak Cook lebih besar dari 4 / n, apakah Anda menghapusnya? Jika Anda menghapusnya, bagaimana Anda bisa tahu apakah model dengan titik yang dihapus …

10 regression  logistic  residuals  diagnostic  cooks-distance 

Silakan lihat edit. Ketika Anda memiliki data dengan ekor yang berat, melakukan regresi dengan kesalahan siswa-t sepertinya hal yang intuitif untuk dilakukan. Sambil menjelajahi kemungkinan ini, saya menemukan makalah ini: Breusch, TS, Robertson, JC, & Welsh, AH (01 November 1997). Pakaian baru kaisar: kritik terhadap model regresi t multivariat. Statistica …

10 regression  mathematical-statistics  modeling  robust 

Misalkan kita memiliki dua sampel dan kami ingin menentukan apakah mereka diambil dari distribusi yang sama, sampel A, B yang terdiri dari beberapa kata bilangan bulat. Jika kita menguji ini menggunakan uji permutasi dua sampel, khususnya dengan melihat permutasi di mana perbedaan dalam rata-rata sampel sama ekstrimnya dengan perbedaan yang …

10 permutation-test 

Pendekatan tradisional konstruksi fitur untuk penambangan teks adalah pendekatan bag-of-words, dan dapat ditingkatkan menggunakan tf-idf untuk mengatur vektor fitur yang menjadi ciri dokumen teks yang diberikan. Saat ini, saya mencoba menggunakan model bahasa bi-gram atau (N-gram) untuk membangun vektor fitur, tetapi tidak cukup tahu bagaimana melakukannya? Bisakah kita cukup mengikuti …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

Apa itu prior hierarkis? Bagaimana mereka berbeda dari konsep umum prior?

10 bayesian  multilevel-analysis 

Memikirkan probabilitas selalu membuat saya menyadari betapa buruknya saya dalam menghitung ... Pertimbangkan urutan huruf dasar , masing-masing sama-sama cenderung muncul. Berapakah probabilitas bahwa urutan ini mengandung urutan tertentu dari pasangan basa dengan minat panjang ?nnnA ,T,C, dan GSEBUAH,T,C, dan GA,\; T, \; C, \text{ and } Gr ≤ nr≤nr\leq …

10 probability  combinatorics 

Saya mencoba menemukan korelasi antara dikotomis dan variabel kontinu. Dari pekerjaan dasar saya pada ini saya menemukan bahwa saya harus menggunakan independent t-test dan prasyarat untuk itu adalah bahwa distribusi variabel harus normal. Saya melakukan tes Kolmogorov-Smirnov untuk menguji normalitas dan menemukan bahwa variabel kontinu adalah tidak normal dan condong …

10 normal-distribution  categorical-data  continuous-data  kolmogorov-smirnov  association-measure 

Saya memiliki deret waktu (katakanlah hingga ), dan saya perlu memprediksi sampel berikutnya (katakanlah ) menggunakan model seperti jaringan saraf, atau regresi linier berganda. Pada waktu n, saya memiliki semua sampel dari hingga , dan perlu memprediksi ; pada waktu , saya memiliki semua sampel dari hingga , dan perlu …

10 time-series  prediction-interval 

Saya memiliki beberapa distribusi (10 distribusi pada gambar di bawah). Sebenarnya ini adalah histogram: ada 70 nilai pada sumbu x yang merupakan ukuran beberapa partikel dalam larutan dan untuk setiap nilai x nilai y yang sesuai adalah proporsi partikel yang ukurannya berada di sekitar nilai x. Saya ingin mengelompokkan distribusi …

10 clustering 

Sebuah model yang marjinal menyumbang korelasi dalam setiap cluster. Sebuah Model bersyarat juga memperhitungkan korelasi dalam setiap cluster. Pertanyaan saya adalah: Apakah model marjinal memodelkan efek utama di seluruh populasi sedangkan model kondisional memodelkan efek utama dalam sebuah cluster dan di seluruh populasi? Interpretasi dari koefisien model marginal pada dasarnya …

10 repeated-measures  interpretation  regression-coefficients  marginal-model 

Saya mencoba mengelompokkan, misalnya, string tentang pemrograman dengan string lain tentang pemrograman, string tentang fisika dengan string lain tentang fisika, dll., Untuk berbagai topik. Terlepas dari aspek linguistik teoretis yang menyolok dari masalah, saya mencari untuk benar-benar melakukan ini menggunakan pemrograman / perangkat lunak. Ikhtisar: Diberikan sejumlah besar string, bagaimana …

10 natural-language  data-mining 

Dengan beberapa lipatan validasi silang dari regresi logistik, dan beberapa estimasi yang dihasilkan dari masing-masing koefisien regresi, bagaimana seharusnya seseorang mengukur apakah prediktor (atau serangkaian prediktor) stabil / bermakna berdasarkan koefisien regresi? ? Apakah ini berbeda untuk regresi linier?

10 regression  model-selection  cross-validation 

Pertanyaan saya adalah apakah ada materi online yang bagus untuk mempelajari ini. Sesuatu yang memperkenalkan hal-hal dengan baik, terutama model ARMA dan matematika terkait. Sunting: Saya mencari sesuatu dari tingkat sarjana kelas atas. Sesuatu seperti di Pengantar Brockwell dan Davis untuk Time Series dan Forecasting

10 time-series  references  arma 

Saya memiliki mesin prototipe yang memproduksi komponen. Dalam pengujian pertama mesin menghasilkan bagian dan classifier biner memberitahu saya bahwa bagian rusak ( , biasanya dan ) dan bagian baik.N1N1N_1d1d1d_1d1&lt;N1d1&lt;N1d_1 < N_1d1/N1&lt;0.01d1/N1&lt;0.01d_1/N_1<0.01N1≈104N1≈104N_1\approx10^4N1−d1N1−d1N_1-d_1 Kemudian teknisi membuat beberapa perubahan pada mesin untuk mengurangi jumlah bagian yang rusak. Dalam pengujian kedua dan selanjutnya, mesin …

10 hypothesis-testing  statistical-significance  classification  proportion