Statistik dan Big Data

T&J untuk orang-orang yang tertarik dalam statistik, pembelajaran mesin, analisis data, penambangan data, dan visualisasi data


2
Apa itu "fringeliers"?
Baru-baru ini saya menerima komentar pengulas dari pengiriman jurnal yang meminta saya untuk melakukannya laporkan bagaimana saya menangani outlier dan fringeliers . Saya belum pernah mendengar istilah "fringeliers" dan ketika saya mencari di Google, ada beberapa artikel, tetapi tidak ada definisi yang ringkas. Jadi saya pikir akan lebih baik untuk …

1
sebagai penduga kuantil untuk kuantil 1% dari
Saya baru-baru ini menemukan penaksir kuantil berikut untuk variabel acak kontinu dalam makalah (nonstatistik, diterapkan): untuk vektor 100-panjang xxx , kuantil 1% diperkirakan dengan min(x)min(x)\min(x) . Berikut ini performanya: di bawah ini adalah plot kerapatan kernel dari realisasi penaksir min(x)min(x)\min(x) dari 100.000 simulasi berjalan dari sampel 100-panjang dari distribusi N(0,1)N(0,1)N(0,1) …
8 quantiles 

3
Apa artinya mengatakan itu
Pertanyaan latihan diajukan Misalkan menjadi memiliki distribusi Normal umum dengan . Hitung koefisien ketergantungan ekor atas untuk semua .X1,X2X1,X2X_1, X_2N(0,1)N(0,1)N(0,1)Corr(X1,X2)=ρCorr⁡(X1,X2)=ρ\operatorname{Corr}(X_1, X_2) = \rhoρ∈[−1,1]ρ∈[−1,1]\rho \in [-1, 1] Apa artinya dengan mengatakan bahwa mereka memiliki distribusi normal "umum"? Pikiran pertama saya adalah bahwa keduanya berarti dan adalah variabel terdistribusi normal univariat . …



3
Menggunakan bobot regresi ketika mungkin diukur dengan kesalahan pengukuran bukan-rata-rata
Misalkan kita mengamati data dan ingin mencocokkan model regresi untuk . Sayangnya, kadang-kadang diukur dengan kesalahan yang rata-rata bukan nol.Y,XY,XY, XE[Y|X]E[Y|X]\mathbf{E}[Y \,|\, X]YYY Biarkan menunjukkan apakah diukur dengan kesalahan rata-rata nol klasik atau kesalahan bukan-rata. Kami ingin memperkirakan . Sayangnya, Z umumnya tidak diamati, dan \ mathbf {E} [Y \, …


2
Apakah produk RV yang dapat dipertukarkan dapat ditukar?
Asumsikan dan adalah dua Variabel acak yang memiliki RV biner sebagai komponennya (Oleh karena itu ) dan keduanya ( dan ) dapat dipertukarkan, yaituX=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X_1, ..., X_n),: (\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n})Y=(Y1,...,Yn):(Ω,A,P)→({0,1}n,2{0,1}n)Y=(Y1,...,Yn):(Ω,A,P)→({0,1}n,2{0,1}n)Y=(Y_1, ..., Y_n):(\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n})Xi(ω)∈{0,1},Yi(ω)∈{0,1}Xi(ω)∈{0,1},Yi(ω)∈{0,1}X_i(\omega)\in\{0,1\}, Y_i(\omega) \in \{0,1\}XXXYYYP((X1,...,Xn)=(x1,...,xn))=P((Xσ(1),...,Xσ(n))=(x1,...,xn))P((X1,...,Xn)=(x1,...,xn))=P((Xσ(1),...,Xσ(n))=(x1,...,xn))P((X_1, ..., X_n)=(x_1, ..., x_n))= P((X_{\sigma(1)}, ..., X_{\sigma(n)})=(x_1, ..., x_n)) dan P((Y1,...,Yn)=(y1,...,yn))=P((Yσ(1),...,Yσ(n))=(y1,...,yn))P((Y1,...,Yn)=(y1,...,yn))=P((Yσ(1),...,Yσ(n))=(y1,...,yn))P((Y_1, ..., …


3
Overfitting dengan sengaja
Apakah masuk akal untuk mengenakan model secara sengaja? Katakanlah saya memiliki kasus penggunaan di mana saya tahu data tidak akan banyak berbeda sehubungan dengan data pelatihan. Saya berpikir di sini tentang prediksi lalu lintas, di mana status lalu lintas mengikuti serangkaian pola yang tetap pagi perjalanan aktivitas waktu malam dan …


1
Dapatkah saya menggabungkan banyak pohon meningkatkan gradien menggunakan teknik mengantongi
Berdasarkan Gradient Boosting Tree vs Random Forest . GBDT dan RF menggunakan strategi berbeda untuk mengatasi bias dan varians. Pertanyaan saya adalah apakah saya bisa membuat sampel ulang dataset (dengan penggantian) untuk melatih beberapa GBDT dan menggabungkan prediksi mereka sebagai hasil akhir? Ini sama dengan membangun hutan acak menggunakan GBDT …

1
Mereproduksi sosok "Statistik Usia Komputer" dari Efron dan Hastie
Versi ringkas pertanyaan saya (26 Desember 2018) Saya mencoba mereproduksi Gambar 2.2 dari Computer Statistics Statistics Inference oleh Efron dan Hastie, tetapi untuk beberapa alasan yang saya tidak bisa mengerti, jumlahnya tidak sesuai dengan yang ada di buku. Asumsikan kita mencoba untuk memutuskan antara dua kemungkinan fungsi kepadatan probabilitas untuk …


Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.