Statistik dan Big Data

Saya berjuang untuk memahami konsep bias dalam konteks analisis regresi linier. Apa definisi matematika dari bias? Apa yang sebenarnya bias dan mengapa / bagaimana? Contoh ilustratif?

21 regression  terminology  bias  definition 

Konteks Pertanyaan populer di situs ini adalah " Apa dosa statistik umum? ". Salah satu dosa yang disebutkan adalah dengan asumsi bahwa tautan "korelasi menyiratkan hubungan sebab akibat ..." Kemudian, dalam komentar dengan 5 upvotes disarankan bahwa: "Google menghasilkan $ 65 miliar setahun tidak peduli dengan perbedaannya." Dengan risiko terlalu …

21 machine-learning  causality 

Saya memasang model ARIMA pada seri waktu harian. Data dikumpulkan setiap hari dari 02-01-2010 hingga 30-07-2011 dan tentang penjualan surat kabar. Karena pola penjualan mingguan dapat ditemukan (jumlah rata-rata harian salinan yang terjual biasanya sama dari Senin hingga Jumat, kemudian meningkat pada hari Sabtu dan Minggu), saya mencoba menangkap "musiman" …

21 r  time-series  arima  seasonality 

Pertanyaan ini dimigrasikan dari Stack Overflow karena dapat dijawab di Cross Validated. Bermigrasi 8 tahun yang lalu . Saya memiliki 2 variabel, baik dari kelas "numerik": > head(y) [1] 0.4651804 0.6185849 0.3766175 0.5489810 0.3695258 0.4002567 > head(x) [1] 59.32820 68.46436 80.76974 132.90824 216.75995 153.25551 Saya merencanakannya, dan sekarang saya ingin …

21 r 

Misalkan . Saya tertarik pada distribusi marjinal elemen diagonal diag ( X ) = ( x 11 , ... , x p p ) . Ada beberapa hasil sederhana pada distribusi submatrices X (setidaknya beberapa terdaftar di Wikipedia). Dari sini saya dapat membayangkan bahwa distribusi marginal dari setiap elemen tunggal …

21 distributions  probability  pdf 

Konteks Saya telah membaca tentang teori respons barang, dan menurut saya itu menarik. Saya percaya saya memahami dasar-dasarnya, tetapi saya bertanya-tanya bagaimana cara menerapkan teknik statistik yang terkait dengan daerah tersebut. Di bawah ini adalah dua artikel yang mirip dengan bidang saya ingin menerapkan ITR di: http://www.jstor.org/stable/4640738?seq=7 http://www.ncbi.nlm.nih.gov/pubmed/21744971 Yang kedua …

21 psychometrics  latent-variable  irt 

Hampir setiap contoh pohon keputusan yang saya temui kebetulan merupakan pohon biner. Apakah ini cukup universal? Apakah sebagian besar algoritma standar (C4.5, CART, dll.) Hanya mendukung pohon biner? Dari apa yang saya kumpulkan, CHAID tidak terbatas pada pohon biner, tapi itu sepertinya pengecualian. Perpecahan dua arah diikuti oleh perpecahan dua …

21 machine-learning  data-mining  cart 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Adakah yang bisa menawarkan beberapa petunjuk tentang cara menggunakan weightsargumen dalam lmfungsi R ? Misalnya, Anda mencoba menyesuaikan model pada data lalu lintas, dan Anda memiliki …

21 r  regression 

Regresi Poisson adalah GLM dengan fungsi log-link. Cara alternatif untuk memodelkan data jumlah yang tidak terdistribusi secara normal adalah dengan preprocess dengan mengambil log (atau lebih tepatnya, log (1 + count) untuk menangani 0's). Jika Anda melakukan regresi kuadrat-terkecil pada respons penghitungan log, apakah itu terkait dengan regresi Poisson? Bisakah …

21 regression  poisson-distribution  generalized-linear-model 

Dalam Pemodelan Statistik: Dua Budaya Leo Breiman menulis Praktik yang diterapkan saat ini adalah untuk memeriksa model data yang sesuai dengan menggunakan uji goodness-of-fit dan analisis residual. Pada satu titik, beberapa tahun yang lalu, saya membuat masalah regresi disimulasikan dalam tujuh dimensi dengan jumlah nonlinier yang terkontrol. Tes standar good-of-fit …

21 regression  goodness-of-fit 

Catatan: Kasing adalah n >> p Saya membaca Elemen Pembelajaran Statistik dan ada berbagai menyebutkan tentang cara "benar" untuk melakukan validasi silang (misalnya halaman 60, halaman 245). Secara khusus, pertanyaan saya adalah bagaimana mengevaluasi model akhir (tanpa set tes terpisah) menggunakan k-fold CV atau bootstrap ketika telah ada pencarian model? …

21 machine-learning  model-selection  data-mining  cross-validation 

Saya perlu mengimplementasikan program yang akan mengklasifikasikan catatan ke dalam 2 kategori (benar / salah) berdasarkan beberapa data pelatihan, dan saya bertanya-tanya di algoritma / metodologi mana yang harus saya perhatikan. Tampaknya ada banyak dari mereka untuk dipilih - Jaringan Syaraf Tiruan, Algoritma Genetika, Pembelajaran Mesin, Optimasi Bayesian dll. Dll., …

21 machine-learning  bayesian  optimization  genetic-algorithms 

Saya sama sekali tidak seorang ahli statistik (saya pernah mengikuti kursus dalam statistik matematika tetapi tidak lebih dari itu), dan baru-baru ini, ketika mempelajari teori informasi dan mekanika statistik, saya bertemu dengan hal yang disebut "ukuran ketidakpastian" / "entropi" ini. Saya membaca turunan Khinchin sebagai ukuran ketidakpastian dan masuk akal …

21 entropy  inference 

Saya tertarik untuk mempelajari lebih lanjut tentang teknik Bayesian (dan terkait) nonparametrik. Latar belakang saya dalam ilmu komputer dan meskipun saya tidak pernah mengambil kursus tentang teori ukuran atau teori probabilitas, saya memiliki sejumlah pelatihan formal terbatas dalam probabilitas dan statistik. Adakah yang bisa merekomendasikan pengantar yang mudah dibaca untuk …

21 probability  bayesian  references  theory 

Apa hubungan antara estimator dan estimasi?

21 estimation  terminology  estimators