Statistik dan Big Data

Latar Belakang Pengantar Dalam jaringan saraf convolutional, kami biasanya memiliki struktur / aliran umum yang terlihat seperti ini: input gambar (yaitu vektor 2D x) (Lapisan Konvolusional 1 (Konv1) dimulai di sini ...) menggabungkan satu set filter ( w1) di sepanjang gambar 2D (yaitu melakukan z1 = w1*x + b1penggandaan produk …

32 neural-networks  deep-learning  conv-neural-network 

Saya tahu bahwa entropi adalah ukuran keacakan dari suatu proses / variabel dan dapat didefinisikan sebagai berikut. untuk variabel acak set : - . Dalam buku tentang Entropi dan Teori Informasi oleh MacKay, ia memberikan pernyataan ini dalam Ch2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) Entropi dimaksimalkan jika p …

32 uniform  entropy  maximum-entropy 

Katakanlah kita memiliki statistik yang diberikan di bawah ini gender mean sd n f 1.666667 0.5773503 3 m 4.500000 0.5773503 4 Bagaimana Anda melakukan uji-t dua sampel (untuk melihat apakah ada perbedaan yang signifikan antara rata-rata pria dan wanita dalam beberapa variabel) menggunakan statistik seperti ini daripada data aktual? Saya …

32 r  t-test 

Ingin tahu seberapa yakin saya di saya . Adakah yang tahu cara mengatur tingkat kepercayaan atas dan bawah untuk distribusi Poisson?λλ\lambda Pengamatan ( ) = 88nnn Sampel rata-rata ( ) = 47,18182λλ\lambda seperti apa kepercayaan 95% untuk ini?

32 poisson-distribution  confidence-interval 

Saya telah mengerjakan masalah regresi di mana inputnya adalah gambar, dan labelnya adalah nilai kontinu antara 80 dan 350. Gambar-gambar tersebut dari beberapa bahan kimia setelah reaksi berlangsung. Warna yang muncul menunjukkan konsentrasi bahan kimia lain yang tersisa, dan itulah yang dihasilkan model - konsentrasi bahan kimia itu. Gambar dapat …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

Saya telah mempelajari LSTM untuk sementara waktu. Saya mengerti pada tingkat tinggi bagaimana semuanya bekerja. Namun, akan mengimplementasikannya menggunakan Tensorflow saya perhatikan bahwa BasicLSTMCell memerlukan sejumlah unit (yaitu num_units) parameter. Dari ini penjelasan yang sangat menyeluruh LSTMs, saya sudah mengumpulkan bahwa satu satuan LSTM adalah salah satu dari berikut ini …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Saya melihat persamaan berikut dalam " In Reinforcement Learning. An Introduction ", tetapi tidak cukup mengikuti langkah yang telah saya soroti dengan warna biru di bawah ini. Bagaimana tepatnya langkah ini diturunkan?

32 expected-value  reinforcement-learning 

Saya akan mengajukan pertanyaan ini melalui contoh. Misalkan saya memiliki satu set data, seperti set data harga perumahan boston, di mana saya memiliki variabel kontinu dan kategori. Di sini, kami memiliki variabel "kualitas", dari 1 hingga 10, dan harga jual. Saya dapat memisahkan data menjadi rumah-rumah berkualitas "rendah", "sedang" dan …

31 hypothesis-testing  data-visualization  p-value  dataset  inference 

Saya mencoba memahami mengapa output dari regresi logistik kedua perpustakaan ini memberikan hasil yang berbeda. Saya menggunakan dataset dari tutorial idre UCLA , memprediksi admitberdasarkan gre, gpadan rank. rankdiperlakukan sebagai variabel kategori, jadi pertama-tama dikonversi ke variabel dummy dengan rank_1dijatuhkan. Kolom intersep juga ditambahkan. df = pd.read_csv("https://stats.idre.ucla.edu/stat/data/binary.csv") y, X = …

31 regression  logistic  python  scikit-learn  statsmodels 

Ini pertanyaan statistik sederhana yang saya terima. Saya tidak begitu yakin saya memahaminya. X = jumlah poin yang diperoleh dalam ujian (pilihan ganda dan jawaban yang benar adalah satu poin). Apakah X binomial didistribusikan? Jawaban profesor adalah: Ya, karena hanya ada jawaban benar atau salah. Jawabanku: Tidak, karena setiap pertanyaan …

31 self-study  binomial 

Menurut artikel yang sangat menarik ini di Majalah Quanta: "Bukti yang Sudah Lama Dicari, Ditemukan dan Hampir Hilang" , - telah terbukti bahwa diberi vektor memiliki multivarian Distribusi Gaussian, dan diberi interval berpusat di sekitar sarana komponen yang sesuai dari , laluI 1 , ... , I n xx =( …

31 normal-distribution  confidence-interval  multivariate-normal 

Mengingat hari ini adalah hari kabisat, adakah yang tahu kemungkinan dilahirkan pada hari kabisat?

31 probability 

Data Winsorizing berarti mengganti nilai ekstrem dari kumpulan data dengan nilai persentil tertentu dari masing-masing ujung, sementara Pemangkasan atau Pemotongan melibatkan penghapusan nilai ekstrem tersebut. Saya selalu melihat kedua metode yang dibahas sebagai opsi yang layak untuk mengurangi efek pencilan ketika menghitung statistik seperti mean atau standar deviasi, tetapi saya …

31 standard-deviation  mean  truncation  trimmed-mean  winsorizing 

Hanya pemikiran saja: Model Parsimonious selalu menjadi pilihan standar dalam pemilihan model, tetapi sampai sejauh mana pendekatan ini sudah usang? Saya ingin tahu tentang seberapa besar kecenderungan kita terhadap kekikiran adalah peninggalan zaman abaci dan aturan geser (atau, lebih serius, komputer non-modern). Kekuatan komputasi saat ini memungkinkan kami untuk membangun …

31 predictive-models  model-selection  model 

Saya memiliki masalah berikut: Saya memiliki daftar kata yang sangat panjang, mungkin nama, nama keluarga, dll. Saya perlu mengelompokkan daftar kata ini, sehingga kata-kata yang serupa, misalnya kata-kata dengan jarak pengeditan (Levenshtein) yang serupa muncul di cluster yang sama. Misalnya "algoritma" dan "alogrithm" harus memiliki peluang tinggi untuk muncul di …

31 clustering  k-means  pattern-recognition