Statistik dan Big Data

Dalam pikiran saya, perbedaan KL dari distribusi sampel ke distribusi sebenarnya hanyalah perbedaan antara cross entropy dan entropy. Mengapa kita menggunakan cross entropy untuk menjadi fungsi biaya dalam banyak model pembelajaran mesin, tetapi menggunakan Kullback-Leibler divergence dalam t-sne? Apakah ada perbedaan kecepatan belajar?

39 kullback-leibler  tsne  cross-entropy 

Saya mencoba memahami apa persamaan antara Alokasi Dirichlet Laten dan word2vec untuk menghitung kesamaan kata. Seperti yang saya pahami, LDA memetakan kata ke vektor probabilitas dari topik laten , sementara word2vec memetakannya ke vektor bilangan real (terkait dengan penguraian nilai singular dari informasi timbal balik yang saling berhadapan, lihat O. …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

Ketika kami melakukan regresi linier agar sesuai dengan banyak titik data , pendekatan klasik meminimalkan kesalahan kuadrat. Saya sudah lama bingung dengan pertanyaan yang akan meminimalkan kesalahan kuadrat menghasilkan hasil yang sama dengan meminimalkan kesalahan absolut ? Jika tidak, mengapa meminimalkan kesalahan kuadrat lebih baik? Adakah alasan lain selain "fungsi …

39 least-squares  error 

Saya telah mencoba untuk mereplikasi hasil opsi Stata robustdi R. Saya telah menggunakan rlmperintah dari paket MASS dan juga perintah lmrobdari paket "robustbase". Dalam kedua kasus hasilnya sangat berbeda dari opsi "kuat" di Stata. Adakah yang bisa menyarankan sesuatu dalam konteks ini? Berikut adalah hasil yang saya peroleh ketika saya …

39 r  stata  robust  robust-standard-error 

Pertanyaan saya adalah apakah kita perlu menstandarkan set data untuk memastikan semua variabel memiliki skala yang sama, antara [0,1], sebelum menyesuaikan regresi logistik. Rumusnya adalah: xsaya- mnt ( xsaya)maks ( xsaya) - min ( xsaya)xi−min(xi)max(xi)−min(xi)\frac{x_i-\min(x_i)}{\max(x_i)-\min(x_i)} Kumpulan data saya memiliki 2 variabel, mereka menggambarkan hal yang sama untuk dua saluran, tetapi …

39 regression  logistic  standardization 

Apakah ada studi empiris yang membenarkan penggunaan satu aturan kesalahan standar yang mendukung kekikiran? Jelas itu tergantung pada proses data-data, tetapi apa pun yang menganalisis kumpulan data besar akan menjadi bacaan yang sangat menarik. "Satu aturan kesalahan standar" diterapkan ketika memilih model melalui cross-validation (atau lebih umum melalui prosedur berbasis …

39 cross-validation  model-selection  regularization 

Saya mencari untuk memberi peringkat data yang, dalam beberapa kasus, nilai yang lebih besar memiliki peringkat 1. Saya relatif baru untuk R, tetapi saya tidak melihat bagaimana saya dapat menyesuaikan pengaturan ini dalam fungsi peringkat. x <- c(23,45,12,67,34,89) rank(x) menghasilkan: [1] 2 4 1 5 3 6 ketika saya menginginkannya: …

39 r 

Saya telah menghitung AIC dan AICc untuk membandingkan dua model campuran linier umum; AIC positif dengan model 1 memiliki AIC lebih rendah daripada model 2. Namun, nilai untuk AICc keduanya negatif (model 1 masih <model 2). Apakah valid untuk menggunakan dan membandingkan nilai AICc negatif?

39 mixed-model  model-selection  aic 

Ada banyak buku sains populer yang sangat bagus, yang berhubungan dengan sains nyata, serta sejarah dan alasan di balik teori saat ini, sambil tetap sangat menyenangkan untuk dibaca. Misalnya, "Kekacauan" oleh James Gleick (kekacauan, fraktal, nonlinier), "Sejarah singkat waktu" oleh Stephen Hawking (fisika, asal usul alam semesta, waktu, lubang hitam), …

39 references  communication 

Katakanlah saya memiliki dua distribusi normal A dan B dengan mean dan dan varians dan . Saya ingin mengambil campuran berbobot dari dua distribusi ini menggunakan bobot dan mana dan . Saya tahu bahwa rata-rata campuran ini adalah .μ B σ A σ B p q 0 ≤ p ≤ …

39 normal-distribution  mixture 

Apa perbedaan antara populasi dan sampel? Apa variabel dan statistik umum yang digunakan untuk masing-masing, dan bagaimana kaitannya satu sama lain?

38 standard-deviation  variance  sample  population 

Dalam Pengantar Pembelajaran Statistik dengan Aplikasi dalam R , penulis menulis bahwa pemasangan pohon keputusan sangat cepat, tetapi ini tidak masuk akal bagi saya. Algoritma harus melalui setiap fitur dan mempartisi dengan segala cara untuk menemukan pemisahan optimal. Untuk fitur numerik dengan pengamatan, ini dapat menghasilkan partisi untuk setiap fitur.nnnnnn …

38 cart 

Saya mendapatkan akurasi 100% untuk pohon keputusan saya. Apa yang saya lakukan salah? Ini kode saya: import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x = data[0:14] y = data[-1] from sklearn.cross_validation import train_test_split x_train = x[0:2635] x_test …

38 machine-learning  python  cart  accuracy 

Untuk merencanakan dengan R, haruskah saya belajar ggplot2 atau ggvis? Saya tidak perlu ingin belajar keduanya jika salah satu dari mereka lebih unggul dalam hal apa pun. Mengapa komunitas R terus membuat paket baru dengan fungsionalitas yang tumpang tindih? The posting pengenalan blog tidak menyebutkan kata mengapa ggvis ini dibuat …

38 r  data-visualization  software 

Sudah jelas berkali-kali mengapa seseorang lebih suka penduga yang tidak bias. Tetapi, adakah situasi di mana kita sebenarnya lebih suka penduga yang bias daripada yang tidak bias?

38 bias  unbiased-estimator  estimators