Pertanyaan yang diberi tag «large-data»

Saya sedang memeriksa bagian dari dataset saya yang berisi 46840 nilai ganda mulai dari 1 hingga 1690 yang dikelompokkan dalam dua grup. Untuk menganalisis perbedaan antara kelompok-kelompok ini saya mulai dengan memeriksa distribusi nilai-nilai untuk memilih tes yang tepat. Mengikuti panduan tentang pengujian normalitas, saya melakukan qqplot, histogram & boxplot. …

12 r  normal-distribution  normality-assumption  large-data 

Bagaimana Anda melakukan tes hipotesis dengan data besar? Saya menulis skrip MATLAB berikut untuk menekankan kebingungan saya. Yang dilakukannya hanyalah menghasilkan dua seri acak, dan menjalankan regresi linier sederhana dari satu variabel di variabel lainnya. Itu melakukan regresi ini beberapa kali menggunakan nilai acak yang berbeda dan rata-rata laporan. Apa …

12 hypothesis-testing  large-data 

Saya mencari model antara stockprices energi dan cuaca. Saya memiliki harga MWatt yang dibeli antara negara-negara Eropa, dan banyak nilai pada cuaca (file Grib). Setiap jam dalam jangka waktu 5 tahun (2011-2015). Harga / hari Ini per hari selama satu tahun. Saya memiliki ini per jam pada 5 tahun. Contoh …

11 time-series  forecasting  predictive-models  modeling  large-data 

Saya seorang R noob yang diharuskan untuk melakukan berbagai macam analisis pada set data besar di R. Jadi sambil melihat-lihat situs ini dan di tempat lain, tampak bagi saya bahwa ada banyak masalah esoteris dan kurang terkenal yang terlibat di sini - seperti paket mana yang digunakan kapan, transformasi apa …

11 r  large-data 

Cara klasik analisis komponen utama '(PCA) adalah untuk melakukannya pada input data matriks yang kolom memiliki rata-rata nol (maka PCA dapat "memaksimalkan varians"). Ini dapat dicapai dengan mudah dengan memusatkan kolom. Namun, ketika matriks input jarang, matriks tengah sekarang akan lebih jarang, dan - jika matriks sangat besar - dengan …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Untuk mengajukan pertanyaan saya dengan lebih baik, saya telah menyediakan beberapa output dari model 16 variabel ( fit) dan 17 model variabel ( fit2) di bawah ini (semua variabel prediktor dalam model ini kontinu, di mana satu-satunya perbedaan antara model ini adalah yang fittidak mengandung variabel 17 (var17)): fit Model …

10 r  regression  logistic  model-selection  large-data 

Apakah masuk akal untuk menghitung interval kepercayaan dan untuk menguji hipotesis ketika data dari seluruh populasi tersedia? Menurut pendapat saya, jawabannya adalah tidak, karena kita dapat secara akurat menghitung nilai sebenarnya dari parameter. Tetapi kemudian, berapa proporsi maksimal data dari populasi asli yang memungkinkan kita untuk menggunakan teknik yang disebutkan …

10 hypothesis-testing  confidence-interval  sample-size  large-data  population 

Saya sering berurusan dengan jumlah data deret waktu yang masuk akal, 50-200 juta ganda dengan perangko waktu terkait dan ingin memvisualisasikannya secara dinamis. Apakah ada perangkat lunak yang ada untuk melakukan ini secara efektif? Bagaimana dengan perpustakaan dan format data? Zoom-cache adalah salah satu contoh perpustakaan yang berfokus pada seri …

10 time-series  data-visualization  large-data  interactive-visualization 

Saya memiliki akses ke dataset yang sangat besar. Data tersebut dari rekaman MEG dari orang yang mendengarkan kutipan musik, dari satu dari empat genre. Data adalah sebagai berikut: 6 mata pelajaran 3 pengulangan Eksperimental (zaman) 120 Percobaan per zaman 8 detik data per percobaan pada 500Hz (= 4000 sampel) dari …

10 machine-learning  feature-selection  large-data  feature-construction 

Pada dasarnya, ada dua cara umum untuk belajar melawan kumpulan data besar (ketika Anda dihadapkan pada batasan waktu / ruang): Kecurangan :) - gunakan hanya subset "dikelola" untuk pelatihan. Hilangnya keakuratan dapat diabaikan karena hukum pengembalian yang semakin menurun - kinerja prediktif dari model tersebut seringkali mendatar jauh sebelum semua …

10 machine-learning  large-data  model-evaluation  train 

Saya tidak memiliki pengalaman industri dalam penambangan data atau data besar sehingga akan senang mendengar Anda berbagi pengalaman. Apakah orang benar-benar menjalankan k-means, PAM, CLARA, dll. Pada dataset yang sangat besar? Atau mereka hanya mengambil sampel secara acak? Jika mereka hanya mengambil sampel dataset, apakah hasilnya dapat diandalkan jika dataset …

10 clustering  data-mining  k-means  convergence  large-data 

Hanya ingin melihat apakah ada yang punya pengalaman menerapkan Gaussian process regression (GPR) ke set data dimensi tinggi. Saya sedang melihat ke beberapa metode GPR yang jarang (mis. Input pseudo-input GPR yang jarang) untuk melihat apa yang bisa bekerja untuk set data dimensi tinggi di mana pemilihan fitur yang ideal …

10 machine-learning  predictive-models  large-data  gaussian-process 

Mempertimbangkan jumlah fitur yang konstan, Barnes-Hut t-SNE memiliki kompleksitas , proyeksi acak dan PCA memiliki kompleksitas menjadikannya "terjangkau" untuk set data yang sangat besar.O ( n logn )HAI(ncatatan⁡n)O(n\log n)O ( n )HAI(n)O(n) Di sisi lain, metode yang mengandalkan penskalaan multidimensi memiliki kompleksitas .O ( n2)HAI(n2)O(n^2) Apakah ada teknik pengurangan dimensi …

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

Algoritma pembelajaran mesin yang skalabel tampak seperti buzz hari ini. Setiap perusahaan menangani kekurangan data besar . Apakah ada buku teks yang membahas algoritma pembelajaran mesin apa yang dapat diskalakan menggunakan arsitektur paralel seperti Map-Reduce, dan algoritma mana yang tidak bisa? Atau beberapa makalah yang relevan?

9 machine-learning  large-data 

Cangkok berikut diambil dari artikel ini . Saya pemula untuk bootstrap dan mencoba mengimplementasikan bootstrap parametrik, semiparametrik, dan nonparametrik untuk model campuran linier dengan R bootpaket. Kode R Ini Rkode saya : library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn <- …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography