Pertanyaan yang diberi tag «large-data»

Jika saya memiliki data positif yang sangat miring saya sering mengambil log. Tapi apa yang harus saya lakukan dengan data non-negatif yang sangat miring yang menyertakan nol? Saya telah melihat dua transformasi yang digunakan: catatan( X + 1 )log⁡(x+1)\log(x+1) yang memiliki fitur rapi yang 0 peta ke 0. catatan( x …

191 data-transformation  large-data 

Dalam sebuah artikel baru-baru dari Amstat Berita , penulis (Mark van der Laan dan Sherri Rose) menyatakan bahwa "Kita tahu bahwa untuk ukuran sampel yang cukup besar, setiap studi-termasuk yang di mana hipotesis nol tidak ada efek benar - akan mendeklarasikan pengaruh signifikan secara statistik. Yah, saya sendiri tidak tahu …

129 hypothesis-testing  sample-size  dataset  large-data 

Banyak pekerjaan statistik meminta pengalaman dengan data skala besar. Apa saja jenis keterampilan statistik dan komputasi yang akan diperlukan untuk bekerja dengan kumpulan data besar. Misalnya, bagaimana dengan membangun model regresi yang diberikan kumpulan data dengan 10 juta sampel?

107 regression  machine-learning  multivariate-analysis  large-data 

Saya harap judulnya cukup jelas. Di Kaggle, sebagian besar pemenang menggunakan susun dengan kadang-kadang ratusan model dasar, untuk memeras beberapa% ekstra MSE, keakuratan ... Secara umum, menurut pengalaman Anda, seberapa pentingkah pemodelan mewah seperti menumpuk vs sekadar mengumpulkan lebih banyak data dan lebih banyak fitur untuk data?

56 large-data  stacking  collecting-data  kaggle 

Atau lebih tepatnya "apakah itu"? Big Data menjadikan statistik dan pengetahuan yang relevan menjadi lebih penting tetapi tampaknya tidak mendukung Teori Sampling. Saya telah melihat hype ini di sekitar 'Big Data' dan saya bertanya-tanya bahwa "mengapa" saya ingin menganalisis semuanya ? Apakah tidak ada alasan untuk "Teori Pengambilan Sampel" untuk …

54 sampling  data-mining  large-data 

Saya mencari algoritme yang baik (yang berarti perhitungan minimal, persyaratan penyimpanan minimal) untuk memperkirakan median kumpulan data yang terlalu besar untuk disimpan, sehingga setiap nilai hanya dapat dibaca satu kali (kecuali jika Anda secara eksplisit menyimpan nilai itu). Tidak ada batasan pada data yang dapat diasumsikan. Perkiraannya baik-baik saja, asal …

48 algorithms  median  large-data 

Saya telah ditanya beberapa kali pertanyaan: Apa itu Big-Data? Baik oleh siswa dan kerabat saya yang mengambil buzz di sekitar statistik dan ML. Saya menemukan posting CV ini . Dan saya merasa saya setuju dengan satu-satunya jawaban di sana. The halaman Wikipedia juga memiliki beberapa komentar tentang itu, tapi saya …

44 large-data 

"Data besar" ada di mana-mana di media. Semua orang mengatakan bahwa "big data" adalah hal besar untuk 2012, misalnya jajak pendapat KDNuggets tentang topik hangat untuk 2012 . Namun, saya memiliki keprihatinan yang mendalam di sini. Dengan data besar, semua orang tampaknya senang hanya untuk mengeluarkan apa pun . Tetapi …

40 data-mining  dataset  large-data  validation 

Hari ini, di Cross Validated Journal Club (mengapa Anda tidak ada di sana?), @Mbq bertanya: Apakah Anda pikir kami (ilmuwan data modern) tahu apa arti pentingnya? Dan bagaimana hubungannya dengan kepercayaan kita pada hasil kita? @Michelle menjawab karena beberapa (termasuk saya) biasanya melakukan: Saya menemukan konsep signifikansi (berdasarkan nilai-p) kurang …

37 hypothesis-testing  p-value  large-data 

Apa set data yang tersedia secara bebas untuk klasifikasi dengan lebih dari 1000 fitur (atau titik sampel jika mengandung kurva)? Sudah ada wiki komunitas tentang kumpulan data gratis: Menemukan sampel data yang tersedia secara bebas Tapi di sini, akan menyenangkan untuk memiliki daftar yang lebih fokus yang dapat digunakan dengan …

35 machine-learning  classification  dataset  large-data 

Saya mencoba menggunakan scikit-learning untuk regresi polinomial. Dari apa yang saya baca regresi polinomial adalah kasus khusus dari regresi linier. Saya berharap bahwa mungkin salah satu model linear umum scikit dapat diparameterisasi agar sesuai dengan polinomial berurutan lebih tinggi tetapi saya tidak melihat opsi untuk melakukan itu. Saya berhasil menggunakan …

29 regression  machine-learning  large-data  polynomial  scikit-learn 

Saat ini saya harus menganalisis sekitar 20 juta catatan dan membangun model prediksi. Sejauh ini saya sudah mencoba Statistica, SPSS, RapidMiner dan R. Di antara Statistica ini tampaknya paling cocok untuk berurusan dengan data mining dan antarmuka pengguna RapidMiner juga sangat berguna tetapi tampaknya bahwa Statistica, RapidMiner dan SPSS hanya …

27 large-data  software  data-mining 

Saya telah bekerja dengan kumpulan data besar belakangan ini dan menemukan banyak makalah metode streaming. Untuk beberapa nama: Ikuti-the-Regularized-Leader dan Mirror Descent: Teorema Kesetaraan dan Regularisasi L1 ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Streamed Learning: One-Pass SVMs ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: Primal Estimasi sub-GrAdient SOlver untuk SVM http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf atau di sini: Dapatkah SVM …

25 machine-learning  references  large-data  online 

Saya memiliki dua variabel: Nama Obat (DN) dan Kejadian Buruk yang sesuai (AE), yang berdiri dalam hubungan banyak-ke-banyak. Ada 33.556 nama obat dan 9.516 efek samping. Ukuran sampel adalah sekitar 5,8 juta pengamatan. Saya ingin belajar dan memahami hubungan / hubungan antara DN dan AE. Saya sedang memikirkan cara memvisualisasikan …

24 r  categorical-data  data-visualization  large-data  association-measure 

Misalkan Anda menganalisis kumpulan data besar dengan jumlah milyaran pengamatan per hari, di mana setiap pengamatan memiliki beberapa ribu variabel yang mungkin jarang dan variabel numerik dan kategororial yang berlebihan. Katakanlah ada satu masalah regresi, satu masalah klasifikasi biner yang tidak seimbang, dan satu tugas "mencari tahu prediktor mana yang …

21 r  machine-learning  data-mining  large-data