Pertanyaan yang diberi tag «high-dimensional»

Saya membaca bahwa 'jarak Euclidean bukan jarak yang baik dalam dimensi tinggi'. Saya kira pernyataan ini ada hubungannya dengan kutukan dimensi, tetapi apa sebenarnya? Selain itu, apa itu 'dimensi tinggi'? Saya telah menerapkan pengelompokan hierarkis menggunakan jarak Euclidean dengan 100 fitur. Hingga berapa banyak fitur yang aman untuk menggunakan metrik …

241 machine-learning  clustering  distance-functions  metric  high-dimensional 

Saya mendengar berkali-kali tentang kutukan dimensi, tetapi entah bagaimana saya masih tidak dapat memahami gagasan itu, semuanya berkabut. Adakah yang bisa menjelaskan hal ini dengan cara yang paling intuitif, seperti yang Anda jelaskan kepada seorang anak, sehingga saya (dan yang lain bingung seperti saya) dapat memahami hal ini untuk selamanya? …

92 machine-learning  dimensionality-reduction  high-dimensional 

Saya sebelumnya menanyakan ini pada StackOverflow, tetapi sepertinya itu mungkin lebih tepat di sini, mengingat bahwa itu tidak mendapatkan jawaban pada SO. Ini semacam persimpangan antara statistik dan pemrograman. Saya perlu menulis beberapa kode untuk melakukan PCA (Principal Component Analysis). Saya telah melihat-lihat algoritma yang terkenal dan menerapkan yang ini …

54 pca  algorithms  model-evaluation  high-dimensional 

Saya ingin menggunakan Lasso atau regresi ridge untuk model dengan lebih dari 50.000 variabel. Saya ingin melakukannya menggunakan paket perangkat lunak dalam R. Bagaimana saya bisa memperkirakan parameter penyusutan ( )?λλ\lambda Suntingan: Inilah poin yang ingin saya sampaikan: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= 1000*1000, replace …

36 r  lasso  ridge-regression  high-dimensional 

Saya telah membaca banyak tentang algoritma -sne untuk pengurangan dimensi. Saya sangat terkesan dengan kinerja pada dataset "klasik", seperti MNIST, di mana ia mencapai pemisahan digit yang jelas ( lihat artikel asli ):ttt Saya juga menggunakannya untuk memvisualisasikan fitur yang dipelajari oleh jaringan saraf yang saya latih dan saya sangat …

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

Saya menjalankan percobaan kecil dengan regresi LASSO dalam R untuk menguji apakah ia dapat menemukan pasangan prediktor yang sempurna. Pasangan didefinisikan seperti ini: f1 + f2 = hasil Hasilnya di sini adalah vektor yang telah ditentukan yang disebut 'usia'. F1 dan f2 dibuat dengan mengambil setengah dari vektor usia dan …

20 r  regression  feature-selection  lasso  high-dimensional 

Beberapa fitur data saya memiliki nilai besar, sedangkan fitur lainnya memiliki nilai jauh lebih kecil. Apakah perlu memusatkan + skala data sebelum menerapkan t-SNE untuk mencegah bias terhadap nilai yang lebih besar? Saya menggunakan implementasi sklearn.manifold.TSNE dari Python dengan metrik jarak euclidean default.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

Saya mengerti apa itu "kutukan dimensi", dan saya telah melakukan beberapa masalah optimasi dimensi tinggi dan mengetahui tantangan dari kemungkinan eksponensial. Namun, saya ragu apakah "kutukan dimensi" ada di sebagian besar data dunia nyata (yah mari kita kesampingkan gambar atau video sejenak, saya berpikir tentang data seperti data demografi pelanggan …

17 clustering  dimensionality-reduction  high-dimensional 

Saya mencoba membaca tentang penelitian di bidang regresi dimensi tinggi; ketika ppp lebih besar dari nnn , yaitu, p>>np>>np >> n . Sepertinya istilah logp/nlog⁡p/n\log p/n sering muncul dalam hal tingkat konvergensi untuk estimator regresi. Sebagai contoh, di sini , persamaan (17) mengatakan bahwa fit β^β^\hat{\beta} memenuhi 1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - …

16 regression  lasso  convergence  high-dimensional 

Tempat saya telah membaca tentang kutukan dimensionalitas menjelaskannya dalam hubungannya dengan kNN terutama, dan model linier secara umum. Saya secara teratur melihat peringkat teratas di Kaggle menggunakan ribuan fitur pada dataset yang hampir tidak memiliki 100k titik data. Mereka terutama menggunakan pohon Boosted dan NN, antara lain. Banyak fitur yang …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

Apakah masuk akal untuk melakukan PCA sebelum melakukan Klasifikasi Hutan Acak? Saya berurusan dengan data teks dimensi tinggi, dan saya ingin melakukan pengurangan fitur untuk membantu menghindari kutukan dimensi, tetapi bukankah Random Forests sudah melakukan semacam pengurangan dimensi?

13 classification  pca  random-forest  dimensionality-reduction  high-dimensional 

Saya percaya bahwa judul pertanyaan ini mengatakan semuanya.

12 clustering  k-means  high-dimensional 

Prof kami tidak masuk ke matematika atau bahkan representasi geometris dari regresi linier berganda dan ini membuat saya sedikit bingung. Di satu sisi itu masih disebut regresi linier berganda, bahkan dalam dimensi yang lebih tinggi. Di sisi lain, jika kita memiliki misalnya dan kita dapat memasukkan nilai apa pun yang …

11 multiple-regression  high-dimensional 

Saya membaca buku Kevin Murphy: Machine Learning-A probabilistic Perspective. Dalam bab pertama penulis menjelaskan kutukan dimensi dan ada bagian yang saya tidak mengerti. Sebagai contoh, penulis menyatakan: Pertimbangkan input didistribusikan secara seragam di sepanjang unit D-dimensi cube. Misalkan kita memperkirakan kepadatan label kelas dengan menumbuhkan hiper kubus di sekitar x …

11 self-study  k-nearest-neighbour  high-dimensional 

Ini dikutip sangat sering ketika menyebutkan kutukan dimensi dan pergi (rumus kanan disebut kontras relatif) limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxkd−DminkdDminkd→0limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxdk−DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 Hasil teorema menunjukkan bahwa perbedaan antara jarak maksimum dan minimum ke titik kueri yang diberikan tidak meningkat secepat jarak terdekat ke …

10 machine-learning  distance-functions  high-dimensional