Mengapa orang menyukai data yang halus?

10

Saya menggunakan kernel Squared Exponential (SE) untuk Regresi Proses Gaussian. Kelebihan dari kernel ini adalah: 1) sederhana: hanya 3 hiperparameter; 2) smooth: kernel ini adalah Gaussian.

Mengapa orang sangat menyukai 'kehalusan'? Saya tahu bahwa kernel Gaussian terdiferensiasi tanpa batas, tetapi apakah itu sangat penting? (Tolong beri tahu saya jika ada alasan lain mengapa kernel SE sangat populer.)

PS: Saya diberitahu bahwa kebanyakan sinyal di dunia nyata (tanpa noise) halus , jadi masuk akal untuk menggunakan kernel yang halus untuk memodelkannya. Adakah yang bisa membantu saya memahami konsep ini?

machine-learning

— kakanana
sumber

4

Apakah Anda menanyakan pertanyaan psikologis mengapa orang menyukai kehalusan atau pertanyaan statistik mengapa fungsi halus lebih baik secara statistik?

— John

@ John Terima kasih atas komentar Anda. Saya merujuk pada pertanyaan kedua dalam posting Anda dan sebagai tambahan, saya ingin mengkonfirmasi mengapa sebagian besar sinyal di dunia nyata lancar

— kakanana

15

" Natura non facit saltus " adalah prinsip lama dalam filsafat. Juga, keindahan dan harmoni adalah prinsip-prinsip tersebut. Prinsip filosofis lain yang memiliki dampak pada statistik adalah pemikiran kualitatif: Secara tradisional kita tidak berpikir dalam ukuran efek tetapi apakah ada efek di sana atau tidak. Ini membiarkan pengujian hipotesis. Estimator terlalu tepat untuk persepsi Anda tentang alam. Ambillah apa adanya.

Statistik harus melayani persepsi manusia. Jadi poin diskontinuitas tidak disukai. Orang akan langsung bertanya: Mengapa ini tidak berlanjut? Khususnya dalam estimasi kepadatan, titik-titik diskontinuitas ini sebagian besar disebabkan oleh sifat data yang tidak asimptotis. Tetapi Anda tidak ingin belajar tentang sampel terbatas tertentu tetapi tentang fakta alamiah yang mendasarinya. Jika Anda percaya sifat ini tidak melompat, maka Anda membutuhkan penduga yang lancar.

Dari sudut pandang matematika yang ketat, hampir tidak ada alasan untuk itu. Juga, sejak Leibniz dan fenomena alam Newton menjadi dikenal yang tidak mulus. Bicaralah dengan ilmuwan alam tempat Anda bekerja. Tantang pandangannya tentang kelancaran / diskontinuitas dan kemudian lakukan apa yang Anda berdua putuskan paling bermanfaat untuk pemahamannya.

— Horst Grünbusch
sumber

2

Ada dua alasan lagi soal praktis. Yang pertama adalah bahwa fungsi analitis jauh lebih mudah untuk dikerjakan secara matematis, dan karenanya membuktikan teorema tentang algoritma Anda dan memberi mereka fondasi yang lebih kuat.

$M$ $x=x_0$ $x_0 - \epsilon$ $x_0 + \epsilon$ $\tilde M$ $\tilde x_0$ $x_0$ $\epsilon$ $x_0 + \epsilon$ $M$ $\tilde M$

— Davidmh
sumber

1

Ada banyak motivasi, tergantung dari masalahnya. Tetapi idenya sama: tambahkan pengetahuan apriori tentang beberapa masalah untuk mencapai solusi yang lebih baik dan mengatasi kompleksitas. Cara lain untuk mengatakannya adalah: pemilihan model. Berikut contoh yang bagus tentang pemilihan model .

Gagasan lain, yang sangat terkait dengannya adalah untuk menemukan ukuran kesamaan sampel data (ada istilah berbeda yang berhubungan dengan gagasan itu: pemetaan topografi, metrik jarak, pembelajaran berlipat ganda, ...).

Sekarang, mari kita perhatikan contoh praktis: pengenalan karakter optik. Jika Anda mengambil gambar karakter, Anda akan mengharapkan classifier untuk berurusan dengan invarian: jika Anda memutar, memindahkan atau skala gambar, itu harus dapat mendeteksinya. Juga, jika Anda menerapkan sedikit satu modifikasi pada input, Anda akan mengharapkan jawaban / perilaku classifier Anda sedikit berbeda juga, karena kedua sampel (asli dan yang dimodifikasi sangat mirip). Di sinilah penegakan kelancaran masuk

Ada banyak makalah yang berurusan dengan ide ini, tetapi yang ini (invarian transformasi dalam pengenalan pola, jarak singgung dan propagasi tangen, Simard et. Al) menggambarkan ide-ide ini dengan sangat rinci

— jpmuc
sumber