Kapan sebaiknya log1p dan expm1 digunakan?

Saya punya pertanyaan sederhana yang benar-benar sulit bagi Google (di samping kanonik Apa Yang Harus Diketahui Setiap Ilmuwan Komputer tentang kertas Aritmatika Titik Apung ).

Kapan seharusnya fungsi seperti log1patau expm1digunakan, bukan logdan exp? Kapan mereka tidak digunakan? Bagaimana perbedaan implementasi dari fungsi-fungsi tersebut berbeda dalam hal penggunaannya?

floating-point

— Tim
sumber

Selamat datang di Scicomp.SE! Itu pertanyaan yang sangat masuk akal, tetapi akan lebih mudah dijawab jika Anda menjelaskan sedikit yang log1p Anda maksud (terutama bagaimana penerapannya, jadi kami tidak perlu menebak).

— Christian Clason

Untuk argumen bernilai riil, log1p dan expm1 harus digunakan ketika

(x)

$(x)$

(x)

$(x)$

x

$x$ kecil, misalnya, ketika

dalam akurasi floating point. Lihat, misalnya, docs.scipy.org/doc/numpy/reference/generated/numpy.expm1.html dan docs.scipy.org/doc/numpy/reference/generated/numpy.log1p.html .

1 + x = 1

$1 + x = 1$

— GoHokies

@ChristianClason terima kasih, saya merujuk sebagian besar ke C ++ std atau R, tetapi ketika Anda bertanya saya mulai berpikir bahwa belajar tentang perbedaan dalam implementasi juga akan sangat menarik.

— Tim

Berikut ini contohnya: scicomp.stackexchange.com/questions/8371/…

— Juan M. Bello-Rivas

@ user2186862 "ketika

kecil" sudah benar, tetapi tidak hanya "ketika

dalam akurasi floating point" (yang terjadi pada

dalam aritmatika presisi ganda biasa). Halaman dokumentasi yang Anda tautkan menunjukkan bahwa mereka sudah berguna untuk

, misalnya.

x

$x$

1 + x = 1

$1+x=1$

x \approx 10^{- 16}

$x\approx 10^{-16}$

x \approx 10^{- 10}

$x\approx 10^{-10}$

— Federico Poloni

Jawaban:

Kita semua tahu bahwa

\exp (x) = \sum_{n = 0}^{\infty} \frac{x^{n}}{n!} = 1 + x + \frac{1}{2} x^{2} + \dots

$\begin{equation} \exp(x) = \sum_{n=0}^\infty \frac{x^n}{n!} = 1 + x + \frac12 x^2 + \dots \end{equation}$ menyiratkan bahwa untuk

| x | ≪ 1

$|x| \ll 1$ , kami memiliki

\exp (x) \approx 1 + x

$\exp(x) \approx 1 + x$ . Ini berarti bahwa jika kita harus mengevaluasi dalam floating point

\exp (x) - 1

$\exp(x) -1$ , untuk

| x | ≪ 1

$|x| \ll 1$ pembatalan katastropik dapat terjadi.

Ini dapat dengan mudah ditunjukkan dengan python:

>>> from math import (exp, expm1)

>>> x = 1e-8
>>> exp(x) - 1
9.99999993922529e-09
>>> expm1(x)
1.0000000050000001e-08

>>> x = 1e-22
>>> exp(x) - 1
0.0
>>> expm1(x)
1e-22

Nilai yang tepat adalah

\begin{aligned} \exp (10^{- 8}) - 1 & = 0.000000010000000050000000166666667083333334166666668 \dots \\ \exp (10^{- 22}) - 1 & = 0.000000000000000000000100000000000000000000005000000 \dots \end{aligned}

$\begin{align} \exp(10^{-8}) -1 &= 0.000000010000000050000000166666667083333334166666668 \dots \\ \exp(10^{-22})-1 &= 0.000000000000000000000100000000000000000000005000000 \dots \end{align}$

Secara umum implementasi "akurat" dari expdan expm1harus benar tidak lebih dari 1ULP (yaitu satu unit tempat terakhir). Namun, karena mencapai akurasi ini menghasilkan kode "lambat", terkadang implementasi yang cepat dan kurang akurat tersedia. Misalnya dalam CUDA yang kita miliki expfdan expm1f, di mana fsingkatan dari fast. Menurut panduan pemrograman CUDA C, aplikasi. D yang expfmemiliki kesalahan dari 2ULP.

Jika Anda tidak peduli tentang kesalahan dalam urutan beberapa ULPS, biasanya implementasi yang berbeda dari fungsi eksponensial adalah setara, tetapi berhati-hatilah bahwa bug mungkin disembunyikan di suatu tempat ... (Ingat bug Pentium FDIV ?)

Jadi cukup jelas bahwa expm1harus digunakan untuk menghitung $\exp(x)-1$ untuk $x$ kecil . Menggunakannya untuk $x$ umum tidak berbahaya, karena expm1diharapkan akurat pada kisaran lengkapnya:

>>> exp(200)-1 == exp(200) == expm1(200)
True

(Dalam contoh di atas $1$ jauh di bawah 1ULP $\exp(200)$ , jadi ketiga ekspresi mengembalikan angka floating point yang persis sama.)

Diskusi serupa berlaku untuk fungsi terbalik logdan log1pkarena $\log(1+x) \approx x$ untuk $|x| \ll 1$ .

— Stefano M
sumber

Jawaban ini sudah terkandung dalam komentar untuk pertanyaan OP. Namun saya merasa berguna untuk memberikan akun yang lebih panjang (meskipun mendasar) hanya untuk kejelasan, dengan harapan itu akan bermanfaat bagi beberapa pembaca.

— Stefano M

OK, tapi kemudian orang bisa menyimpulkan "jadi saya selalu bisa menggunakan expm1 daripada exp" ...

— Tim

@ Tim kesimpulan Anda salah: Anda dapat selalu menggunakan expm1(x)bukan exp(x)-1. Tentu saja exp(x) == exp(x) - 1tidak berlaku secara umum.

— Stefano M

x ≪ 1

$x \ll 1$

expm1(x)

0 \leq x \leq 1

$0\leq x \leq 1$ exp(x) - 1

x \approx 1

$x\approx 1$

x < ϵ

$x < \epsilon$

ϵ

$\epsilon$

Untuk memperluas perbedaan antara logdan log1pmungkin membantu untuk mengingat grafik jika logaritma:

log $x$ $0$ $\ln(x)$ $- \infty$ $x$ $0$ $\ln(x)$ $\ln(\frac{1}{e}) = -1$ $\ln(\frac{1}{e^{10}}) = -10$

$x$ $0$ $\ln(x+1)$ $0$ $\ln(1+\frac{1}{e}) \sim 0.31$ $\ln(1+\frac{1}{e^{10}}) \sim 0.000045$ log1p

$1$ log $0$ $1$ log1p

— sfmiller940
sumber