Apa itu latensi P99?

Apa yang diwakili oleh latensi P99? Saya terus mendengar tentang ini dalam diskusi tentang kinerja aplikasi tetapi tidak dapat menemukan sumber daya online yang akan membicarakan hal ini.

Ini persentil ke-99 . Artinya 99% permintaan harus lebih cepat daripada latensi yang diberikan. Dengan kata lain, hanya 1% dari permintaan yang diizinkan lebih lambat.

Kita dapat menjelaskannya melalui analogi, jika 100 siswa sedang berlomba maka 99 siswa harus menyelesaikan perlombaan dalam waktu "latency".

Bayangkan Anda mengumpulkan data kinerja layanan Anda dan tabel di bawah ini adalah kumpulan hasil (nilai latensi bersifat fiktif untuk menggambarkan gagasan tersebut).

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

Latensi P99 layanan Anda adalah 7 detik. Hanya 1% dari permintaan membutuhkan waktu lebih lama dari itu. Jadi, jika Anda dapat menurunkan latensi P99 dari layanan Anda, Anda meningkatkan kinerjanya.

Mari kita ambil contoh dari sini

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

Jadi kita dapat mengatakan, 99 persen dari permintaan web, latensi yang ditemukan adalah 1,3ms (md / mikrodetik tergantung pada ukuran latensi sistem Anda yang dikonfigurasi) atau lebih rendah. Seperti yang dikatakan @tranmq jika kami menurunkan latensi P99 dari layanan, kami dapat meningkatkan kinerjanya.

Dan juga perlu diperhatikan p95, karena mungkin beberapa permintaan membuat p99 menjadi lebih mahal daripada p95 misalnya) permintaan awal yang membangun cache, pemanasan objek kelas, utas init ...

Akhirnya; kami dapat memiliki sekitar 1% noise dalam pengukuran kami (seperti kemacetan jaringan, pemadaman, degradasi layanan), jadi latensi p99 adalah perwakilan yang baik untuk kasus terburuk. Dan, hampir selalu, tujuan kami adalah mengurangi latensi p99.