Pertanyaan yang diberi tag «precision»

Saya ingin adibulatkan ke 13,95 . >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 The roundfungsi tidak bekerja seperti yang saya harapkan.

1691 python  floating-point  rounding  precision 

Saya telah membaca tentang perbedaan antara presisi ganda dan presisi tunggal. Namun, dalam banyak kasus, floatdan doubletampaknya dapat dipertukarkan, yaitu menggunakan satu atau yang lain tampaknya tidak mempengaruhi hasil. Benarkah ini masalahnya? Kapan mengapung dan ganda dipertukarkan? Apa perbedaan di antara mereka?

420 c++  c  floating-point  precision 

Jadi saya mendapatkan jawaban untuk pertanyaan terakhir saya (saya tidak tahu mengapa saya tidak memikirkan itu). Saya mencetak doublemenggunakan coutyang bulat ketika saya tidak mengharapkannya. Bagaimana saya bisa membuat coutcetakan doublemenggunakan presisi penuh?

332 c++  floating-point  precision  iostream  cout 

Saya ingin menampilkan angka ke 2 tempat desimal. Saya pikir saya bisa menggunakan toPrecision(2)JavaScript. Namun, jika angkanya 0.05, saya dapatkan 0.0500. Saya lebih suka tetap sama. Lihat di JSbin . Apa cara terbaik untuk melakukan ini? Saya bisa memikirkan pengkodean beberapa solusi, tetapi saya membayangkan (saya harap) sesuatu seperti ini …

316 javascript  floating-point  precision 

Saya memiliki kolom berikut yang ditentukan dalam database: desimal (5,2) Bagaimana seseorang menafsirkan ini? Menurut properti pada kolom seperti yang terlihat di SQL Server Management studio saya dapat melihat bahwa itu berarti: desimal (ketepatan Numerik, skala Numerik). Apa arti presisi dan skala secara riil? Akan mudah untuk menafsirkan ini sebagai …

245 sql  database  decimal  scale  precision 

Bagaimana saya bisa membuat cap waktu yang sebenarnya dengan ketepatan milidetik? Saya butuh sesuatu seperti 16.4.2013 9: 48: 00: 123. Apakah ini mungkin? Saya memiliki aplikasi, di mana saya sampel nilai 10 kali per detik, dan saya perlu menunjukkannya dalam grafik.

231 c#  datetime  precision  milliseconds 

Mengapa beberapa angka kehilangan akurasi ketika disimpan sebagai angka floating point? Sebagai contoh, angka desimal 9.2dapat dinyatakan dengan tepat sebagai rasio dua bilangan bulat desimal ( 92/10), yang keduanya dapat dinyatakan secara tepat dalam biner ( 0b1011100/0b1010). Namun, rasio yang sama disimpan sebagai angka floating point tidak pernah sama persis …

198 floating-point  language-agnostic  precision 

Saya mencoba untuk mendapatkan jumlah 1 + 2 + ... + 1000000000, tapi aku mendapatkan hasil yang lucu dalam PHP dan Node.js . PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 Node.js var sum …

192 php  node.js  precision  integer-overflow  integer-arithmetic 

Baru-baru ini saya harus membuat cerita bersambung ganda menjadi teks, dan kemudian mendapatkannya kembali. Nilai tersebut tampaknya tidak setara: double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False Tetapi menurut MSDN: Standard Numeric Format Strings , …

185 c#  double  tostring  precision 

Apa perbedaan antara operasi floating point presisi tunggal dan operasi floating presisi ganda? Saya terutama tertarik pada istilah praktis terkait dengan konsol video game. Sebagai contoh, apakah Nintendo 64 memiliki prosesor 64 bit dan jika itu terjadi maka apakah itu berarti mampu melakukan operasi floating point presisi ganda? Dapatkah PS3 …

169 floating-point  precision  processor  operations 

Tidak, ini bukan pertanyaan "Kenapa (1 / 3.0) * 3! = 1" . Saya telah membaca tentang floating-point akhir-akhir ini; khususnya, bagaimana perhitungan yang sama dapat memberikan hasil yang berbeda pada arsitektur yang berbeda atau pengaturan optimasi. Ini adalah masalah untuk gim video yang menyimpan replay, atau jaringan peer-to-peer (bukan …

155 c#  .net  floating-point  precision  ieee-754 

Saya tahu angka 0.1desimal tidak dapat diwakili secara tepat dengan angka biner yang terbatas ( penjelasan ), sehingga double n = 0.1akan kehilangan presisi dan tidak akan persis 0.1. Di sisi lain 0.5dapat diwakili tepat karena itu 0.5 = 1/2 = 0.1b. Setelah mengatakan bahwa dapat dimengerti bahwa menambahkan 0.1 …

152 java  floating-point  double  precision 

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } Kode di atas mencetak: 11.399999999999 Bagaimana saya bisa mencetak ini (atau bisa menggunakannya) 11.4?

149 java  floating-point  double  precision 

Saya baru mengenal JavaScript dan baru saja menemukan toFixed()dan toPrecision()membulatkan angka. Namun, saya tidak tahu apa perbedaan antara keduanya. Apa perbedaan antara number.toFixed()dan number.toPrecision()?

124 javascript  rounding  precision 

Ada opsi di R untuk mengontrol tampilan digit. Sebagai contoh: options(digits=10) seharusnya memberikan hasil kalkulasi dalam 10 digit hingga akhir sesi R. Di file bantuan R, definisi parameter digit adalah sebagai berikut: digit: mengontrol jumlah digit yang akan dicetak saat mencetak nilai numerik. Ini hanya saran. Nilai yang valid adalah …

110 r  precision  digits  r-faq  output-formatting