Node.js kehabisan memori

Hari ini saya menjalankan skrip saya untuk pengindeksan sistem file untuk menyegarkan indeks file RAID dan setelah 4 jam macet dengan kesalahan berikut:

[md5:]  241613/241627 97.5%  
[md5:]  241614/241627 97.5%  
[md5:]  241625/241627 98.1%
Creating missing list... (79570 files missing)
Creating new files list... (241627 new files)

<--- Last few GCs --->

11629672 ms: Mark-sweep 1174.6 (1426.5) -> 1172.4 (1418.3) MB, 659.9 / 0 ms [allocation failure] [GC in old space requested].
11630371 ms: Mark-sweep 1172.4 (1418.3) -> 1172.4 (1411.3) MB, 698.9 / 0 ms [allocation failure] [GC in old space requested].
11631105 ms: Mark-sweep 1172.4 (1411.3) -> 1172.4 (1389.3) MB, 733.5 / 0 ms [last resort gc].
11631778 ms: Mark-sweep 1172.4 (1389.3) -> 1172.4 (1368.3) MB, 673.6 / 0 ms [last resort gc].


<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x3d1d329c9e59 <JS Object>
1: SparseJoinWithSeparatorJS(aka SparseJoinWithSeparatorJS) [native array.js:~84] [pc=0x3629ef689ad0] (this=0x3d1d32904189 <undefined>,w=0x2b690ce91071 <JS Array[241627]>,L=241627,M=0x3d1d329b4a11 <JS Function ConvertToString (SharedFunctionInfo 0x3d1d3294ef79)>,N=0x7c953bf4d49 <String[4]\: ,\n  >)
2: Join(aka Join) [native array.js:143] [pc=0x3629ef616696] (this=0x3d1d32904189 <undefin...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
 1: node::Abort() [/usr/bin/node]
 2: 0xe2c5fc [/usr/bin/node]
 3: v8::Utils::ReportApiFailure(char const*, char const*) [/usr/bin/node]
 4: v8::internal::V8::FatalProcessOutOfMemory(char const*, bool) [/usr/bin/node]
 5: v8::internal::Factory::NewRawTwoByteString(int, v8::internal::PretenureFlag) [/usr/bin/node]
 6: v8::internal::Runtime_SparseJoinWithSeparator(int, v8::internal::Object**, v8::internal::Isolate*) [/usr/bin/node]
 7: 0x3629ef50961b

Server dilengkapi dengan RAM 16GB dan swap SSD 24GB. Saya sangat meragukan skrip saya melebihi memori 36gb. Setidaknya itu tidak seharusnya

Script membuat indeks file yang disimpan sebagai Array Objek dengan file metadata (tanggal modifikasi, izin, dll, tanpa data besar)

Berikut kode skrip lengkap: http://pastebin.com/mjaD76c3

Saya sudah pernah mengalami masalah simpul aneh di masa lalu dengan skrip ini yang memaksa saya misalnya. indeks terbagi menjadi beberapa file sebagai node sedang glitching ketika bekerja pada file besar seperti String. Apakah ada cara untuk meningkatkan manajemen memori nodejs dengan dataset besar?

Jika saya ingat dengan benar, ada batas standar ketat untuk penggunaan memori di V8 sekitar 1,7 GB, jika Anda tidak menambahnya secara manual.

Dalam salah satu produk kami, kami mengikuti solusi ini dalam skrip penerapan kami:

 node --max-old-space-size=4096 yourFile.js

Akan ada juga perintah ruang baru tetapi seperti yang saya baca di sini: a-tour-of-v8-garbage-collection ruang baru hanya mengumpulkan data jangka pendek yang baru dibuat dan ruang lama berisi semua struktur data yang dirujuk yang harus dalam kasing Anda pilihan terbaik.

Untuk berjaga-jaga kalau ada yang mengalami ini dalam lingkungan di mana mereka tidak dapat mengatur properti simpul secara langsung (dalam kasus saya alat build):

NODE_OPTIONS="--max-old-space-size=4096" node ...

Anda dapat mengatur opsi simpul menggunakan variabel lingkungan jika Anda tidak bisa meneruskannya di baris perintah.

Jika Anda ingin meningkatkan penggunaan memori node secara global - tidak hanya satu skrip, Anda dapat mengekspor variabel lingkungan, seperti ini:
export NODE_OPTIONS=--max_old_space_size=4096

Maka Anda tidak perlu bermain dengan file saat menjalankan build like npm run build.

Saya mengalami masalah ini ketika mencoba debug dengan VSCode, jadi hanya ingin menambahkan ini adalah bagaimana Anda dapat menambahkan argumen ke pengaturan debug Anda.

Anda dapat menambahkannya ke runtimeArgsproperti konfigurasi Anda launch.json.

Lihat contoh di bawah ini.

{
"version": "0.2.0",
"configurations": [{
        "type": "node",
        "request": "launch",
        "name": "Launch Program",
        "program": "${workspaceRoot}\\server.js"
    },
    {
        "type": "node",
        "request": "launch",
        "name": "Launch Training Script",
        "program": "${workspaceRoot}\\training-script.js",
        "runtimeArgs": [
            "--max-old-space-size=4096"
        ]
    }
]}

Berikut adalah beberapa nilai flag untuk menambahkan beberapa info tambahan tentang cara memungkinkan lebih banyak memori ketika Anda memulai server node Anda.

1GB - 8GB

#increase to 1gb
node --max-old-space-size=1024 index.js

#increase to 2gb
node --max-old-space-size=2048 index.js 

#increase to 3gb
node --max-old-space-size=3072 index.js

#increase to 4gb
node --max-old-space-size=4096 index.js

#increase to 5gb
node --max-old-space-size=5120 index.js

#increase to 6gb
node --max-old-space-size=6144 index.js

#increase to 7gb
node --max-old-space-size=7168 index.js

#increase to 8gb 
node --max-old-space-size=8192 index.js 

saya berjuang dengan ini bahkan setelah pengaturan --max-old-space-size.

Kemudian saya menyadari perlu meletakkan opsi --max-old-space-size sebelum script karma.

terbaik juga untuk menentukan sintaksis --max-old-space-size dan --max_old_space_size skrip saya untuk karma:

node --max-old-space-size=8192 --optimize-for-size --max-executable-size=8192  --max_old_space_size=8192 --optimize_for_size --max_executable_size=8192 node_modules/karma/bin/karma start --single-run --max_new_space_size=8192   --prod --aot

referensi https://github.com/angular/angular-cli/issues/1652

Saya memiliki masalah serupa saat melakukan AOT angular build. Mengikuti perintah membantu saya.

npm install -g increase-memory-limit
increase-memory-limit

Sumber: https://geeklearning.io/angular-aot-webpack-memory-trick/

Namun, menemukan dan memperbaiki memori babi dengan sesuatu seperti memwatch mungkin membantu.

Langkah-langkah untuk memperbaiki masalah ini (Di Windows) -

1. Buka command prompt dan ketik %appdata%tekan enter
2. Arahkan ke %appdata%> folder npm
3. Buka atau Edit ng.cmddi editor favorit Anda
4. Tambahkan --max_old_space_size=8192ke blok IF dan ELSE

node.cmdFile Anda terlihat seperti ini setelah perubahan:

@IF EXIST "%~dp0\node.exe" (
  "%~dp0\node.exe" "--max_old_space_size=8192" "%~dp0\node_modules\@angular\cli\bin\ng" %*
) ELSE (
  @SETLOCAL
  @SET PATHEXT=%PATHEXT:;.JS;=;%
  node "--max_old_space_size=8192" "%~dp0\node_modules\@angular\cli\bin\ng" %*
)

Variabel lingkungan berikut dapat digunakan:

NODE_OPTIONS= --max-old-space-size=8192 .

Catatan lain: console.log()juga menghabiskan memori di terminal.

baru saja mencoba mengomentari console.log () di terminal. karena itu juga akan memakan memori.

jika Anda ingin mengubah memori secara global untuk node (windows), pergi ke pengaturan sistem lanjutan -> variabel lingkungan -> variabel pengguna baru

variable name = NODE_OPTIONS
variable value = --max-old-space-size=4096

Saya telah mencoba 👍 kode di bawah ini dan berfungsi dengan baik✌.

• buka terminal dari direktori root proyek

• jalankan cmd untuk mengatur ukuran baru.

  set NODE_OPTIONS=--max_old_space_size=8172

Atau Anda dapat memeriksa tautan untuk info lebih lanjut https://github.com/nodejs/node/issues/10137#issuecomment-487255987

Saya hanya ingin menambahkan bahwa di beberapa sistem, bahkan dengan meningkatkan batas memori node --max-old-space-size, itu tidak cukup dan ada kesalahan OS seperti ini:

terminate called after throwing an instance of 'std::bad_alloc'
  what():  std::bad_alloc
Aborted (core dumped)

Dalam hal ini, mungkin karena Anda mencapai maks mmap per proses.

Anda dapat memeriksa max_map_count dengan menjalankan

sysctl vm.max_map_count

dan meningkatkannya dengan menjalankan

sysctl -w vm.max_map_count=655300

dan memperbaikinya untuk tidak diatur ulang setelah reboot dengan menambahkan baris ini

vm.max_map_count=655300

dalam /etc/sysctl.conffile.

Periksa di sini untuk info lebih lanjut.

Metode yang baik untuk menganalisis kesalahan adalah dengan menjalankan prosesnya strace

strace node --max-old-space-size=128000 my_memory_consuming_process.js

Saya menghadapi masalah yang sama baru-baru ini dan menemukan utas ini tetapi masalah saya adalah dengan ReactApp. Di bawah ini perubahan dalam perintah simpul mulai menyelesaikan masalah saya.

Sintaksis

node --max-old-space-size=<size> path-to/fileName.js

Contoh

node --max-old-space-size=16000 scripts/build.js

Mengapa ukurannya 16000 dalam ukuran max-old-space-size?

Pada dasarnya, ini bervariasi tergantung pada memori yang dialokasikan untuk utas itu dan pengaturan simpul Anda.

Bagaimana cara memverifikasi dan memberikan ukuran yang tepat?

Ini pada dasarnya tinggal di mesin kami v8. kode di bawah ini membantu Anda untuk memahami Ukuran Tumpukan mesin simpul lokal v8 Anda.

const v8 = require('v8');
const totalHeapSize = v8.getHeapStatistics().total_available_size;
const totalHeapSizeGb = (totalHeapSize / 1024 / 1024 / 1024).toFixed(2);
console.log('totalHeapSizeGb: ', totalHeapSizeGb);

Saya baru saja menghadapi masalah yang sama dengan instance EC2 saya t2.micro yang memiliki memori 1 GB.

Saya menyelesaikan masalah dengan membuat file swap menggunakan url ini dan mengatur variabel lingkungan berikut.

export NODE_OPTIONS=--max_old_space_size=4096

Akhirnya masalahnya telah hilang.

Saya harap itu akan membantu masa depan.

Untuk berjaga-jaga jika ini dapat membantu orang yang mengalami masalah ini saat menggunakan aplikasi nodejs yang menghasilkan penebangan yang berat, seorang kolega menyelesaikan masalah ini dengan menyalurkan output standar ke file.

Jika Anda mencoba meluncurkan bukan nodesendiri, tetapi beberapa lunak lainnya, misalnya webpackAnda dapat menggunakan variabel dan cross-envpaket lingkungan :

$ cross-env NODE_OPTIONS='--max-old-space-size=4096' \
  webpack --progress --config build/webpack.config.dev.js

Untuk bundling proyek sudut, saya telah menambahkan baris di bawah ini ke file pakage.json saya di bagian skrip .

"build-prod": "node --max_old_space_size=5120 ./node_modules/@angular/cli/bin/ng build --prod --base-href /"

Sekarang, untuk menggabungkan kode saya, saya menggunakan npm run build-prodbukanng build --requiredFlagsHere

semoga ini membantu!

Tingkatkan simpul ke versi terbaru. Saya berada di node 6.6 dengan kesalahan ini dan ditingkatkan ke 8.9.4 dan masalahnya hilang.

Dalam kasus saya, saya telah menjalankan npm installversi node sebelumnya, setelah beberapa hari saya meningkatkan versi node dan ram npm installuntuk beberapa modul. Setelah ini saya mendapatkan kesalahan ini. Untuk memperbaiki masalah ini, saya menghapus folder node_module dari setiap proyek dan berlari npm installlagi.

Semoga ini bisa memperbaiki masalah.

Catatan: Ini terjadi pada mesin lokal saya dan diperbaiki pada mesin lokal saja.

Perintah ini bekerja dengan sempurna. Saya memiliki ram 8GB di laptop saya, Jadi saya mengatur ukuran = 8192. Ini semua tentang ram dan juga Anda perlu mengatur nama file. Saya menjalankan npm run build command itu sebabnya saya menggunakan build.js .

node --expose-gc --max-old-space-size=8192 node_modules/react-scripts/scripts/build.js

Dalam kasus saya, saya memutakhirkan versi node.js ke yang terbaru dan itu berfungsi seperti pesona.