Nonaktifkan informasi debug Tensorflow

Dengan men-debug informasi, maksud saya apa yang TensorFlow tunjukkan di terminal saya tentang pustaka yang dimuat dan perangkat yang ditemukan, dll. Bukan kesalahan Python.

I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcublas.so locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcudnn.so locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcufft.so locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcuda.so.1 locally
I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcurand.so locally
I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:900] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
I tensorflow/core/common_runtime/gpu/gpu_init.cc:102] Found device 0 with properties: 
name: Graphics Device
major: 5 minor: 2 memoryClockRate (GHz) 1.0885
pciBusID 0000:04:00.0
Total memory: 12.00GiB
Free memory: 11.83GiB
I tensorflow/core/common_runtime/gpu/gpu_init.cc:126] DMA: 0 
I tensorflow/core/common_runtime/gpu/gpu_init.cc:136] 0:   Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:717] Creating TensorFlow device (/gpu:0) -> (device: 0, name: Graphics Device, pci bus id: 0000:04:00.0)
I tensorflow/core/common_runtime/gpu/gpu_bfc_allocator.cc:51] Creating bin of max chunk size 1.0KiB
...

Anda dapat menonaktifkan semua log debugging menggunakan os.environ:

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3' 
import tensorflow as tf

Diuji pada tf 0,12 dan 1,0

Secara rinci,

0 = all messages are logged (default behavior)
1 = INFO messages are not printed
2 = INFO and WARNING messages are not printed
3 = INFO, WARNING, and ERROR messages are not printed

2.0 Pembaruan (10/8/19) Pengaturan TF_CPP_MIN_LOG_LEVELmasih harus bekerja (lihat di bawah di v0.12 + pembaruan), tetapi saat ini ada masalah terbuka (lihat masalah # 31870 ). Jika pengaturan TF_CPP_MIN_LOG_LEVELtidak bekerja untuk Anda (lagi, lihat di bawah), coba lakukan hal berikut untuk mengatur level log:

import tensorflow as tf
tf.get_logger().setLevel('INFO')

Selain itu, silakan lihat dokumentasi tf.autograph.set_verbosityyang mengatur verbositas pesan log tanda tangan - misalnya:

# Can also be set using the AUTOGRAPH_VERBOSITY environment variable
tf.autograph.set_verbosity(1)

v0.12 + Pembaruan (5/20/17), Bekerja melalui TF 2.0+:

Di TensorFlow 0.12+, per masalah ini , Anda sekarang dapat mengontrol pencatatan melalui variabel lingkungan yang disebut TF_CPP_MIN_LOG_LEVEL; defaultnya adalah 0 (semua log ditampilkan) tetapi dapat diatur ke salah satu dari nilai berikut di bawah Levelkolom.

  Level | Level for Humans | Level Description                  
 -------|------------------|------------------------------------ 
  0     | DEBUG            | [Default] Print all messages       
  1     | INFO             | Filter out INFO messages           
  2     | WARNING          | Filter out INFO & WARNING messages 
  3     | ERROR            | Filter out all messages      

Lihat contoh OS umum berikut menggunakan Python:

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'  # or any {'0', '1', '2'}
import tensorflow as tf

Agar teliti, Anda menelepon juga mengatur level untuk tf_loggingmodul Python , yang digunakan dalam misalnya op ringkasan, papan tensor, berbagai estimator, dll.

# append to lines above
tf.logging.set_verbosity(tf.logging.ERROR)  # or any {DEBUG, INFO, WARN, ERROR, FATAL}

Untuk 1.14 Anda akan menerima peringatan jika Anda tidak mengubah untuk menggunakan API v1 sebagai berikut:

# append to lines above
tf.compat.v1.logging.set_verbosity(tf.compat.v1.logging.ERROR)  # or any {DEBUG, INFO, WARN, ERROR, FATAL}

Lihat halaman di bawah untuk informasi tentang logging TensorFlow; dengan update baru, Anda dapat mengatur bertele-tele logging baik DEBUG, INFO, WARN, ERROR, atau FATAL. Sebagai contoh:

tf.logging.set_verbosity(tf.logging.ERROR)

Halaman ini juga membahas monitor yang dapat digunakan dengan model TF-Learn. Ini halamannya .

Ini tidak memblokir semua logging, meskipun (hanya TF-Learn). Saya punya dua solusi; satu adalah solusi yang 'benar secara teknis' (Linux) dan yang lainnya melibatkan pembangunan kembali TensorFlow.

script -c 'python [FILENAME].py' | grep -v 'I tensorflow/'

Untuk yang lain, silakan lihat jawaban ini yang melibatkan memodifikasi sumber dan membangun kembali TensorFlow.

Saya punya masalah ini juga (pada tensorflow-0.10.0rc0 ), tetapi tidak dapat memperbaiki tes hidung yang berlebihan masuk masalah melalui jawaban yang disarankan.

Saya berhasil memecahkan ini dengan menyelidik langsung ke dalam logger tensorflow. Bukan perbaikan yang paling benar, tetapi berfungsi dengan baik dan hanya mencemari file uji yang secara langsung atau tidak langsung mengimpor tensorflow:

# Place this before directly or indirectly importing tensorflow
import logging
logging.getLogger("tensorflow").setLevel(logging.WARNING)

Untuk kompatibilitas dengan Tensorflow 2.0 , Anda dapat menggunakantf.get_logger

import logging
tf.get_logger().setLevel(logging.ERROR)

Karena TF_CPP_MIN_LOG_LEVELtidak bekerja untuk saya, Anda dapat mencoba:

tf.logging.set_verbosity(tf.logging.WARN)

Bekerja untuk saya di tensorflow v1.6.0

Manajer log python3 biasa bekerja untuk saya dengan tensorflow == 1.11.0:

import logging
logging.getLogger('tensorflow').setLevel(logging.INFO)

Saya diselesaikan dengan posting ini Tidak dapat menghapus semua peringatan # 27045 , dan solusinya adalah:

import logging
logging.getLogger('tensorflow').disabled = True

Untuk menambahkan fleksibilitas di sini, Anda dapat mencapai kontrol yang lebih baik atas tingkat logging dengan menulis fungsi yang menyaring pesan sesuka Anda:

logging.getLogger('tensorflow').addFilter(my_filter_func)

di mana my_filter_funcmenerima LogRecordobjek sebagai input [ LogRecorddok ] dan mengembalikan nol jika Anda ingin pesan itu dibuang; bukan nol sebaliknya.

Berikut contoh filter yang hanya menyimpan setiap pesan info ke-3 (Python 3 karena penggunaan di nonlocalsini):

def keep_every_nth_info(n):
    i = -1
    def filter_record(record):
        nonlocal i
        i += 1
        return int(record.levelname != 'INFO' or i % n == 0)
    return filter_record

# Example usage for TensorFlow:
logging.getLogger('tensorflow').addFilter(keep_every_nth_info(5))

Semua hal di atas telah mengasumsikan bahwa TensorFlow telah mengatur keadaan logging-nya. Anda dapat memastikan ini tanpa efek samping dengan menelepon tf.logging.get_verbosity()sebelum menambahkan filter.

Ya, saya menggunakan tf 2.0-beta dan ingin mengaktifkan / menonaktifkan logging standar. Variabel lingkungan dan metode di tf1.X tampaknya tidak ada lagi.

Saya melangkah dalam PDB dan menemukan ini berfungsi:

# close the TF2 logger
tf2logger = tf.get_logger()
tf2logger.error('Close TF2 logger handlers')
tf2logger.root.removeHandler(tf2logger.root.handlers[0])

Saya kemudian menambahkan API logger saya sendiri (dalam hal ini berbasis file)

logtf = logging.getLogger('DST')
logtf.setLevel(logging.DEBUG)

# file handler
logfile='/tmp/tf_s.log'
fh = logging.FileHandler(logfile)
fh.setFormatter( logging.Formatter('fh %(asctime)s %(name)s %(filename)s:%(lineno)d :%(message)s') )
logtf.addHandler(fh)
logtf.info('writing to %s', logfile)

untuk tensorflow 2.1.0, kode berikut berfungsi dengan baik.

import tensorflow as tf
tf.compat.v1.logging.set_verbosity(tf.compat.v1.logging.ERROR)

Jika Anda hanya perlu menyingkirkan keluaran peringatan di layar , Anda mungkin ingin menghapus konsol layar segera setelah mengimpor tensorflow dengan menggunakan perintah sederhana ini (Ini lebih efektif daripada menonaktifkan semua log debugging dalam pengalaman saya):

Di windows:

import os
os.system('cls')

Di Linux atau Mac:

import os
os.system('clear')

Tidak ada solusi di atas yang bisa menyelesaikan masalah saya di Jupyter Notebook, jadi saya menggunakan kode cuplikan berikut di bawah dari Cicoria , dan masalah terpecahkan.

import warnings  
with warnings.catch_warnings():  
    warnings.filterwarnings("ignore",category=FutureWarning)
    import tensorflow as tf
    from tensorflow import keras
    from tensorflow.keras.preprocessing.text import Tokenizer

print('Done')