Bagaimana cara mengkompilasi Tensorflow dengan instruksi SSE4.2 dan AVX?

Ini adalah pesan yang diterima dari menjalankan skrip untuk memeriksa apakah Tensorflow berfungsi:

I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcublas.so.8.0 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcudnn.so.5 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcufft.so.8.0 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcuda.so.1 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcurand.so.8.0 locally
W tensorflow/core/platform/cpu_feature_guard.cc:95] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.
W tensorflow/core/platform/cpu_feature_guard.cc:95] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.
I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:910] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero

Saya perhatikan bahwa telah disebutkan SSE4.2 dan AVX,

1. Apa itu SSE4.2 dan AVX?
2. Bagaimana SSE4.2 dan AVX ini meningkatkan komputasi CPU untuk tugas-tugas Tensorflow.
3. Bagaimana cara membuat Tensorflow dikompilasi menggunakan dua perpustakaan?

Saya hanya mengalami masalah yang sama, sepertinya saran Yaroslav Bulatov tidak mencakup dukungan SSE4.2, menambahkan --copt=-msse4.2sudah cukup. Pada akhirnya, saya berhasil membangun

bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.2 --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

tanpa peringatan atau kesalahan apa pun.

Mungkin pilihan terbaik untuk sistem apa pun adalah:

bazel build -c opt --copt=-march=native --copt=-mfpmath=both --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

( Pembaruan: skrip build mungkin sedang makan-march=native , mungkin karena mengandung= .)

-mfpmath=bothhanya bekerja dengan gcc, bukan dentang. -mfpmath=ssemungkin sama baiknya, jika tidak lebih baik, dan merupakan standar untuk x86-64. Build 32-bit menjadi default -mfpmath=387, jadi mengubah itu akan membantu untuk 32-bit. (Tetapi jika Anda ingin kinerja tinggi untuk angka-angka, Anda harus membangun biner 64-bit.)

Saya tidak yakin untuk apa TensorFlow default -O2atau -O3apa. gcc -O3memungkinkan pengoptimalan penuh termasuk auto-vektorisasi, tetapi kadang-kadang bisa membuat kode lebih lambat.

Kegunaannya: --coptforbazel build meneruskan opsi langsung ke gcc untuk mengkompilasi file C dan C ++ (tetapi tidak menautkan, jadi Anda memerlukan opsi lain untuk optimasi lintas-file-link-waktu-optimasi)

x86-64 gcc secara default hanya menggunakan SSE2 atau instruksi SIMD yang lebih lama, sehingga Anda dapat menjalankan binari pada sistem x86-64 apa pun . (Lihat https://gcc.gnu.org/onlinedocs/gcc/x86-Options.html ). Bukan itu yang Anda inginkan. Anda ingin membuat biner yang memanfaatkan semua instruksi yang dapat dijalankan CPU Anda, karena Anda hanya menjalankan biner ini pada sistem tempat Anda membuatnya.

-march=nativememungkinkan semua opsi yang didukung CPU Anda, sehingga membuatnya -mavx512f -mavx2 -mavx -mfma -msse4.2berlebihan. (Juga, -mavx2sudah mengaktifkan -mavxdan -msse4.2, jadi perintah Yaroslav seharusnya baik-baik saja). Juga jika Anda menggunakan CPU yang tidak mendukung salah satu opsi ini (seperti FMA), menggunakan -mfmaakan membuat biner yang salah dengan instruksi ilegal.

TensorFlow secara ./configuredefault diaktifkan-march=native , jadi menggunakan itu harus menghindari keharusan menentukan opsi kompiler secara manual.

-march=nativememungkinkan -mtune=native, sehingga mengoptimalkan untuk CPU Anda untuk hal-hal seperti urutan instruksi AVX mana yang terbaik untuk beban yang tidak selaras.

Ini semua berlaku untuk gcc, dentang, atau ICC. (Untuk ICC, Anda dapat menggunakan -xHOSTsebagai ganti -march=native.)

Mari kita mulai dengan penjelasan mengapa Anda melihat peringatan ini sejak awal .

Kemungkinan besar Anda belum menginstal TF dari sumber dan alih-alih menggunakan sesuatu seperti pip install tensorflow. Itu berarti Anda menginstal binari pra-dibangun (oleh orang lain) yang tidak dioptimalkan untuk arsitektur Anda. Dan peringatan ini memberi tahu Anda hal ini dengan tepat: sesuatu tersedia di arsitektur Anda, tetapi itu tidak akan digunakan karena biner tidak dikompilasi dengannya. Ini bagian dari dokumentasi .

TensorFlow memeriksa saat startup apakah telah dikompilasi dengan optimisasi yang tersedia pada CPU. Jika optimisasi tidak termasuk, TensorFlow akan memancarkan peringatan, misalnya AVX, AVX2, dan instruksi FMA tidak termasuk.

Hal yang baik adalah bahwa kemungkinan besar Anda hanya ingin belajar / bereksperimen dengan TF sehingga semuanya akan berfungsi dengan baik dan Anda tidak perlu khawatir

Apa itu SSE4.2 dan AVX?

Wikipedia memiliki penjelasan yang bagus tentang SSE4.2 dan AVX . Pengetahuan ini tidak dituntut untuk pandai dalam pembelajaran mesin. Anda dapat menganggapnya sebagai seperangkat instruksi tambahan bagi komputer untuk menggunakan beberapa titik data terhadap satu instruksi untuk melakukan operasi yang dapat diparalelkan secara alami (misalnya menambahkan dua array).

Baik SSE dan AVX adalah implementasi dari ide abstrak SIMD (Instruksi tunggal, beberapa data), yaitu

kelas komputer paralel dalam taksonomi Flynn. Ini menjelaskan komputer dengan beberapa elemen pemrosesan yang melakukan operasi yang sama pada beberapa titik data secara bersamaan. Dengan demikian, mesin tersebut mengeksploitasi paralelisme tingkat data, tetapi tidak konkurensi: ada perhitungan simultan (paralel), tetapi hanya proses tunggal (instruksi) pada saat tertentu

Ini cukup untuk menjawab pertanyaan Anda selanjutnya.

Bagaimana SSE4.2 dan AVX ini meningkatkan perhitungan CPU untuk tugas TF

Mereka memungkinkan perhitungan yang lebih efisien dari berbagai operasi vektor (matriks / tensor). Anda dapat membaca lebih lanjut di slide ini

Bagaimana cara membuat Tensorflow dikompilasi menggunakan dua perpustakaan?

Anda harus memiliki biner yang dikompilasi untuk mengambil keuntungan dari instruksi ini. Cara termudah adalah mengompilasinya sendiri . Seperti yang disarankan oleh Mike dan Yaroslav, Anda dapat menggunakan perintah bazel berikut

bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.2 --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

Biarkan saya menjawab pertanyaan ke-3 Anda terlebih dahulu:

Jika Anda ingin menjalankan versi self-compiled di dalam conda-env, Anda bisa. Ini adalah instruksi umum yang saya jalankan untuk mendapatkan tensorflow untuk diinstal pada sistem saya dengan instruksi tambahan. Catatan: Build ini dibuat untuk AMD A10-7850 build (periksa CPU Anda untuk mengetahui instruksi apa yang didukung ... mungkin berbeda) yang menjalankan Ubuntu 16.04 LTS. Saya menggunakan Python 3.5 dalam conda-env saya. Kredit masuk ke halaman instal sumber tensorflow dan jawaban yang diberikan di atas.

git clone https://github.com/tensorflow/tensorflow 
# Install Bazel
# https://bazel.build/versions/master/docs/install.html
sudo apt-get install python3-numpy python3-dev python3-pip python3-wheel
# Create your virtual env with conda.
source activate YOUR_ENV
pip install six numpy wheel, packaging, appdir
# Follow the configure instructions at:
# https://www.tensorflow.org/install/install_sources
# Build your build like below. Note: Check what instructions your CPU 
# support. Also. If resources are limited consider adding the following 
# tag --local_resources 2048,.5,1.0 . This will limit how much ram many
# local resources are used but will increase time to compile.
bazel build -c opt --copt=-mavx --copt=-msse4.1 --copt=-msse4.2  -k //tensorflow/tools/pip_package:build_pip_package
# Create the wheel like so:
bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
# Inside your conda env:
pip install /tmp/tensorflow_pkg/NAME_OF_WHEEL.whl
# Then install the rest of your stack
pip install keras jupyter etc. etc.

Mengenai pertanyaan kedua Anda:

Menurut pendapat saya, versi yang dikompilasi sendiri dengan optimisasi layak dilakukan. Pada pengaturan khusus saya, perhitungan yang digunakan untuk mengambil 560-600 detik sekarang hanya membutuhkan sekitar 300 detik! Meskipun angka pastinya bervariasi, saya pikir Anda dapat mengharapkan peningkatan kecepatan 35-50% secara umum pada pengaturan khusus Anda.

Terakhir pertanyaan pertama Anda:

Banyak jawaban sudah disediakan di atas. Untuk meringkas: AVX , SSE4.1, SSE4.2 , MFA adalah berbagai jenis set instruksi tambahan pada CPU X86. Banyak berisi instruksi yang dioptimalkan untuk memproses operasi matriks atau vektor.

Saya akan menyoroti kesalahpahaman saya sendiri untuk semoga menghemat waktu Anda: Bukan karena SSE4.2 adalah versi yang lebih baru dari instruksi menggantikan SSE4.1. SSE4 = SSE4.1 (satu set instruksi 47) + SSE4.2 (set instruksi 7).

Dalam konteks kompilasi tensorflow, jika komputer Anda mendukung AVX2 dan AVX, dan SSE4.1 dan SSE4.2, Anda harus meletakkan flag yang mengoptimalkan itu untuk semua. Jangan lakukan seperti yang saya lakukan dan hanya pergi dengan SSE4.2 berpikir bahwa itu lebih baru dan harus melampaui SSE4.1. Itu jelas SALAH! Saya harus mengkompilasi ulang karena itu menghabiskan 40 menit.

Ini adalah set instruksi pemrosesan vektor SIMD .

Menggunakan instruksi vektor lebih cepat untuk banyak tugas; pembelajaran mesin adalah tugas seperti itu.

Mengutip dokumen instalasi tensorflow :

Agar kompatibel dengan berbagai mesin selebar mungkin, TensorFlow secara default hanya menggunakan petunjuk SIME SSE4.1 pada mesin x86. Sebagian besar PC dan Mac modern mendukung instruksi yang lebih canggih, jadi jika Anda membuat biner yang hanya dapat dijalankan di komputer Anda sendiri, Anda dapat mengaktifkannya dengan menggunakan --copt=-march=nativeperintah bazel build.

Berkat semua balasan ini + beberapa percobaan dan kesalahan, saya berhasil menginstalnya di Mac dengan clang. Jadi bagikan saja solusi saya jika bermanfaat bagi seseorang.

1. Ikuti instruksi pada Dokumentasi - Menginstal TensorFlow dari Sumber

2. Saat diminta

   Silakan tentukan flag optimasi untuk digunakan selama kompilasi ketika opsi bazel "--config = opt" ditentukan [Default is -march = native]

lalu salin-tempel string ini:

-mavx -mavx2 -mfma -msse4.2

(Opsi default menyebabkan kesalahan, begitu pula beberapa flag lainnya. Saya tidak mendapatkan kesalahan dengan flag di atas. BTW saya membalas nsemua pertanyaan lainnya)

Setelah menginstal, saya memverifikasi percepatan ~ 2x hingga 2.5x ketika melatih model dalam sehubungan dengan instalasi lain berdasarkan roda default - Menginstal TensorFlow pada macOS

Semoga ini bisa membantu

Saya baru saja menginstalnya dari sumber dan di bawah ini adalah semua langkah yang diperlukan untuk menginstalnya dari sumber dengan instruksi yang disebutkan tersedia.

Jawaban lain sudah menjelaskan mengapa pesan-pesan itu ditampilkan. Jawaban saya memberikan langkah-demi-langkah tentang cara menginstal, yang dapat membantu orang berjuang pada instalasi yang sebenarnya seperti yang saya lakukan.

1. Instal Bazel

Unduh dari salah satu rilis yang tersedia , misalnya 0.5.2 . Ekstrak, masuk ke direktori dan mengkonfigurasinya: bash ./compile.sh. Salin yang dapat dieksekusi ke /usr/local/bin:sudo cp ./output/bazel /usr/local/bin

2. Instal Tensorflow

Klon tensorflow: git clone https://github.com/tensorflow/tensorflow.git Buka direktori yang dikloning untuk mengkonfigurasinya:./configure

Ini akan memberi Anda beberapa pertanyaan, di bawah ini saya telah menyarankan tanggapan untuk setiap pertanyaan, Anda tentu saja dapat memilih tanggapan Anda sendiri sesuai keinginan:

Using python library path: /usr/local/lib/python2.7/dist-packages
Do you wish to build TensorFlow with MKL support? [y/N] y
MKL support will be enabled for TensorFlow
Do you wish to download MKL LIB from the web? [Y/n] Y
Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native]: 
Do you wish to use jemalloc as the malloc implementation? [Y/n] n
jemalloc disabled
Do you wish to build TensorFlow with Google Cloud Platform support? [y/N] N
No Google Cloud Platform support will be enabled for TensorFlow
Do you wish to build TensorFlow with Hadoop File System support? [y/N] N
No Hadoop File System support will be enabled for TensorFlow
Do you wish to build TensorFlow with the XLA just-in-time compiler (experimental)? [y/N] N
No XLA JIT support will be enabled for TensorFlow
Do you wish to build TensorFlow with VERBS support? [y/N] N
No VERBS support will be enabled for TensorFlow
Do you wish to build TensorFlow with OpenCL support? [y/N] N
No OpenCL support will be enabled for TensorFlow
Do you wish to build TensorFlow with CUDA support? [y/N] N
No CUDA support will be enabled for TensorFlow

3. Paket pip. Untuk membangunnya, Anda harus menjelaskan instruksi mana yang Anda inginkan (Anda tahu, Tensorflow yang memberi tahu Anda tidak ada).

Buat skrip pip: bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.1 --copt=-msse4.2 -k //tensorflow/tools/pip_package:build_pip_package

Bangun paket pip: bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

Instal paket pip Tensorflow yang baru saja Anda buat: sudo pip install /tmp/tensorflow_pkg/tensorflow-1.2.1-cp27-cp27mu-linux_x86_64.whl

Sekarang lain kali Anda memulai Tensorflow itu tidak akan mengeluh lagi tentang instruksi yang hilang.

Ini adalah metode paling sederhana. Hanya satu langkah.

Ini berdampak signifikan pada kecepatan. Dalam kasus saya, waktu yang dibutuhkan untuk langkah pelatihan hampir setengahnya.

Lihat build kustom dari tensorflow

Saya mengkompilasi skrip Bash kecil untuk Mac (dapat dengan mudah porting ke Linux) untuk mengambil semua fitur CPU dan menerapkan beberapa dari mereka untuk membangun TF. Saya di TF master dan menggunakan agak sering (beberapa kali dalam sebulan).

https://gist.github.com/venik/9ba962c8b301b0e21f99884cbd35082f

Untuk mengkompilasi TensorFlow dengan SSE4.2 dan AVX, Anda dapat menggunakan secara langsung

bazel build --config = mkl --config = "opt" --copt = "- march = broadwell" --copt = "- O3" // tensorflow / tools / pip_package: build_pip_package

Sumber: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/tools/docker/Dockerfile.devel-cpu-mkl

2.0 SOLUSI YANG KOMPATIBEL:

Jalankan perintah di bawah ini di Terminal (Linux / MacOS) atau di Command Prompt (Windows) untuk menginstal Tensorflow 2.0 menggunakan Bazel :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

#The repo defaults to the master development branch. You can also checkout a release branch to build:
git checkout r2.0

#Configure the Build => Use the Below line for Windows Machine
python ./configure.py 

#Configure the Build => Use the Below line for Linux/MacOS Machine
./configure
#This script prompts you for the location of TensorFlow dependencies and asks for additional build configuration options. 

#Build Tensorflow package

#CPU support
bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package 

#GPU support
bazel build --config=opt --config=cuda --define=no_tensorflow_py_deps=true //tensorflow/tools/pip_package:build_pip_package

Saat membangun TensorFlow dari sumber, Anda akan menjalankan configureskrip. Salah satu pertanyaan yang diajukan configureskrip adalah sebagai berikut:

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native]

The configureScript akan melampirkan bendera (s) yang Anda tentukan dengan perintah bazel yang membangun paket TensorFlow pip. Secara umum, Anda dapat merespons permintaan ini dengan salah satu dari dua cara:

• Jika Anda membangun TensorFlow pada jenis CPU yang sama dengan yang Anda gunakan untuk menjalankan TensorFlow, maka Anda harus menerima default ( -march=native). Opsi ini akan mengoptimalkan kode yang dihasilkan untuk jenis CPU mesin Anda.
• Jika Anda membangun TensorFlow pada satu jenis CPU tetapi akan menjalankan TensorFlow pada jenis CPU yang berbeda, maka pertimbangkan untuk memasok bendera pengoptimalan yang lebih spesifik seperti yang dijelaskan dalam dokumentasi gcc .

Setelah mengkonfigurasi TensorFlow seperti yang dijelaskan dalam daftar berpoin sebelumnya, Anda harus dapat membangun TensorFlow yang sepenuhnya dioptimalkan untuk CPU target hanya dengan menambahkan --config=opttanda pada perintah bazel yang Anda jalankan.

Untuk menyembunyikan peringatan itu, Anda bisa melakukan ini sebelum kode Anda yang sebenarnya.

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf