Pemrosesan GPU yang berlebihan?

Apakah ada titik di mana menggunakan Pemrosesan GPU atau Koprosesor (seperti kartu Intel Xeon PHI atau kartu Nvidia Tesla) sebenarnya dapat mengurangi kecepatan perangkat lunak menghitung data?

Katakanlah saya memiliki sekelompok ekspansi PCI-E eksternal yang besar (seperti ini http://www.cyclone.com/products/expansion_systems/FAQ.php ), semuanya terhubung ke komputer yang sama. Karena data harus didistribusikan melalui ekspansi dan GPU dalam ekspansi tersebut, bukankah secara teoritis memperlambat laju di mana data diproses?

Hanya ingin tahu. Jika ini bukan masalahnya, mengapa?

Ada titik di mana Anda akan menjenuhkan sumber daya CPU Anda, dan GPU akan diam. Ada juga titik di mana Anda bisa kehabisan sumber daya bus. Karena ini adalah bus, ada jumlah maksimum data yang dapat ditransfer per unit waktu, yang lagi-lagi dapat menyebabkan GPU tidak digunakan.

Karena itu, menambahkan GPU tidak boleh menurunkan kinerja, tetapi gagal meningkatkannya lebih lanjut.

Berbicara secara komputasi, ada juga beberapa masalah yang mencoba melakukannya pada GPU bisa lebih lambat daripada melakukannya pada CPU. Algoritma seperti scrypt dirancang khusus untuk menggunakan jumlah ram yang tinggi untuk mencegah percepatan non-linear yang diterima oleh implementasi pada FGPA dan GPU.

GPU hanya memberikan peningkatan kecepatan ketika ada banyak operasi paralel yang terjadi. Menghitung perkalian tunggal tidak akan lebih cepat. GPU juga umumnya tidak suka percabangan (eksekusi kode kondisional).