OpenBlas cukup cepat, sehingga Anda dapat menautkannya ke LAPACK. Sudahkah Anda mencoba versi LAPACK / BLAS yang telah dikompilasi dari vendor CPU Anda? Misalnya AMD ACML (gratis) atau Intel MKL (gratis di linux untuk penggunaan non-komersial dan non-akademik)? Anda hanya perlu membongkar dan menjalankan file instal.
Menurut pendapat saya satu-satunya keuntungan menggunakan ATLAS adalah ketika Anda menggunakan CPU yang tidak biasa. Kalau tidak gunakan yang dari vendor CPU. Juga ada versi nVIDIA CUDA dan AMD OpenCL yang sangat bagus.
EDIT: ingatlah bahwa Anda selalu dapat membangun paket DEB Ubuntu dari sumber yang biasanya lebih mudah daripada mengkompilasi perangkat lunak dari sumber.