Python: cara tercepat untuk membuat daftar n daftar

Jadi saya bertanya-tanya bagaimana cara terbaik membuat daftar daftar kosong:

[[],[],[]...]

Karena cara Python bekerja dengan daftar di memori, ini tidak berfungsi:

[[]]*n

Ini memang membuat [[],[],...]tetapi setiap elemen adalah daftar yang sama:

d = [[]]*n
d[0].append(1)
#[[1],[1],...]

Sesuatu seperti pemahaman daftar berfungsi:

d = [[] for x in xrange(0,n)]

Tapi ini menggunakan VM Python untuk perulangan. Apakah ada cara untuk menggunakan loop tersirat (memanfaatkannya karena ditulis dalam C)?

d = []
map(lambda n: d.append([]),xrange(0,10))

Ini sebenarnya lebih lambat. :(

Mungkin satu-satunya cara yang sedikit lebih cepat dari

d = [[] for x in xrange(n)]

adalah

from itertools import repeat
d = [[] for i in repeat(None, n)]

Itu tidak harus membuat intobjek baru di setiap iterasi dan sekitar 15% lebih cepat di mesin saya.

Edit : Dengan NumPy, Anda dapat menghindari loop Python menggunakan

d = numpy.empty((n, 0)).tolist()

tetapi ini sebenarnya 2,5 kali lebih lambat daripada pemahaman daftar.

Daftar comprehensions sebenarnya dilaksanakan lebih efisien daripada looping eksplisit (lihat yang diskeluaran misalnya fungsi ) dan mapcara memiliki untuk memohon sebuah objek callable ophaque pada setiap iterasi, yang menimbulkan biaya overhead overhead yang cukup.

Apapun, [[] for _dummy in xrange(n)]adalah cara yang tepat untuk melakukannya dan tidak ada yang kecil (jika ada sama sekali) perbedaan kecepatan antara berbagai cara lainnya harus peduli. Kecuali tentu saja Anda menghabiskan sebagian besar waktu Anda melakukan ini - tetapi dalam kasus itu, Anda harus mengerjakan algoritme Anda sebagai gantinya. Seberapa sering Anda membuat daftar ini?

Berikut dua metode, yang satu manis dan sederhana (dan konseptual), yang lain lebih formal dan dapat diperluas dalam berbagai situasi, setelah membaca kumpulan data.

Metode 1: Konseptual

X2=[]
X1=[1,2,3]
X2.append(X1)
X3=[4,5,6]
X2.append(X3)
X2 thus has [[1,2,3],[4,5,6]] ie a list of lists. 

Metode 2: Formal dan dapat diperluas

Cara elegan lain untuk menyimpan daftar sebagai daftar daftar nomor yang berbeda - yang dibaca dari sebuah file. (File di sini memiliki rangkaian dataset) Train adalah kumpulan data dengan katakanlah 50 baris dan 20 kolom. yaitu. Train [0] memberi saya baris pertama dari file csv, train [1] memberi saya baris ke-2 dan seterusnya. Saya tertarik untuk memisahkan dataset dengan 50 baris sebagai satu daftar, kecuali kolom 0, yang merupakan variabel yang saya jelaskan di sini, jadi harus dihapus dari dataset orignal train, dan kemudian menskalakan daftar demi daftar- yaitu daftar daftar . Inilah kode yang melakukan itu.

Perhatikan bahwa saya membaca dari "1" di loop dalam karena saya hanya tertarik pada variabel penjelas. Dan saya menginisialisasi ulang X1 = [] di loop lain, jika tidak, X2.append ([0: (len (train [0]) - 1)]) akan menulis ulang X1 berulang kali - selain itu lebih hemat memori.

X2=[]
for j in range(0,len(train)):
    X1=[]
    for k in range(1,len(train[0])):
        txt2=train[j][k]
        X1.append(txt2)
    X2.append(X1[0:(len(train[0])-1)])

Untuk membuat daftar dan daftar gunakan sintaks di bawah ini

     x = [[] for i in range(10)]

ini akan membuat daftar 1-d dan untuk memulainya masukkan nomor [[nomor] dan set panjang daftar masukkan panjang dalam kisaran (panjang)

• Untuk membuat daftar daftar gunakan sintaks di bawah ini.

    x = [[[0] for i in range(3)] for i in range(10)]

ini akan menginisialisasi daftar daftar dengan 10 * 3 dimensi dan dengan nilai 0

• Untuk mengakses / memanipulasi elemen

    x[1][5]=value

Jadi saya melakukan beberapa perbandingan kecepatan untuk mendapatkan cara tercepat. Pemahaman daftar memang sangat cepat. Satu-satunya cara untuk mendekat adalah dengan menghindari bytecode keluar selama pembuatan daftar. Upaya pertama saya adalah metode berikut, yang pada prinsipnya tampak lebih cepat:

l = [[]]
for _ in range(n): l.extend(map(list,l))

(menghasilkan daftar dengan panjang 2 ** n, tentu saja) Konstruksi ini dua kali lebih lambat dari pemahaman daftar, menurut timeit, untuk daftar pendek dan panjang (satu juta).

Upaya kedua saya adalah menggunakan starmap untuk memanggil konstruktor daftar untuk saya, Ada satu konstruksi, yang tampaknya menjalankan konstruktor daftar dengan kecepatan tinggi, tetapi masih lebih lambat, tetapi hanya dalam jumlah kecil:

from itertools import starmap
l = list(starmap(list,[()]*(1<<n)))

Cukup menarik waktu eksekusi menunjukkan bahwa itu adalah panggilan daftar terakhir yang membuat solusi starmap lambat, karena waktu eksekusinya hampir persis sama dengan kecepatan:

l = list([] for _ in range(1<<n))

Upaya ketiga saya datang ketika saya menyadari bahwa list (()) juga menghasilkan daftar, jadi saya mencoba yang benar-benar sederhana:

l = list(map(list, [()]*(1<<n)))

tapi ini lebih lambat dari panggilan starmap.

Kesimpulan: untuk maniak kecepatan: Gunakan pemahaman daftar. Hanya panggil fungsi, jika perlu. Gunakan bawaan.