Bagaimana cara menggunakan itertools.groupby ()?

Saya belum dapat menemukan penjelasan yang dapat dimengerti tentang bagaimana sebenarnya menggunakan itertools.groupby()fungsi Python . Yang saya coba lakukan adalah ini:

• Ambil daftar - dalam hal ini, anak-anak dari lxmlelemen yang diobjekkan
• Bagilah menjadi beberapa kelompok berdasarkan beberapa kriteria
• Kemudian, ulangi masing-masing kelompok ini secara terpisah.

Saya telah meninjau dokumentasi , dan contoh-contohnya , tetapi saya mengalami kesulitan mencoba menerapkannya di luar daftar angka sederhana.

Jadi, bagaimana saya menggunakan itertools.groupby()? Apakah ada teknik lain yang harus saya gunakan? Petunjuk untuk bacaan "prasyarat" yang baik juga akan dihargai.

CATATAN PENTING: Anda harus mengurutkan data Anda terlebih dahulu.

Bagian yang saya tidak dapatkan adalah bahwa dalam contoh konstruksi

groups = []
uniquekeys = []
for k, g in groupby(data, keyfunc):
   groups.append(list(g))    # Store group iterator as a list
   uniquekeys.append(k)

kadalah kunci pengelompokan saat ini, dan gmerupakan iterator yang dapat Anda gunakan untuk beralih di atas grup yang ditentukan oleh kunci pengelompokan itu. Dengan kata lain, groupbyiterator itu sendiri mengembalikan iterator.

Berikut ini contohnya, menggunakan nama variabel yang lebih jelas:

from itertools import groupby

things = [("animal", "bear"), ("animal", "duck"), ("plant", "cactus"), ("vehicle", "speed boat"), ("vehicle", "school bus")]

for key, group in groupby(things, lambda x: x[0]):
    for thing in group:
        print "A %s is a %s." % (thing[1], key)
    print " "

Ini akan memberi Anda output:

Seekor beruang adalah binatang.
Bebek adalah binatang.

Kaktus adalah tanaman.

Kapal cepat adalah kendaraan.
Bus sekolah adalah kendaraan.

Dalam contoh ini, thingsadalah daftar tuple di mana item pertama di setiap tuple adalah grup item kedua.

The groupby()Fungsi membutuhkan dua argumen: (1) data ke kelompok dan (2) fungsi untuk kelompok dengan.

Di sini, lambda x: x[0]diperintahkan groupby()untuk menggunakan item pertama di setiap tuple sebagai kunci pengelompokan.

Dalam forpernyataan di atas , groupbymengembalikan tiga pasang (kunci, grup iterator) - satu kali untuk setiap kunci unik. Anda dapat menggunakan iterator yang dikembalikan untuk beralih setiap item individu dalam grup itu.

Berikut adalah contoh yang sedikit berbeda dengan data yang sama, menggunakan pemahaman daftar:

for key, group in groupby(things, lambda x: x[0]):
    listOfThings = " and ".join([thing[1] for thing in group])
    print key + "s:  " + listOfThings + "."

Ini akan memberi Anda output:

hewan: beruang dan bebek.
tanaman: kaktus.
kendaraan: speed boat dan bus sekolah.

Contoh pada dokumen Python cukup mudah:

groups = []
uniquekeys = []
for k, g in groupby(data, keyfunc):
    groups.append(list(g))      # Store group iterator as a list
    uniquekeys.append(k)

Jadi dalam kasus Anda, data adalah daftar node, keyfunc adalah tempat logika fungsi kriteria Anda berjalan dan kemudian groupby()mengelompokkan data.

Anda harus berhati-hati untuk mengurutkan data berdasarkan kriteria sebelum Anda menelepon groupbyatau itu tidak akan berfungsi. groupbyMetode sebenarnya hanya mengulang melalui daftar dan setiap kali kunci itu berubah itu membuat grup baru.

itertools.groupby adalah alat untuk mengelompokkan item.

Dari dokumen , kami mengumpulkan lebih lanjut apa yang mungkin dilakukan:

# [k for k, g in groupby('AAAABBBCCDAABBB')] --> A B C D A B

# [list(g) for k, g in groupby('AAAABBBCCD')] --> AAAA BBB CC D

groupby objek menghasilkan pasangan-pasangan kunci-grup di mana grup tersebut adalah generator.

fitur

• A. Kelompokkan item berurutan bersama
• B. Kelompokkan semua kemunculan suatu item, dengan diberi pilihan iterable
• C. Tentukan cara mengelompokkan item dengan fungsi tombol ^*

Perbandingan

# Define a printer for comparing outputs
>>> def print_groupby(iterable, keyfunc=None):
...    for k, g in it.groupby(iterable, keyfunc):
...        print("key: '{}'--> group: {}".format(k, list(g)))

# Feature A: group consecutive occurrences
>>> print_groupby("BCAACACAADBBB")
key: 'B'--> group: ['B']
key: 'C'--> group: ['C']
key: 'A'--> group: ['A', 'A']
key: 'C'--> group: ['C']
key: 'A'--> group: ['A']
key: 'C'--> group: ['C']
key: 'A'--> group: ['A', 'A']
key: 'D'--> group: ['D']
key: 'B'--> group: ['B', 'B', 'B']

# Feature B: group all occurrences
>>> print_groupby(sorted("BCAACACAADBBB"))
key: 'A'--> group: ['A', 'A', 'A', 'A', 'A']
key: 'B'--> group: ['B', 'B', 'B', 'B']
key: 'C'--> group: ['C', 'C', 'C']
key: 'D'--> group: ['D']

# Feature C: group by a key function
>>> # keyfunc = lambda s: s.islower()                      # equivalent
>>> def keyfunc(s):
...     """Return a True if a string is lowercase, else False."""   
...     return s.islower()
>>> print_groupby(sorted("bCAaCacAADBbB"), keyfunc)
key: 'False'--> group: ['A', 'A', 'A', 'B', 'B', 'C', 'C', 'D']
key: 'True'--> group: ['a', 'a', 'b', 'b', 'c']

Penggunaan

• Anagram ( lihat buku catatan )
• Binning
• Kelompok angka ganjil dan genap
• Kelompokkan daftar berdasarkan nilai
• Hapus elemen duplikat
• Temukan indeks elemen berulang dalam array
• Membagi array menjadi potongan berukuran n
• Temukan elemen yang sesuai antara dua daftar
• Algoritma kompresi ( lihat notebook ) / Run Length Encoding
• Mengelompokkan huruf menurut panjangnya, fungsi tombol ( lihat buku catatan )
• Nilai berturut-turut di atas ambang batas ( lihat buku catatan )
• Temukan rentang angka dalam daftar atau item berkelanjutan (lihat dokumen )
• Temukan semua urutan terpanjang terkait
• Ambil urutan berurutan yang memenuhi persyaratan ( lihat posting terkait )

Catatan: Beberapa contoh terakhir berasal dari PyCon (bicara) Víctor Terrón (Spanyol) , "Kung Fu at Dawn with Itertools". Lihat juga groupbykode sumber yang ditulis dalam C.

^{* Fungsi di mana semua item dilewati dan dibandingkan, mempengaruhi hasilnya. Objek lain dengan fungsi utama meliputi sorted(), max()dan min().}

Tanggapan

# OP: Yes, you can use `groupby`, e.g. 
[do_something(list(g)) for _, g in groupby(lxml_elements, criteria_func)]

Trik neato dengan groupby adalah menjalankan pengkodean panjang dalam satu baris:

[(c,len(list(cgen))) for c,cgen in groupby(some_string)]

akan memberi Anda daftar 2-tupel di mana elemen pertama adalah char dan yang kedua adalah jumlah pengulangan.

Sunting: Perhatikan bahwa ini adalah apa yang terpisah itertools.groupbydari GROUP BYsemantik SQL : itertools tidak (dan secara umum tidak dapat) mengurutkan iterator terlebih dahulu, sehingga grup dengan "kunci" yang sama tidak digabungkan.

Contoh lain:

for key, igroup in itertools.groupby(xrange(12), lambda x: x // 5):
    print key, list(igroup)

hasil dalam

0 [0, 1, 2, 3, 4]
1 [5, 6, 7, 8, 9]
2 [10, 11]

Perhatikan bahwa igroup adalah iterator (sub-iterator sesuai dengan dokumentasi menyebutnya).

Ini berguna untuk memotong generator:

def chunker(items, chunk_size):
    '''Group items in chunks of chunk_size'''
    for _key, group in itertools.groupby(enumerate(items), lambda x: x[0] // chunk_size):
        yield (g[1] for g in group)

with open('file.txt') as fobj:
    for chunk in chunker(fobj):
        process(chunk)

Contoh lain dari groupby - ketika kunci tidak diurutkan. Dalam contoh berikut, item dalam xx dikelompokkan berdasarkan nilai dalam yy. Dalam hal ini, satu set nol adalah output pertama, diikuti oleh satu set, diikuti lagi oleh set nol.

xx = range(10)
yy = [0, 0, 0, 1, 1, 1, 0, 0, 0, 0]
for group in itertools.groupby(iter(xx), lambda x: yy[x]):
    print group[0], list(group[1])

Menghasilkan:

0 [0, 1, 2]
1 [3, 4, 5]
0 [6, 7, 8, 9]

PERINGATAN:

Daftar sintaks (groupby (...)) tidak akan berfungsi seperti yang Anda inginkan. Tampaknya untuk menghancurkan objek iterator internal, jadi gunakan

for x in list(groupby(range(10))):
    print(list(x[1]))

akan menghasilkan:

[]
[]
[]
[]
[]
[]
[]
[]
[]
[9]

Alih-alih, dari list (groupby (...)), coba [(k, list (g)) untuk k, g di groupby (...)], atau jika Anda sering menggunakan sintaks itu,

def groupbylist(*args, **kwargs):
    return [(k, list(g)) for k, g in groupby(*args, **kwargs)]

dan mendapatkan akses ke fungsi groupby sambil menghindari iterator yang sial (untuk data kecil) bersama-sama.

Saya ingin memberikan contoh lain di mana groupby tanpa sort tidak berfungsi. Diadaptasi dari contoh oleh James Sulak

from itertools import groupby

things = [("vehicle", "bear"), ("animal", "duck"), ("animal", "cactus"), ("vehicle", "speed boat"), ("vehicle", "school bus")]

for key, group in groupby(things, lambda x: x[0]):
    for thing in group:
        print "A %s is a %s." % (thing[1], key)
    print " "

output adalah

A bear is a vehicle.

A duck is a animal.
A cactus is a animal.

A speed boat is a vehicle.
A school bus is a vehicle.

ada dua kelompok dengan kendaraan, sedangkan yang bisa diharapkan hanya satu kelompok

@ CapSolo, saya mencoba contoh Anda, tetapi tidak berhasil.

from itertools import groupby 
[(c,len(list(cs))) for c,cs in groupby('Pedro Manoel')]

Keluaran:

[('P', 1), ('e', 1), ('d', 1), ('r', 1), ('o', 1), (' ', 1), ('M', 1), ('a', 1), ('n', 1), ('o', 1), ('e', 1), ('l', 1)]

Seperti yang Anda lihat, ada dua dan dua, tetapi mereka masuk ke dalam kelompok yang terpisah. Saat itulah saya menyadari Anda perlu mengurutkan daftar yang diteruskan ke fungsi groupby. Jadi, penggunaan yang benar adalah:

name = list('Pedro Manoel')
name.sort()
[(c,len(list(cs))) for c,cs in groupby(name)]

Keluaran:

[(' ', 1), ('M', 1), ('P', 1), ('a', 1), ('d', 1), ('e', 2), ('l', 1), ('n', 1), ('o', 2), ('r', 1)]

Hanya dengan mengingat, jika daftar tidak diurutkan, fungsi groupby tidak akan berfungsi !

Sortasi dan kelompokkan

from itertools import groupby

val = [{'name': 'satyajit', 'address': 'btm', 'pin': 560076}, 
       {'name': 'Mukul', 'address': 'Silk board', 'pin': 560078},
       {'name': 'Preetam', 'address': 'btm', 'pin': 560076}]


for pin, list_data in groupby(sorted(val, key=lambda k: k['pin']),lambda x: x['pin']):
...     print pin
...     for rec in list_data:
...             print rec
... 
o/p:

560076
{'name': 'satyajit', 'pin': 560076, 'address': 'btm'}
{'name': 'Preetam', 'pin': 560076, 'address': 'btm'}
560078
{'name': 'Mukul', 'pin': 560078, 'address': 'Silk board'}

Bagaimana cara menggunakan Python itertools.groupby ()?

Anda dapat menggunakan groupby untuk mengelompokkan hal-hal yang harus diulangi. Anda memberi grup dengan iterable, dan fungsi kunci opsional / callable yang digunakan untuk memeriksa item ketika mereka keluar dari iterable, dan itu mengembalikan iterator yang memberikan dua-tuple dari hasil callable kunci dan item aktual dalam iterable lain. Dari bantuan:

groupby(iterable[, keyfunc]) -> create an iterator which returns
(key, sub-iterator) grouped by each value of key(value).

Berikut adalah contoh pengelompokan dengan menggunakan coroutine untuk dikelompokkan berdasarkan suatu hitungan, ia menggunakan pemanggil kunci (dalam hal ini, coroutine.send) untuk hanya memuntahkan hitungan untuk berapa banyak iterasi dan sub-iterator elemen yang dikelompokkan:

import itertools


def grouper(iterable, n):
    def coroutine(n):
        yield # queue up coroutine
        for i in itertools.count():
            for j in range(n):
                yield i
    groups = coroutine(n)
    next(groups) # queue up coroutine

    for c, objs in itertools.groupby(iterable, groups.send):
        yield c, list(objs)
    # or instead of materializing a list of objs, just:
    # return itertools.groupby(iterable, groups.send)

list(grouper(range(10), 3))

cetakan

[(0, [0, 1, 2]), (1, [3, 4, 5]), (2, [6, 7, 8]), (3, [9])]

Salah satu contoh berguna yang saya temui mungkin membantu:

from itertools import groupby

#user input

myinput = input()

#creating empty list to store output

myoutput = []

for k,g in groupby(myinput):

    myoutput.append((len(list(g)),int(k)))

print(*myoutput)

Input sampel: 14445221

Output sampel: (1,1) (3,4) (1,5) (2,2) (1,1)

Implementasi dasar ini membantu saya memahami fungsi ini. Semoga ini membantu orang lain juga:

arr = [(1, "A"), (1, "B"), (1, "C"), (2, "D"), (2, "E"), (3, "F")]

for k,g in groupby(arr, lambda x: x[0]):
    print("--", k, "--")
    for tup in g:
        print(tup[1])  # tup[0] == k

-- 1 --
A
B
C
-- 2 --
D
E
-- 3 --
F

Anda dapat menulis fungsi groupby sendiri:

           def groupby(data):
                kv = {}
                for k,v in data:
                    if k not in kv:
                         kv[k]=[v]
                    else:
                        kv[k].append(v)
           return kv

     Run on ipython:
       In [10]: data = [('a', 1), ('b',2),('a',2)]

        In [11]: groupby(data)
        Out[11]: {'a': [1, 2], 'b': [2]}