Apa cara terbaik untuk membentuk kembali / merestrukturisasi data?

Saya seorang asisten peneliti untuk laboratorium (sukarelawan). Saya dan kelompok kecil telah ditugaskan untuk analisis data untuk satu set data yang ditarik dari sebuah penelitian besar. Sayangnya, data dikumpulkan dengan semacam aplikasi online, dan tidak diprogram untuk menampilkan data dalam bentuk yang paling dapat digunakan.

Gambar-gambar di bawah menggambarkan masalah dasar. Saya diberitahu bahwa ini disebut "Membentuk Kembali" atau "Restruktur".

Pertanyaan: Apa proses terbaik untuk beralih dari Gambar 1 ke Gambar 2 dengan kumpulan data besar dengan lebih dari 10k entri?

Seperti yang saya catat dalam komentar saya , tidak ada cukup detail dalam pertanyaan untuk jawaban nyata untuk dirumuskan. Karena Anda perlu bantuan bahkan menemukan istilah yang tepat dan merumuskan pertanyaan Anda, saya dapat berbicara secara singkat secara umum.

Istilah yang Anda cari adalah pembersihan data . Ini adalah proses mengambil data mentah, tidak diformat (kotor) dan menjadikannya untuk dianalisis. Mengubah dan mengatur format ("dua" ) dan mengatur ulang baris dan kolom adalah tugas pembersihan data yang umum. $\rightarrow 2$

Dalam beberapa hal, pembersihan data dapat dilakukan dalam perangkat lunak apa pun dan dapat dilakukan dengan Excel atau dengan R. Akan ada pro dan kontra untuk kedua pilihan:

• Excel: Excel hampir pasti merupakan pilihan paling umum untuk pembersihan data (lihat R fortune # 59 pdf ). Ini juga dianggap pilihan yang buruk oleh ahli statistik. Alasan utamanya adalah sulit untuk memastikan bahwa Anda telah menangkap segalanya, atau bahwa Anda telah memperlakukan semuanya secara identik, dan tidak ada catatan tentang perubahan yang telah Anda buat, sehingga Anda tidak dapat mengunjungi kembali perubahan itu nanti. Keuntungan menggunakan Excel adalah bahwa akan lebih mudah untuk melihat apa yang Anda lakukan, dan Anda tidak perlu tahu banyak untuk melakukan perubahan. (Ahli statistik akan menganggap yang terakhir sebagai con tambahan .)

• R: R akan membutuhkan kurva belajar yang curam. Jika Anda tidak terlalu terbiasa dengan R atau pemrograman, hal-hal yang dapat dilakukan dengan cukup cepat dan mudah di Excel akan membuat Anda frustrasi untuk mencoba di R. Di sisi lain, jika Anda harus melakukan ini lagi, pembelajaran itu akan menjadi menghabiskan waktu dengan baik. Selain itu, kemampuan untuk menulis dan menyimpan kode Anda untuk membersihkan data dalam R akan meringankan kontra yang tercantum di atas. Berikut ini adalah beberapa tautan yang akan membantu Anda memulai tugas-tugas ini di R:

  Anda bisa mendapatkan banyak informasi bagus tentang Stack Overflow :

  • Bagaimana cara seseorang menyusun ulang kolom di R?
  • R: Bagaimana saya bisa menyusun ulang baris matriks, data.frame atau vektor sesuai dengan yang lain?

  Quick-R juga merupakan sumber daya yang berharga:

  • penyortiran

  Memasukkan angka ke mode numerik:

  • Ubah nomor tertulis menjadi angka dalam R
  • ? strtoi adalah fungsi khusus untuk mengkonversi dari heksidimal, dll., jika perlu

  Sumber lain yang tak ternilai untuk belajar tentang R adalah situs web bantuan statistik UCLA :

  • bekerja dengan variabel faktor (untuk "sebagian besar setuju", dll.)

  Terakhir, Anda selalu dapat menemukan banyak informasi dengan Google lama yang baik:

  • Pencarian ini: pembersihan data dalam r , menampilkan sejumlah tutorial (tidak ada yang saya kerjakan, FTR).

Pembaruan: Ini adalah masalah umum mengenai struktur dataset Anda ketika Anda memiliki beberapa pengukuran per 'unit studi' (dalam kasus Anda, seseorang). Jika Anda memiliki satu baris untuk setiap orang, data Anda dikatakan dalam bentuk 'lebar', tetapi Anda tentu akan memiliki beberapa kolom untuk variabel respons Anda, misalnya. Di sisi lain, Anda dapat memiliki hanya satu kolom untuk variabel respons Anda (tetapi sebagai hasilnya, memiliki beberapa baris per orang), dalam hal ini data Anda dikatakan dalam bentuk 'panjang'. Bergerak di antara dua format ini sering disebut 'membentuk kembali' data Anda, terutama di dunia R.

• Fungsi R standar untuk ini adalah ? Membentuk kembali . Ada panduan untuk menggunakan reshape()situs bantuan statistik UCLA.
• Banyak orang berpikir reshapesulit untuk diajak bekerja sama. Hadley Wickham telah menyumbang paket yang disebut reshape2 , yang dimaksudkan untuk menyederhanakan proses. Situs web pribadi Hadley untuk reshape2 ada di sini , ikhtisar Quick-R di sini , dan ada tutorial yang terlihat bagus di sini .
• Ada sangat banyak pertanyaan di SO tentang cara membentuk kembali data. Kebanyakan dari mereka adalah tentang pergi dari lebar ke panjang, karena itulah yang biasanya dihadapi oleh analis data. Pertanyaan Anda adalah tentang pergi dari panjang ke lebar, yang jauh lebih jarang, tetapi masih ada banyak utas tentang itu, Anda dapat melihatnya melalui pencarian ini .
• Jika hati Anda mencoba melakukan ini dengan Excel, ada utas tentang menulis makro VBA untuk Excel untuk mereplikasi fungsi membentuk kembali di sini: meleleh / membentuk kembali di Excel menggunakan VBA?

Coba ikuti menggunakan R:

> ddf
   sess_id user_id     quest  response
1        1       a       age        29
2        1       a satisfied  st_agree
3        1       a    gender      male
4        1       a     phone    iphone
5        2       a       age        29
6        2       a satisfied not_agree
7        2       a    gender    female
8        2       a     phone    iphone
9        3       b       age        29
10       3       b satisfied     agree
11       3       b    gender      male
12       3       b     phone   android
> 
> library(reshape2)
> dcast(ddf, sess_id+user_id ~ quest, value.var='response')
  sess_id user_id age gender   phone satisfied
1       1       a  29   male  iphone  st_agree
2       2       a  29 female  iphone not_agree
3       3       b  29   male android     agree

Dalam scala ini disebut operasi "meledak" dan dapat dilakukan pada dataFrame. Jika data Anda adalah rdd, Anda terlebih dahulu mengonversi ke dataFrame melalui toDFperintah dan kemudian menggunakan .explodemetode ini.