Turunkan tingkat faktor dalam bingkai data yang disubsidi

Saya memiliki bingkai data yang mengandung a factor. Saat saya membuat subset dari subsetkerangka data ini menggunakan atau fungsi pengindeksan lainnya, bingkai data baru dibuat. Namun, factorvariabel mempertahankan semua level aslinya, bahkan ketika / jika mereka tidak ada dalam kerangka data baru.

Ini menyebabkan masalah ketika melakukan faceted plotting atau menggunakan fungsi yang bergantung pada tingkat faktor.

Apa cara paling ringkas untuk menghapus level dari faktor dalam kerangka data baru?

Ini sebuah contoh:

df <- data.frame(letters=letters[1:5],
                    numbers=seq(1:5))

levels(df$letters)
## [1] "a" "b" "c" "d" "e"

subdf <- subset(df, numbers <= 3)
##   letters numbers
## 1       a       1
## 2       b       2
## 3       c       3    

# all levels are still there!
levels(subdf$letters)
## [1] "a" "b" "c" "d" "e"

Yang harus Anda lakukan adalah menerapkan faktor () ke variabel Anda lagi setelah berlangganan:

> subdf$letters
[1] a b c
Levels: a b c d e
subdf$letters <- factor(subdf$letters)
> subdf$letters
[1] a b c
Levels: a b c

EDIT

Dari contoh halaman faktor:

factor(ff)      # drops the levels that do not occur

Untuk menjatuhkan level dari semua kolom faktor dalam kerangka data, Anda dapat menggunakan:

subdf <- subset(df, numbers <= 3)
subdf[] <- lapply(subdf, function(x) if(is.factor(x)) factor(x) else x)

Sejak R versi 2.12, ada droplevels()fungsi.

levels(droplevels(subdf$letters))

Jika Anda tidak menginginkan perilaku ini, jangan gunakan faktor, gunakan vektor karakter. Saya pikir ini lebih masuk akal daripada memperbaiki keadaan setelahnya. Coba yang berikut ini sebelum memuat data Anda dengan read.tableatau read.csv:

options(stringsAsFactors = FALSE)

Kerugiannya adalah Anda terbatas pada pemesanan berdasarkan abjad. (menyusun ulang adalah teman Anda untuk plot)

Ini adalah masalah yang diketahui, dan satu kemungkinan obat disediakan oleh drop.levels()dalam paket gdata di mana contoh Anda menjadi

> drop.levels(subdf)
  letters numbers
1       a       1
2       b       2
3       c       3
> levels(drop.levels(subdf)$letters)
[1] "a" "b" "c"

Ada juga dropUnusedLevelsfungsi dalam paket Hmisc . Namun, ini hanya berfungsi dengan mengubah operator subset [dan tidak berlaku di sini.

Sebagai akibat wajar, pendekatan langsung berdasarkan per kolom adalah sederhana as.factor(as.character(data)):

> levels(subdf$letters)
[1] "a" "b" "c" "d" "e"
> subdf$letters <- as.factor(as.character(subdf$letters))
> levels(subdf$letters)
[1] "a" "b" "c"

Cara lain melakukan hal yang sama tetapi dengan dplyr

library(dplyr)
subdf <- df %>% filter(numbers <= 3) %>% droplevels()
str(subdf)

Edit:

Juga Berhasil! Berkat agenis

subdf <- df %>% filter(numbers <= 3) %>% droplevels
levels(subdf$letters)

Demi kelengkapan, sekarang ada juga fct_dropdi forcatspaket http://forcats.tidyverse.org/reference/fct_drop.html .

Ini berbeda dari droplevelscara berurusan NA:

f <- factor(c("a", "b", NA), exclude = NULL)

droplevels(f)
# [1] a    b    <NA>
# Levels: a b <NA>

forcats::fct_drop(f)
# [1] a    b    <NA>
# Levels: a b

Inilah cara lain, yang saya percaya setara dengan factor(..)pendekatan:

> df <- data.frame(let=letters[1:5], num=1:5)
> subdf <- df[df$num <= 3, ]

> subdf$let <- subdf$let[ , drop=TRUE]

> levels(subdf$let)
[1] "a" "b" "c"

Ini menjengkelkan. Inilah yang biasanya saya lakukan, untuk menghindari memuat paket lain:

levels(subdf$letters)<-c("a","b","c",NA,NA)

yang membuat Anda:

> subdf$letters
[1] a b c
Levels: a b c

Perhatikan bahwa level baru akan menggantikan apa pun yang menempati indeks mereka di level lama (subdf $ letters), jadi kira-kira seperti:

levels(subdf$letters)<-c(NA,"a","c",NA,"b")

tidak akan bekerja

Ini jelas tidak ideal ketika Anda memiliki banyak level, tetapi untuk beberapa level, ini cepat dan mudah.

Melihat kodedroplevels metode dalam sumber R Anda dapat melihatnya membungkus factorberfungsi. Itu berarti Anda pada dasarnya dapat membuat ulang kolom dengan factorfungsi.
Di bawah data.tabel cara untuk menjatuhkan level dari semua kolom faktor.

library(data.table)
dt = data.table(letters=factor(letters[1:5]), numbers=seq(1:5))
levels(dt$letters)
#[1] "a" "b" "c" "d" "e"
subdt = dt[numbers <= 3]
levels(subdt$letters)
#[1] "a" "b" "c" "d" "e"

upd.cols = sapply(subdt, is.factor)
subdt[, names(subdt)[upd.cols] := lapply(.SD, factor), .SDcols = upd.cols]
levels(subdt$letters)
#[1] "a" "b" "c"

di sini adalah cara untuk melakukan itu

varFactor <- factor(letters[1:15])
varFactor <- varFactor[1:5]
varFactor <- varFactor[drop=T]

Saya menulis fungsi utilitas untuk melakukan ini. Sekarang saya tahu tentang drop.levels gdata, itu terlihat sangat mirip. Inilah mereka (dari sini ):

present_levels <- function(x) intersect(levels(x), x)

trim_levels <- function(...) UseMethod("trim_levels")

trim_levels.factor <- function(x)  factor(x, levels=present_levels(x))

trim_levels.data.frame <- function(x) {
  for (n in names(x))
    if (is.factor(x[,n]))
      x[,n] = trim_levels(x[,n])
  x
}

Utas yang sangat menarik, saya terutama menyukai ide untuk hanya faktor subseleksi lagi. Saya memiliki masalah yang sama sebelumnya dan saya hanya mengubah karakter dan kemudian kembali ke faktor.

   df <- data.frame(letters=letters[1:5],numbers=seq(1:5))
   levels(df$letters)
   ## [1] "a" "b" "c" "d" "e"
   subdf <- df[df$numbers <= 3]
   subdf$letters<-factor(as.character(subdf$letters))

Sayangnya faktor () tampaknya tidak berfungsi ketika menggunakan rxDataStep dari RevoScaleR. Saya melakukannya dalam dua langkah: 1) Konversi ke karakter dan simpan dalam bingkai data eksternal sementara (.xdf). 2) Konversi kembali ke faktor dan simpan dalam bingkai data eksternal yang pasti. Ini menghilangkan tingkat faktor yang tidak digunakan, tanpa memuat semua data ke dalam memori.

# Step 1) Converts to character, in temporary xdf file:
rxDataStep(inData = "input.xdf", outFile = "temp.xdf", transforms = list(VAR_X = as.character(VAR_X)), overwrite = T)
# Step 2) Converts back to factor:
rxDataStep(inData = "temp.xdf", outFile = "output.xdf", transforms = list(VAR_X = as.factor(VAR_X)), overwrite = T)

Telah mencoba sebagian besar contoh di sini jika tidak semua tetapi tidak ada yang tampaknya berfungsi dalam kasus saya. Setelah berjuang cukup lama saya mencoba menggunakan as.character () pada kolom faktor untuk mengubahnya menjadi col dengan string yang sepertinya berfungsi dengan baik.

Tidak yakin untuk masalah kinerja.