결측치 다루는 방법

결측치 다루는 방법에 대하여 알아보자.

 

□ 결측치 확인

 

In:

library(MASS)

df_car = Cars93

df_car %>% 
  sapply(function(x) sum(is.na(x)))

 

Out:

      Manufacturer              Model               Type 
                 0                  0                  0 
         Min.Price              Price          Max.Price 
                 0                  0                  0 
          MPG.city        MPG.highway            AirBags 
                 0                  0                  0 
        DriveTrain          Cylinders         EngineSize 
                 0                  0                  0 
        Horsepower                RPM       Rev.per.mile 
                 0                  0                  0 
   Man.trans.avail Fuel.tank.capacity         Passengers 
                 0                  0                  0 
            Length          Wheelbase              Width 
                 0                  0                  0 
       Turn.circle     Rear.seat.room       Luggage.room 
                 0                  2                 11 
            Weight             Origin               Make 
                 0                  0                  0 

 

▷ MASS 패키지에 포함된 Cars93 데이터를 실험에 사용할 것이다.

 

▷ 위의 결과는 is.na 함수와 sum 함수를 이용하여, 각 열에 포함된 결측치의 수이다. Luggage.room과 Rear.seat.room만 결측치를 포함하고 있는 것으로 나타났다.

 

In:

complete.cases(df_car)

 

Out:

 [1]  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE
[11]  TRUE  TRUE  TRUE  TRUE  TRUE FALSE FALSE  TRUE FALSE  TRUE
[21]  TRUE  TRUE  TRUE  TRUE  TRUE FALSE  TRUE  TRUE  TRUE  TRUE
[31]  TRUE  TRUE  TRUE  TRUE  TRUE FALSE  TRUE  TRUE  TRUE  TRUE
[41]  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE
[51]  TRUE  TRUE  TRUE  TRUE  TRUE FALSE FALSE  TRUE  TRUE  TRUE
[61]  TRUE  TRUE  TRUE  TRUE  TRUE FALSE  TRUE  TRUE  TRUE FALSE
[71]  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE
[81]  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE FALSE  TRUE FALSE  TRUE
[91]  TRUE  TRUE  TRUE

 

▷ complete.cases 함수는 데이터프레임의 결측치가 포함되지 않은 행에는 TRUE를, 아닌 경우는 FALSE를 출력한다.

 

□ 결측치 제거

 

In:

cnt_1 = sum(complete.cases(df_car))

cnt_2 = df_car %>% 
  na.omit() %>% 
  nrow()

cnt_1 == cnt_2

 

Out:

[1] TRUE

 

▷ cnt_1 변수는 complete.cases 함수를 통해 구한 행의 개수, cnt_2 변수는 na.omit 함수를 수행한 뒤의 행의 개수이다. 위 결과에서 보다시피 이 둘은 같다. 즉, na.omit 함수는 결측치가 포함된 행을 제외시켜주는 역할을 한다.

 

□ 결측치가 포함된 벡터의 연산

 

In:

sum(df_car$Luggage.room)
sum(df_car$Luggage.room, na.rm = TRUE)

median(df_car$Luggage.room)
median(df_car$Luggage.room, na.rm = TRUE)

 

Out:

[1] NA

[1] 1139

[1] NA

[1] 14

 

▷ 결측치가 포함된 벡터를 계산할 때는 연산의 na.rm 인자를 TRUE로 주어, 계산해야 한다. 그렇지 않을 경우, NA 값이 출력된다.

 

□ 결측치 대체

 

In:

df_car_compl = sapply(df_car, function(x) ifelse(is.na(x), mean(x, na.rm = TRUE), x)) %>% 
  as.data.frame()

 

▷ 원소에 결측치가 포함될 경우, 해당 열의 평균으로 대체하기 위한 코드이다.

 

In:

group = c(rep('a', 5), rep('b', 5))
value = c(1, 2, 3, NaN, 6, 2, 4, NaN, 10, 8)
df = data.frame(group, value)

df

df %>%
  group_by(group) %>%
  mutate(value = ifelse(is.na(value), mean(value, na.rm = TRUE), value))

 

Out:

   group value
1      a     1
2      a     2
3      a     3
4      a   NaN
5      a     6
6      b     2
7      b     4
8      b   NaN
9      b    10
10     b     8

# A tibble: 10 x 2
# Groups:   group [2]
   group value
   <fct> <dbl>
 1 a         1
 2 a         2
 3 a         3
 4 a         3
 5 a         6
 6 b         2
 7 b         4
 8 b         6
 9 b        10
10 b         8

 

▷ value 열의 결측치를 해당하는 group의 평균으로 대체하기 위한 코드이다. 이때 앞의 코드와 다른 점은 연산을 수행하기 전, group_by 함수를 통해 연산하는 대상의 범위를 한정시켰다는 점이다. 만약 이 코드가 없다면 value 열의 평균으로 대체된다.