Selenium과 BeautifulSoup를 활용한 크롤링

BeautifulSoup와 Selenium을 이용하여 피파 온라인의 데이터 센터에서 5월부터 10월까지의 포지션별 선수의 이용자 수 데이터를 크롤링 한 후, 피파 온라인의 포지션별 선수의 선호도를 확인할 것이다. 정적 크롤링만으로 해당 사이트의 데이터를 다 불러올 수 없기 때문에 정적 크롤링을 수행하는 BeautifulSoup와 동적 크롤링을 수행하는 Selenium을 함께 활용하여 크롤링을 수행하였다. 수행 과정은 다음과 같다.

 

1. 데이터 수집 과정

2. 크롤링

3. 시각화

 

1. 데이터 수집 과정

 

포지션별 선수의 이용자 수를 얻기 위해서는 피파 온라인의 데이터 센터(fifaonline4.nexon.com/datacenter/dailysquad)에 접속한 후, 다음 과정을 통해 수행하여야 한다.

 

(1) 날짜 선택

 

 

▷ 빨간 점선 테두리 부분을 선택하여 날짜를 지정할 수 있다.

 

 

▷ 날짜를 변경할 경우, 위의 그림과 같이 빨간 점선 테두리 부분 URL이 바뀌는데, strDate에 할당된 날짜를 바꾸어 날짜별 데이터를 수집할 것이다.

 

(2) 포지션 선택

 

 

▷ 빨간 점선 테두리 부분에 해당된 탭을 선택하여, 포지션별 선수의 정보 및 이용자 수에 대한 데이터를 얻을 수 있다.

 

데이터 수집 프로세스를 요약하면, 날짜를 선택하고, 포지션을 선택한 뒤, 선수의 데이터를 얻을 수 있다. 이때, 포지션 탭을 선택할 시, URL은 바뀌지 않고, 자체적으로 사이트가 나타내는 데이터가 바뀌게 된다. 따라서 포지션별 선수의 데이터를 얻기 위해서는 동적 크롤링이 필수적이다.

 

2. 데이터 수집

 

In:

import pandas as pd
import time
import datetime
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

 

▷ 라이브러리로 크롤링 결과를 데이터프레임으로 출력하기 위한 pandas, 시간 타입의 데이터를 다루기 위한 time과 datetime, 정적 크롤링을 수행하기 위한 bs4, 동적 크롤링을 수행하기 위해 selenium을 사용하였다.

 

In:

def get_player_pref(bs, date):
    sel_bs = bs.select('#divBestUsePositionPlayer')
    player_pref = sel_bs[0].select('div.item_list.swiper-slide')
    
    name, rank, overall, position,  price, pay, num_user, season = list(), list(), list(), list(), list(), list(), list(), list()
    
    order = 1
    
    for p in player_pref:
        rank.append(order)
        name.append(p.find('span', {'class', 'name'}).text)
        overall.append(p.find('span', {'class', 'ovr'}).text)
        position.append(p.find('span', {'class', 'position'}).text.strip())
        price.append(p.find('span', {'class', 'price span_bp1'}).text)
        pay.append(p.find('span', {'class', 'pay'}).text)
        num_user.append(p.find('p', {'class', 'txt'}).text)
    
        temp = str(p.select('span.icon')[0].img)
        temp = temp.replace('<img src="http://s.nx.com/s2/game/fo4/obt/externalAssets/season/', '')
        temp = temp.replace('.png"/>', '')
        season.append(temp)
    
        order += 1
    
    tap = bs.select_one('#middle > div > div > div.daily > div.position_pl.daily_wrap > div.position_pl__cont.content_wrap > div.position_tab > div.tab_item.active > a').text
    tap = [tap for _ in range(len(name))]
    
    date = [date for _ in range(len(name))]
    
    df_player_pref = pd.DataFrame(tap, columns = ['tap'])
    df_player_pref['date'] = date; df_player_pref['name'] = name; df_player_pref['rank'] = rank; df_player_pref['overall'] = overall; df_player_pref['position'] = position; df_player_pref['price'] = price; df_player_pref['pay'] = pay; df_player_pref['num_user'] = num_user; df_player_pref['season'] = season
    
    return df_player_pref

 

▷ get_player_pref 함수의 첫 번째 인자는 URL의 내용을 불러오고, 두 번째 인자는 해당 URL의 날짜를 의미한다. 해당 날짜에 대한 URL 정보를 받아와, 특정 포지션의 선수 데이터를 정적 크롤링을 수행하여 얻은 뒤, 이를 데이터프레임으로 변환 후, 출력한다.

 

In:

firefox_driver = r'C:/firefoxdriver/geckodriver.exe'
driver = webdriver.Firefox(executable_path = firefox_driver)

col = ['tap', 'date', 'name', 'rank', 'overall', 'position', 'price', 'pay', 'num_user', 'season']
df_player_pref = pd.DataFrame(columns = col)

time_unit = datetime.timedelta(days = 1)

end_date = datetime.date.today()
start_date = datetime.datetime.strptime('2020-05-20', '%Y-%m-%d').date()

for i in range((end_date-start_date).days):
    str_date = str(start_date+i*time_unit)
    str_date = str_date.replace('-', '.')
    
    url = 'http://fifaonline4.nexon.com/datacenter/dailysquad?strDate={}'.format(str_date)
    driver.get(url)
    
    time.sleep(5)
    
    for j in range(1, 17):
        pos_xpath = '//*[@id="middle"]/div/div/div[3]/div[7]/div[2]/div[1]/div[{}]/a'.format(j)
        
        wait = WebDriverWait(driver, 100)
        element = wait.until(EC.presence_of_element_located((By.XPATH, pos_xpath)))
        
        pos_tab = element.find_element_by_xpath(pos_xpath)
        
        wait = WebDriverWait(driver, 100)
        element = wait.until(EC.element_to_be_clickable((By.XPATH, pos_xpath)))
        
        driver.execute_script('arguments[0].click();', element)
        
        time.sleep(2.5)
        
        html = driver.page_source
        bs = BeautifulSoup(html, 'lxml')
        df_player_pref = pd.concat([df_player_pref, get_player_pref(bs, str_date)])

 

▷ 동적 크롤링에 사용되는 브라우저로 Firefox를 선택하였는데, 이는 Chrome보다 에러가 덜 발생하기 때문이다. Chrome 드라이버는 특정 요소를 선택할 때, 항상 요소의 가운데만 선택하기 때문에 기대치 못한 요소의 위치에 따라 에러가 발생할 가능성이 높기 때문이다.

 

▷ 크롤링을 수행할 때, time.sleep 함수를 이용하여 시간적인 여유를 주었다. 첫 번째 이유는 변경된 페이로부터 데이터를 로딩하는데 어느 정도 시간이 걸리기 때문이다. 두 번째 이유는 시간적인 여유를 주지 않는다면 서버에서 DDoS 공격으로 간주하고, 접속을 막기 때문이다.

 

▷ WebDriverWair 함수는 크롤링 작업을 수행할 때, 해당 작업이 진행될 수 있도록 사전 준비가 될 때까지 기다려주는 역할을 한다. 첫 번째 인자는 작업을 수행하는 드라이버, 두 번째 인자는 해당 작업이 수행되지 않았을 때, 기다릴 수 있는 시간을 의미한다. util 함수의 인자로 어떤 작업의 수행을 기다릴 것인지에 대한 정보를 알려주어야 한다.

 

▷ 포지션 탭을 클릭하는 작업을 수행하기 위해 execute_script 함수를 사용하였다. 이 함수의 첫 번째 인자는 수행하고 자하는 동적 이벤트에 대한 정보를, 두 번째 인자는 드라이버를 의미한다.

 

▷ page_source 함수를 통해 동적 이벤트를 수행한 후의 페이지를 얻을 수 있다. 이 결과를 BeautifulSoup 함수를 이용하여 페이지의 내용을 얻은 뒤, get_player_pref 함수에 인자로 주어, 특정 포지션의 선수 데이터를 데이터프레임으로 얻는다. 얻은 데이터프레임을 concat 함수를 이용하여 df_player_pref 변수에 데이터를 축적하게 된다.

 

▷ 이중 for 문의 첫 번째 for 문에서는 날짜를 선택하고, 두 번째 for 문에서는 포지션을 선택하여, 5월 20일부터 현재까지의 모든 포지션의 선수 데이터를 얻을 수 있다.

 

In:

df_player_pref.to_csv('../input/player_preference.csv', encoding = 'utf-8-sig')

 

▷ 크롤링 작업이 끝난 후, 완성된 데이터프레임을 csv 형태로 저장한다.

 

전처리를 수행한 후의 완성된 데이터프레임은 다음과 같다.

 

 

4. 시각화

 

약 5개월동안 유저의 선수별 이용자 수 데이터를 활용하여, 포지션별 선수의 선호도를 시각화하여 보자. 시각화는 R을 이용하여 수행하였다.

 

In:

#####################
# Library & Setting #
#####################

library(readr)
library(ggplot2)
library(scales)
library(dplyr)
library(forcats)
library(stringr)
library(tidytext)
library(showtext)

font_add_google('Nanum Gothic', 'Gothic')
showtext_auto()

theme_set(theme_minimal() + 
            theme(plot.title = element_text(face = 'bold', colour = 'grey10'), 
                  plot.subtitle = element_text(colour = 'grey25'), 
                  panel.grid.major = element_line(colour = 'grey90', size = 1), 
                  panel.grid.minor = element_line(colour = 'grey80', size = 0.5, linetype = 'dashed'), 
                  legend.position = 'top', 
                  legend.spacing.x = unit(0.125, 'cm'), 
                  legend.background = element_rect(fill = NULL, linetype = 'dotted'), 
                  strip.background = element_blank(), 
                  strip.text = element_text(face = 'bold', colour = 'grey25', size = 11.25)))

################################
# Data Loading & Preprocessing #
################################

df_player = read_csv('C:/Users/user/Desktop/Project/Player_Preference_Analysis/Data/player_preference.csv') %>% 
  select(-X1)

df_player$price = gsub(',', '', df_player$price)
df_player$price = gsub(' ', '', df_player$price)
df_player$price = as.numeric(gsub('BP', '', df_player$price))

df_player$num_user = gsub(',', '', df_player$num_user)

df_player$num_user = lapply(str_extract_all(df_player$num_user, '[0-9]+'), function(x) x[1]) %>% 
  unlist() %>% 
  as.numeric()

df_player$date = as.Date(df_player$date, '%Y.%m.%d')

#######
# EDA #
#######

# player preference

df_temp = df_player %>% 
  group_by(tap, name, season) %>% 
  summarise(total_num_user = sum(num_user)) %>% 
  arrange(tap, -total_num_user)

length(unique(df_player$position))

FWD = c('CF', 'LW', 'RW', 'ST')
MID = c('CAM', 'CDM', 'CM', 'LM', 'RM')
DEF = c('CB', 'LB', 'LWB', 'RB', 'RWB')

df_temp$position = ifelse(df_temp$tap %in% FWD, 'FWD', 
                          ifelse(df_temp$tap %in% MID, 'MID', 
                                 ifelse(df_temp$tap %in% DEF, 'DEF', 
                                        ifelse(df_temp$tap %in% 'GK', 'GK', 'Total'))))

df_temp$rank = 0

tap = unique(df_temp$tap)

for (i in tap) {
  df_temp[df_temp$tap == i, 'rank'] = rank(-df_temp$total_num_user[df_temp$tap == i])
}

df_temp$season_name = paste(df_temp$name, '/', df_temp$season)

df_temp %>% 
  filter(rank <= 10, position == 'FWD') %>% 
  mutate(season_name = reorder_within(season_name, total_num_user, tap)) %>% 
  ggplot(aes(fct_reorder(season_name, total_num_user), total_num_user)) + 
  geom_bar(stat = 'identity', colour = 'red', fill = 'red', alpha = 0.5, size = 1) + 
  scale_y_continuous(label = comma) + 
  facet_wrap(~ tap, scales = 'free') + 
  coord_flip() + 
  scale_x_reordered() + 
  labs(x = NULL, y = 'Num. of Users')

df_temp %>% 
  filter(rank <= 10, position == 'MID') %>% 
  mutate(season_name = reorder_within(season_name, total_num_user, tap)) %>% 
  ggplot(aes(fct_reorder(season_name, total_num_user), total_num_user)) + 
  geom_bar(stat = 'identity', colour = 'green', fill = 'green', alpha = 0.5, size = 1) + 
  scale_y_continuous(label = comma) + 
  facet_wrap(~ tap, scales = 'free') + 
  coord_flip() + 
  scale_x_reordered() + 
  labs(x = NULL, y = 'Num. of Users') + 
  theme(axis.text.x = element_text(angle = 45, hjust = 1))

df_temp %>% 
  filter(rank <= 10, position == 'DEF') %>% 
  mutate(season_name = reorder_within(season_name, total_num_user, tap)) %>% 
  ggplot(aes(fct_reorder(season_name, total_num_user), total_num_user)) + 
  geom_bar(stat = 'identity', colour = 'blue', fill = 'blue', alpha = 0.5, size = 1) + 
  scale_y_continuous(label = comma) + 
  facet_wrap(~ tap, scales = 'free') + 
  coord_flip() + 
  scale_x_reordered() + 
  labs(x = NULL, y = 'Num. of Users') + 
  theme(axis.text.x = element_text(angle = 45, hjust = 1))

df_temp %>% 
  filter(rank <= 10, position == 'GK') %>% 
  ggplot(aes(fct_reorder(season_name, total_num_user), total_num_user)) + 
  geom_bar(stat = 'identity', colour = 'black', fill = 'black', alpha = 0.5, size = 1) + 
  scale_y_continuous(label = comma) + 
  facet_wrap(~ tap, scales = 'free') + 
  coord_flip() + 
  scale_x_reordered() + 
  labs(x = NULL, y = 'Num. of Users')

df_temp %>% 
  filter(rank <= 10, position == 'Total') %>% 
  ungroup() %>% 
  mutate(tap = 'Total') %>% 
  mutate(season_name = reorder_within(season_name, total_num_user, tap)) %>% 
  ggplot(aes(fct_reorder(season_name, total_num_user), total_num_user)) + 
  geom_bar(stat = 'identity', colour = 'grey', fill = 'grey', alpha = 0.5, size = 1) + 
  scale_y_continuous(label = comma) + 
  facet_wrap(~ tap, scales = 'free') + 
  coord_flip() + 
  scale_x_reordered() + 
  labs(x = NULL, y = 'Num. of Users')

 

Out:

 

▷ 유저의 수는 각 선수별 유저 수의 총 합을 의미한다.

 

▷ 손흥민 선수가 CF, LW, RW, LM, RM에서 상위권에 위치한 것을 알 수 있다. 즉, FIFA 온라인에서 "월드 클래스"로 분류할 수 있을 것이다. 함부르크 시절부터 모든 골을 지켜본 팬으로서 몹시 흐뭇한 결과가 아닐 수 없다.

 

유저들이 선호하는 시즌을 알아보자.

 

In:

df_player %>% 
  filter(tap != '전체') %>% 
  group_by(season) %>% 
  summarise(total_num_user = sum(num_user)) %>% 
  arrange(-total_num_user) %>% 
  ggplot(aes(reorder(season, total_num_user), total_num_user)) + 
  geom_bar(stat = 'identity', colour = 'steelblue', fill = 'steelblue', alpha = 0.5, size = 1) + 
  scale_y_continuous(label = comma) + 
  coord_flip() + 
  labs(x = NULL, y = 'Num. of Users')

 

Out:

 

▷ 유저의 수는 각 시즌의 선수를 사용하는 유저의 수 총 합을 의미한다.

 

포지션별 유저의 선수 가치를 알아보자.

 

In:

df_player %>% 
  filter(tap != '전체') %>% 
  mutate(all_price = price*num_user, 
         position_cat = if_else(tap %in% FWD, 'FWD', 
                               if_else(tap %in% MID, 'MID', 
                                      if_else(tap %in% DEF, 'DEF', 'GK')))) %>% 
  group_by(tap, position_cat) %>% 
  summarise(total_price = sum(all_price), 
            total_num_user = sum(num_user)) %>% 
  mutate(mean_price = total_price/total_num_user) %>% 
  ggplot(aes(reorder(tap, mean_price), mean_price)) + 
  geom_bar(stat = 'identity', aes(colour = position_cat, fill = position_cat), alpha = 0.5, size = 1) + 
  scale_y_continuous(label = comma) + 
  scale_colour_manual(values = c('blue', 'red', 'black', 'green')) + 
  scale_fill_manual(values = c('blue', 'red', 'black', 'green')) + 
  labs(x = NULL, y = 'Price', fill = NULL, colour = NULL) + 
  coord_flip() + 
  theme(axis.text.x = element_text(angle = 45, hjust = 1))

 

Out:

 

▷ 위의 가격은 한 명의 유저가 각 포지션에 사용하는 금액의 평균을 의미한다.

 

▷ 예상대로 포워드, 미드필더, 수비수, 골키퍼 순으로 가치가 높은 것을 확인할 수 있다. 특히 골을 가장 많이 넣는 ST, CF의 가치가 압도적으로 높은 것을 알 수 있다.