본문 바로가기

Programming/Python

(3)

Selenium과 BeautifulSoup를 활용한 크롤링 BeautifulSoup와 Selenium을 이용하여 피파 온라인의 데이터 센터에서 5월부터 10월까지의 포지션별 선수의 이용자 수 데이터를 크롤링 한 후, 피파 온라인의 포지션별 선수의 선호도를 확인할 것이다. 정적 크롤링만으로 해당 사이트의 데이터를 다 불러올 수 없기 때문에 정적 크롤링을 수행하는 BeautifulSoup와 동적 크롤링을 수행하는 Selenium을 함께 활용하여 크롤링을 수행하였다. 수행 과정은 다음과 같다. 1. 데이터 수집 과정 2. 크롤링 3. 시각화 1. 데이터 수집 과정 포지션별 선수의 이용자 수를 얻기 위해서는 피파 온라인의 데이터 센터(fifaonline4.nexon.com/datacenter/dailysquad)에 접속한 후, 다음 과정을 통해 수행하여야 한다. (1)..

BeautifulSoup를 활용한 크롤링 □ 크롤링의 순서 (1) 원하는 페이지의 HTML 데이터를 받기 (2) HTML을 분석(파싱) 가능한 형태로 가공 (3) 원하는 데이터를 추출 In: import urllib.request # 웹페이지 접속 req = urllib.request.Request('https://naver.com') # 웹서버를 Request하기 위한 객체 생성 res = urllib.request.urlopen(req) # Reqeust한 객체에 대한 urlopen 함수의 수행결과를 변수에 저장 html_byte = res.read() # read 함수를 통해 바이트 형태로 저장 html_str = html_byte.decode('UTF8') # 문자열로 사용하기 위해 UTF-8로 디코딩 수행 html_splt = html..

클래스(Class)의 인자 및 메소드(Method) 파이썬의 자료 구조인 클래스(Class)의 인자 및 메소드(Method) 대해 알아볼 것이다. 다룰 내용으로는 다음과 같다. 1. self 인자 2. __init__() 메소드 3. super() 메소드 1. self 인자 In: class test_class: def test_fun_1(): print('Function 1') def test_fun_2(self): print('Function 2') t_c = test_class() t_c.test_fun_1() Out: --------------------------------------------------------------------------- TypeError Traceback (most recent call last) in 1 t_c =..

이전 1 다음

티스토리툴바