본문 바로가기

분류 전체보기

(86)

dplyr 사용법 dplyr의 대표적인 함수 select, filter, mutate, summarise, group_by, sample_n, sample_frac의 사용 방법을 이해하고 적용하여 보자. In: library(dplyr) df_iris = iris str(df_iris) Out: Sepal.Length Sepal.Width Petal.Length Petal.Width Min. :4.300 Min. :2.000 Min. :1.000 Min. :0.100 1st Qu.:5.100 1st Qu.:2.800 1st Qu.:1.600 1st Qu.:0.300 Median :5.800 Median :3.000 Median :4.350 Median :1.300 Mean :5.843 Mean :3.057 Mean :3...

결측치 다루는 방법 결측치 다루는 방법에 대하여 알아보자. □ 결측치 확인 In: library(MASS) df_car = Cars93 df_car %>% sapply(function(x) sum(is.na(x))) Out: Manufacturer Model Type 0 0 0 Min.Price Price Max.Price 0 0 0 MPG.city MPG.highway AirBags 0 0 0 DriveTrain Cylinders EngineSize 0 0 0 Horsepower RPM Rev.per.mile 0 0 0 Man.trans.avail Fuel.tank.capacity Passengers 0 0 0 Length Wheelbase Width 0 0 0 Turn.circle Rear.seat.room Luggag..

CSV 파일 읽기/쓰기 CSV 파일을 생성한 뒤, 이를 특정 경로에 쓰고 읽기를 수행하여 보자. In: df_car = mtcars df_car %>% head() Out: mpg cyl disp hp drat wt qsec vs am gear carb Mazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4 Mazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4 Datsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1 Hornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1 Hornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2 Va..

문자열 데이터 다루는 방법 R의 내장되어 있는 함수와 stringr 패키지를 활하여 문자열 데이터를 다루는 방법에 대해 알아볼 것이다. □ 문자 이어 붙이기 In: paste('Rooney', 'Song', sep = '_') paste0('Rooney', 'Song') str_c('Rooney', 'Song', sep = '_') Out: [1] "Rooney_Song" [1] "RooneySong" [1] "Rooney_Song" ▷ paste, paste0 함수는 두 문자열을 붙여주는 역할을 한다. 두 함수의 차이점은 paste0 함수는 붙일 때, 사이에 문자를 삽입하지 않고, 바로 붙인다는 것이다. paste 함수의 sep 인자를 통해 두 문자열을 붙일 때, 사이에 들어갈 문자를 지정할 수 있다. ▷ str_c 함수는 st..

시계열 데이터 다루는 방법 R의 내장되어 있는 함수와 lubridate 패키지를 활용하여 시계열 데이터를 다루는 방법에 대해 알아볼 것이다. □ 기본 함수를 활용한 시계열 데이터 다루기 In: date_form = c('%Y%m%d', '%Y.%m.%d', '%Y~%m~%d', '%Y-%m-%d') date_1 = as.Date('20201019', tryFormats = date_form) date_2 = as.Date('2020.10.19', tryFormats = date_form) date_3 = as.Date('2020~10~19', tryFormats = date_form) print(date_1) print(date_2) print(date_3) print(class(date_1)) print(class(date_2)..

tidyr 사용법 tidyr 패캐지의 대표적인 함수 gather, spread, seperate, unite의 사용 방법을 이해하고 적용하여 보자. In: library(dplyr) library(tidyr) df_iris = iris df_iris$id = 1:nrow(df_iris) df_iris = df_iris[, c(6, 1:5)] str(df_iris) Out: 'data.frame':150 obs. of 6 variables: $ id : int 1 2 3 4 5 6 7 8 9 10 ... $ Sepal.Length: num 5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ... $ Sepal.Width : num 3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ... $ ..

apply, sapply, lapply 사용법 apply, sapply, lapply 함수의 사용법을 이해하고 적용하여 보자. In: library(dplyr) df_iris = iris df_iris_num = iris %>% select(-Species) str(df_iris_num) Out: 'data.frame':150 obs. of 4 variables: $ Sepal.Length: num 5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ... $ Sepal.Width : num 3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ... $ Petal.Length: num 1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 ... $ Petal.Width : num 0.2 0.2 0.2 0..

Selenium과 BeautifulSoup를 활용한 크롤링 BeautifulSoup와 Selenium을 이용하여 피파 온라인의 데이터 센터에서 5월부터 10월까지의 포지션별 선수의 이용자 수 데이터를 크롤링 한 후, 피파 온라인의 포지션별 선수의 선호도를 확인할 것이다. 정적 크롤링만으로 해당 사이트의 데이터를 다 불러올 수 없기 때문에 정적 크롤링을 수행하는 BeautifulSoup와 동적 크롤링을 수행하는 Selenium을 함께 활용하여 크롤링을 수행하였다. 수행 과정은 다음과 같다. 1. 데이터 수집 과정 2. 크롤링 3. 시각화 1. 데이터 수집 과정 포지션별 선수의 이용자 수를 얻기 위해서는 피파 온라인의 데이터 센터(fifaonline4.nexon.com/datacenter/dailysquad)에 접속한 후, 다음 과정을 통해 수행하여야 한다. (1)..

BeautifulSoup를 활용한 크롤링 □ 크롤링의 순서 (1) 원하는 페이지의 HTML 데이터를 받기 (2) HTML을 분석(파싱) 가능한 형태로 가공 (3) 원하는 데이터를 추출 In: import urllib.request # 웹페이지 접속 req = urllib.request.Request('https://naver.com') # 웹서버를 Request하기 위한 객체 생성 res = urllib.request.urlopen(req) # Reqeust한 객체에 대한 urlopen 함수의 수행결과를 변수에 저장 html_byte = res.read() # read 함수를 통해 바이트 형태로 저장 html_str = html_byte.decode('UTF8') # 문자열로 사용하기 위해 UTF-8로 디코딩 수행 html_splt = html..

[Level 2] 가장 큰 정사각형 코딩테스트 연습 - 가장 큰 정사각형 찾기 [[0,1,1,1],[1,1,1,1],[1,1,1,1],[0,0,1,0]] 9 programmers.co.kr def solution(b): len_x = len(b) len_y = len(b[0]) for x in range(1, len_x): for y in range(1, len_y): if b[x][y] == 1: b[x][y] = min(b[x][y-1], b[x-1][y], b[x-1][y-1])+1 return(max([i for x in b for i in x])**2) ▷ 이 문제의 가장 핵심은 DP(Dyanamic Programming)을 이용하여 푸는 것이다. DP를 이용하지 않을 경우, 시간이 초과되는 문제가 발생한다. 따라서 정사각형의 모..

LSTM(Long Short-Term Memories model) 구현 파이토치를 이용하여 LSTM(Long Short-Term Memories model)을 구현할 것이다. 사용될 데이터는 아마존의 주가로 종가와 거래량을 이용하여, 일주일 뒤의 종가를 예측하는 것이 목적이다. 데이터는 여기(www.kaggle.com/camnugent/sandp500)에서 얻을 수 있다. 데이터구현 과정은 다음과 같다. 1. 데이터 전처리 2. 모델 설정 3. 모델 학습 4. 학습 결과 1. 데이터 전처리 In: import pandas as pd from numpy import array from numpy import hstack import matplotlib.pyplot as plt import torch def min_max_scaler(arr): min_arr = min(arr)..

매개효과(Mediating effect) □ 매개효과(Mediating effect) - 독립변수가 종속변수에 유의한 영향을 미칠 때, 그 사이에 매개변수를 통해 그 영향이 전달되는 경우 - X(독립변수) → M(매개변수) → Y(종속변수) □ 매개효과의 종류 (1) 부분매개 효과 (2) 완전매개 효과 □ 매개효과 검증방법 - Baron & Kenny (1986) 방법 [1단계] X → M [2단계] X → Y [3단계] X + M → Y (1) 부분매개 효과 검증 [1단계] M = a + b1*X → b1 유의 [2단계] Y = a + phi*X → phi 유의 [3단계] Y = a + b2*X + b3*M → b3, b2 유의 ▷ 위의 3단계의 각 계수의 유의 조건을 만족할 경우, 부분매개효과가 나타난다고 볼 수 있다. (2) 완전매개 효과..

이전 1 2 3 4 5 ··· 8 다음

티스토리툴바