본문 바로가기

분류 전체보기

(86)

멀티태스킹(Multi-tasking), 멀티프로세싱(Multi-processing), 멀티스레딩(Multi-threading) □ 프로그램(Program): 저장소에 존재하는 코드의 뭉치로 실행상태가 아닌, 실행하기 전에 저장소에 저장된 코드이다. □ 프로세스(Process): 저장소에 존재하는 프로그램이 실행되어 CPU가 처리할 수 있게 메인 메모리에 올라온 상태이다. □ 스레드(Thread): 프로세스 안에 있는 작은 실행단위를 의미이다. 워드를 사용하는 경우로 예를 들어보자. 워드에서 글자를 입력하는 동안 자동으로 맞춤법 검사를 수행 및 파일을 주기적으로 저장한다. 이 작업들은 각각의 스레드에 의해서 이루어진다. 즉, 워드라는 큰 프로세스 하나에 여러 개의 스레드가 모여있는 것이다. 멀티태스킹(Multi-tasking) ▷ 태스크(Task)란 운영체제에서 처리하는 작업 단위를 의미하는데, 그 여러 작업 단위가 빠르게 처리되..

깁스 샘플링(Gibbs sampling) 깁스 샘플링(Gibbs sampling)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 깁스 샘플링 2. 깁스 샘플링의 예제 1. 깁스 샘플링 깁스 샘플링은 Metropolis Hastings(이하 MH) 알고리즘의 특별한 형태로, 제안 분포(Proposal distribution)를 자신의 Full conditional distribution로 두어 샘플링하는 방법이다. 이렇게 함으로써, 각 시행에서 발생하는 데이터에 대해 Acceptance probability는 1이 되는 성질을 가지게 된다. 다음의 증명을 통하여 이를 확인해보자. ▷ 제안 분포를 Full conditional posterior로 둠으로써 미세 균형 조건(Detailed balance condition)이 성립하게 된다. ..

JAGS(Just Another Gibbs Sampler) 사용법 R의 JAGS(Just Another Gibbs Sampler)의 사용법에 대해 알아볼 것이다. JAGS를 통한 데이터 생성 과정은 4단계로 나눌 수 있다. 1. Specify the model 2. Set up the model 3. Run the MCMC(Markov Chain Monte Carlo) sampler 4. Post processing 다음의 모델에 이를 단계별로 적용하여 사후분포로부터 데이터를 생성하여 보자. 1. Specify the model In: library(rjags) mod_string = " model { for (i in 1:n) { y[i] ~ dnorm(mu, 1.0/sig2) } mu ~ dt(0.0, 1.0/1.0, 1) sig2 = 1.0 } " ▷ 위의 코드와..

메트로폴리스 헤이스팅스 알고리즘(Metropolis-Hastings algorithm) Metropolis-Hastings(이하 MH) 알고리즘에 대해 알아볼 것이다. MH 알고리즘은 MCMC(Markov Chain Monte-Carlo)의 일반적인 형태로써 특정 분포로부터 정상분포로 갖는 체인을 발생시킬 수 있다. 이를 이용하여 특정 분포로부터 데이터를 생성할 수 있다. 다룰 내용으로는 다음과 같다. 1. MH 알고리즘 2. Random walk MH 알고리즘 구현 1. MH 알고리즘 MH 알고리즘은 다음과 같다. ▷ q는 제안 분포(Proposal distribution)를 의미하고, g는 우리의 목적 분포(Target distribution)에서 정규화 상수(Normalizing constant)를 제외한 부분이다. 즉, 목적 분포와 g(theta)는 비례 관계가 성립한다. ▷ 초기값..

몬테카를로 추정(Monte-carlo estimation) 문제와 예시를 통해 몬테카를로 추정(Monte-carlo estimation)에 대해 알아볼 것이다. 문제) 감마분포(alpha = 2, beta = 1/3)의 평균을 수식적인 계산과 몬테카를로 추정을 통해 구하고 결과를 비교하여라. 풀이) In: alpha = 2 beta = 1/3 m = 10^8 theta_star

그래프 표현(Graphical representation) 예시를 통해 베이지안 모델을 나타내기 위한 그래프 표현(Graphical representation) 방법에 대해 알아볼 것이다. 예시 1) 가능도 함수가 정규분포를 따르고, 정규분포의 두 모수가 위와 같이 사전분포를 따를 때, 이를 그래프로 표현해보자. ▷ 동그라미는 노드(Node)라고 부른다. 노드는 확률변수(Random variable)를 의미한다. 사전분포를 가지고 있는 mu와 sigma^2를 노드로 정하였다. ▷ 위의 그림에서 mu와 sigma^2 밑에 y1, y2, ... , yn도 확률변수이지만, 관측할 수 있기 때문에 이중 동그라미로 나타내었다. ▷ 각 노드별 종속(Dependence) 관계를 나타내기 화살표(Arrow)를 이용하였다. 화살이 가리키는 노드는 화살이 나오는 노드로부터 종속되..

컴파일러(Compiler)와 인터프리터(Interpreter) 컴파일러(Compiler) ▷ 고급언어로 작성된 프로그램이 컴퓨터에서 수행되기 위해서는 컴퓨터가 이해할 수 있는 기계어로 바꾸어 주어야 한다. 이러한 일을 수행하는 프로그램을 컴파일러라고 한다. ▷ 번역과 실행을 거쳐야 하기 때문에 시간이 오래 걸리지만, 번역한 이후에는 추가적인 번역 과정이 필요 없으므로 실행속도가 빠르다. ▷ 문법이 틀리면 컴파일 하는 과정에서 에러가 발생하게 될고, 이를 컴파일 에러라고 한다. 프로그램 단위로 변환되기 때문에 컴파일 에러가 발생하면 실행이 불가능하다. 인터프리터(Interpreter) ▷ 고급언어로 작성된 프로그램을 문장 단위로 기계어로 해석하여 실행하는 프로그램을 인터프리터라고 한다. ▷ 문장 단위로 실행되기 때문에 프로그램의 변화에 빠르게 반응할 수 있고, 에러가..

통계 모델링 과정(Statistical modeling process) 데이터 분석 또는 문제 해결을 위한 통계 모델링 과정(Statistical modeling process)에 대해 알아볼 것이다. 단계는 8개로 나눌 수 있고, 아래와 같다. 1. Understand the problem 2. Plan and collect data 3. Explore data 4. Postulate model 5. Fit model 6. Check model 7. Iterate 8. Use model 각 단계에 대해 자세히 알아보자. 1. Understand the problem 가장 먼저 해야하는 것은 문제를 이해하는 것이다. 당연하기 때문에 간과하기 쉬운데, 이는 매우 중요하다. 예를 들어, 프랜차이즈의 수익 데이터를 각 지역에서 얻었다고 가정하자. 수익의 평균을 통해 프랜차이즈 사..

통계 모델(Statistical model) 통계 모델(Statistical model)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 통계 모델의 정의 2. 통계 모델의 목적 1. 통계 모델의 정의 통계 모델이란 데이터 생성 구조(Data generating process)를 모방(Imitation) 또는 근사(Approximation)하기 위한 수학적 구조(Mathematical structure)를 말한다. 일반적으로 통계 모델은 변수간의 관계를 나타내며, 데이터의 불확실성(Uncertainty)과 변동성(Variability)를 설명한다. 통계 모델은 인과관계 또는 노이즈 데이터로부터 은닉 변수(Hidden variable)를 파악하는데 도움을 줄 수 있다. 2. 통계 모델의 목적 통계 모델의 목적은 크게 4가지로 나눌 수 있다. ..

합성곱 신경망(Convolutional Neural Network) 구현 MNIST 데이터의 손글씨로 적힌 숫자 이미지를 분류하는 다중 분류(Multiclass classification) 문제를 다룰 것이다. 앞의 포스팅 "[Model] 01. 인공신경망(Artificial Neural Network) 구현"과 중복되는 내용에 대해 다루지 않을 것이다. 필요하면 다음 링크를 통해 참고하도록 하자. [Model] 01. 인공신경망(Artificial Neural Network) 구현 MNIST 데이터의 손글씨로 적힌 숫자 이미지를 분류하는 다중 분류(Multiclass classification) 문제를 다룰 것이다. 데이터는 여기(https://www.kaggle.com/c/digit-recognizer)에서 얻을 수 있다. 파이토치를 이.. rooney-song.tisto..

제프리 사전분포(Jeffrey's prior) 제프리 사전분포(Jeffrey's prior)에 대해 알아볼 것이다. 다룰 내용으로는 다음과 같다. 1. 제프리 사전분포의 정의 2. 제프리 사전분포의 예제 1. 제프리 사전분포의 정의 단변수 theta의 제프리 사전분포(Jeffrey's prior)는 다음과 같이 정의된다. 여기서 I(theta)는 기대 피셔 정보값(Expected Fisher information)을 나타내며 다음과 같이 계산된다. ▷ 제프리 사전분포의 가장 큰 특징은 불변성(Invariance)을 가지고 있다는 것이다. 즉, 제프리 사전분포를 사용할 경우, 모수의 사후분포와 모수의 함수에 대한 사후분포가 있을 때, 변수변환을 통해 같음을 보일 수 있다. 2. 제프리 사전분포의 예제 문제) 가능도 함수가 지수분포일 때, 제프리 사전분..

주피터 랩(Jupyter lab)과 스파크(Spark) 연동 윈도우 10 환경에서 주피터 랩(Jupyter lab)과 스파크(Spark)를 연동해보자. 아나콘다(Anaconda)와 스파크가 설치되어 있음을 전제하고 설명을 시작하도록 하겠다. 아래의 링크는 스파크의 설치 방법이니, 필요하면 참고할 수 있도록 하자. [Scala & Spark] 02. 스파크(Spark) 설치 윈도우 10 환경에서 스파크(Spark) 설치 방법에 대해서 알아볼 것이다. 스파크를 설치하기 위해 자바(Java)와 스칼라(Scala)가 필요하다. 반드시 자바와 스칼라를 설치한 후, 스파크를 설치하도록 하�� rooney-song.tistory.com 1. 주피터 랩 설치 및 바로가기 만들기 (1) 아나콘다 프롬프트를 실행하고, "pip install jupyterlab"을 입력하여 주피터 ..

이전 1 ··· 3 4 5 6 7 8 다음

티스토리툴바