본문 바로가기

전체 글

(80)

컴파일러(Compiler)와 인터프리터(Interpreter) 컴파일러(Compiler) ▷ 고급언어로 작성된 프로그램이 컴퓨터에서 수행되기 위해서는 컴퓨터가 이해할 수 있는 기계어로 바꾸어 주어야 한다. 이러한 일을 수행하는 프로그램을 컴파일러라고 한다. ▷ 번역과 실행을 거쳐야 하기 때문에 시간이 오래 걸리지만, 번역한 이후에는 추가적인 번역 과정이 필요 없으므로 실행속도가 빠르다. ▷ 문법이 틀리면 컴파일 하는 과정에서 에러가 발생하게 될고, 이를 컴파일 에러라고 한다. 프로그램 단위로 변환되기 때문에 컴파일 에러가 발생하면 실행이 불가능하다. 인터프리터(Interpreter) ▷ 고급언어로 작성된 프로그램을 문장 단위로 기계어로 해석하여 실행하는 프로그램을 인터프리터라고 한다. ▷ 문장 단위로 실행되기 때문에 프로그램의 변화에 빠르게 반응할 수 있고, 에러가..

통계 모델링 과정(Statistical modeling process) 데이터 분석 또는 문제 해결을 위한 통계 모델링 과정(Statistical modeling process)에 대해 알아볼 것이다. 단계는 8개로 나눌 수 있고, 아래와 같다. 1. Understand the problem 2. Plan and collect data 3. Explore data 4. Postulate model 5. Fit model 6. Check model 7. Iterate 8. Use model 각 단계에 대해 자세히 알아보자. 1. Understand the problem 가장 먼저 해야하는 것은 문제를 이해하는 것이다. 당연하기 때문에 간과하기 쉬운데, 이는 매우 중요하다. 예를 들어, 프랜차이즈의 수익 데이터를 각 지역에서 얻었다고 가정하자. 수익의 평균을 통해 프랜차이즈 사..

통계 모델(Statistical model) 통계 모델(Statistical model)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 통계 모델의 정의 2. 통계 모델의 목적 1. 통계 모델의 정의 통계 모델이란 데이터 생성 구조(Data generating process)를 모방(Imitation) 또는 근사(Approximation)하기 위한 수학적 구조(Mathematical structure)를 말한다. 일반적으로 통계 모델은 변수간의 관계를 나타내며, 데이터의 불확실성(Uncertainty)과 변동성(Variability)를 설명한다. 통계 모델은 인과관계 또는 노이즈 데이터로부터 은닉 변수(Hidden variable)를 파악하는데 도움을 줄 수 있다. 2. 통계 모델의 목적 통계 모델의 목적은 크게 4가지로 나눌 수 있다. ..

합성곱 신경망(Convolutional Neural Network) 구현 MNIST 데이터의 손글씨로 적힌 숫자 이미지를 분류하는 다중 분류(Multiclass classification) 문제를 다룰 것이다. 앞의 포스팅 "[Model] 01. 인공신경망(Artificial Neural Network) 구현"과 중복되는 내용에 대해 다루지 않을 것이다. 필요하면 다음 링크를 통해 참고하도록 하자. [Model] 01. 인공신경망(Artificial Neural Network) 구현 MNIST 데이터의 손글씨로 적힌 숫자 이미지를 분류하는 다중 분류(Multiclass classification) 문제를 다룰 것이다. 데이터는 여기(https://www.kaggle.com/c/digit-recognizer)에서 얻을 수 있다. 파이토치를 이.. rooney-song.tisto..

제프리 사전분포(Jeffrey's prior) 제프리 사전분포(Jeffrey's prior)에 대해 알아볼 것이다. 다룰 내용으로는 다음과 같다. 1. 제프리 사전분포의 정의 2. 제프리 사전분포의 예제 1. 제프리 사전분포의 정의 단변수 theta의 제프리 사전분포(Jeffrey's prior)는 다음과 같이 정의된다. 여기서 I(theta)는 기대 피셔 정보값(Expected Fisher information)을 나타내며 다음과 같이 계산된다. ▷ 제프리 사전분포의 가장 큰 특징은 불변성(Invariance)을 가지고 있다는 것이다. 즉, 제프리 사전분포를 사용할 경우, 모수의 사후분포와 모수의 함수에 대한 사후분포가 있을 때, 변수변환을 통해 같음을 보일 수 있다. 2. 제프리 사전분포의 예제 문제) 가능도 함수가 지수분포일 때, 제프리 사전분..

주피터 랩(Jupyter lab)과 스파크(Spark) 연동 윈도우 10 환경에서 주피터 랩(Jupyter lab)과 스파크(Spark)를 연동해보자. 아나콘다(Anaconda)와 스파크가 설치되어 있음을 전제하고 설명을 시작하도록 하겠다. 아래의 링크는 스파크의 설치 방법이니, 필요하면 참고할 수 있도록 하자. [Scala & Spark] 02. 스파크(Spark) 설치 윈도우 10 환경에서 스파크(Spark) 설치 방법에 대해서 알아볼 것이다. 스파크를 설치하기 위해 자바(Java)와 스칼라(Scala)가 필요하다. 반드시 자바와 스칼라를 설치한 후, 스파크를 설치하도록 하�� rooney-song.tistory.com 1. 주피터 랩 설치 및 바로가기 만들기 (1) 아나콘다 프롬프트를 실행하고, "pip install jupyterlab"을 입력하여 주피터 ..

무정보 사전분포(Non-informative prior distribution) 무정보 사전분포(Non-informative prior distribution)에 알아볼 것이다. 관심있는 모수에 대한 정보를 주고 싶지 않다면, 모수의 모든 가능한 값들에 동일한 가중치를 부여하는 것이 합리적일 것이다. 따라서 사전분포로 균등분포를 사용할 것이다. 이를 적용하여 다음의 상황에 대해 생각해보자. ▷ 균등분포는 베타분포의 특이한 경우이다. 이를 이용하여, ESS(Effective Sample Size)를 구할 수 있다. 즉, 2개의 샘플만큼 사후분포에 영향을 미치므로 완전한 무정보 사전분포라고 할 수 없다. 데이터에만 종속적인(Dependent) 사후분포를 추정하기 위해 ESS를 줄여보자. ▷ 사전분포의 두 모수를 0으로 정하여 ESS를 0으로 만들었다. ESS가 0인 무정보 사전분포를 사..

스파크(Spark) 설치 윈도우 10 환경에서 스파크(Spark) 설치 방법에 대해서 알아볼 것이다. 스파크를 설치하기 위해 자바(Java)와 스칼라(Scala)가 필요하다. 반드시 자바와 스칼라를 설치한 후, 스파크를 설치하도록 하자. 스칼라의 설치 방법은 아래의 링크를 통해 할 수 있으니, 필요하면 참고하도록 하자. [Scala & Spark] 01. 스칼라(Scala) 설치 윈도우 10 환경에서 스칼라(Scalar) 설치 방법에 대해서 알아볼 것이다. 스칼라는 자바(Java)를 기반으로 하기 때문에 자바(1.8 버전 이상)를 반드시 설치해야 한다. 반드시 자바를 설치한 후, 스칼라� rooney-song.tistory.com 1. 스파크 다운로드 및 설치 (1) 여기(http://spark.apache.org/downloa..

다양한 켤레사전분포(Conjugate prior distribution) 문제를 통해 다양한 켤레사전분포(Conjugate prior distribution)에 대해 알아보자. 문제 1) 10분동안 정류장에 도착하는 버스 수의 분포가 지수분포를 따르고, 지수분포의 모수가 감마분포(alpha = 100, beta = 1000)를 따른다. 10분동안 12대의 버스가 도착하였다. 이때, 사후분포와 사후평균을 구하여라. 풀이) ▷ 사후분포는 alpha가 101, beta가 1012인 감마분포이다. 사전분포와 사후분포가 감마 분포를 따르므로 켤레사전분포라고 할 수 있다. ▷ 사전분포의 ESS(Effective Sample Size)는 alpha와 beta의 합이므로, 1100이다. ▷ 사후평균은 0.0998로 거의 변화가 없는 것으로 나타났다. 이는 ESS가 데이터의 개수에 비해 압도..

스칼라(Scala) 설치 윈도우 10 환경에서 스칼라(Scalar) 설치 방법에 대해서 알아볼 것이다. 스칼라는 자바(Java)를 기반으로 하기 때문에 자바(Java)를 반드시 설치해야 한다. 자바는 Java SE 8, JDK 8, JRE8 중 하나를 설치하도록 하자. 자바를 설치한 후, 스칼라를 설치하도록 하자. 1. 스칼라 다운로드 및 설치 (1) 여기(https://www.scala-lang.org/download/)로 들어가 [Download the Scala binaries for windows]를 선택한다. (2) 다운받은 "scala-2.13.3.msi"를 실행하여 설치한다. (2-1) 만약 스파크(Spark)를 사용하기 위해 스칼라를 설치하는 경우, 경로 설정을 다르게 해주어야 한다. 경로를 직접 지정하지 않으면 ..

사후평균(Posterior mean)과 ESS(Effective Sample Size) 문제를 통해 사후평균(Posterior mean)과 ESS(Effective Sample Size)에 대해 알아보자. 문제 1) 사전분포가 베타분포를 따르고 가능도 함수가 베르누이 분포를 따를 때, 사후분포의 평균과 ESS를 구하여라. 풀이) ▷ 사후평균은 사전분포의 평균과 데이터 평균의 가중평균(Weighted average)으로 나타낼 수 있다. 데이터 가중치의 분자는 표본크기, 사전분포 가중치의 분자는 alpha와 beta의 합이다. 이때, ESS는 사전평균 가중치의 분자인 alpha와 beta의 합이다. 즉, ESS란 사전평균이 사후평균에 반영되는 비중을 샘플 개수로 나타낸 것이다. ▶ ESS가 커지면 사후평균에서 사전평균의 비중이 커지고 데이터 평균의 비중이 줄어든다. 즉, 사전정보가 사후분포에..

켤레사전분포(Conjugate prior distribution) 켤레사전분포(Conjugate prior distribution)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 켤레사전분포의 정의 2. 켤레사전분포의 예제 1. 켤레사전분포의 정의 켤레사전분포의 정의는 다음과 같다. ▷ 즉, 사전분포(Prior distribution)와 사후분포(Posterior distribution)가 동일한 분포족에 속하면 사전분포를 켤레사전분포라고 한다. ▷ 켤레사전분포를 사용하는 이유는 사후분포의 계산이 편리해지기 때문이다. 대표적 켤레사전분포는 다음과 같다. 2. 켤레사전분포의 예제 문제) 사전분포가 베타분포을 따르고 가능도 함수가 베르누이 분포를 따를 때, 이 사전분포가 켤레사전분포임을 보여라. 풀이) ▷ 위의 결과를 통해 사전분포와 사후분포가 베타분포를 따르는 ..

이전 1 ··· 3 4 5 6 7 다음

티스토리툴바