다층 퍼셉트론 (Multi-layer Perceptron)

 

퍼셉트론은 사람 뇌의 단일 뉴런이 작동하는 방법을 흉내내기 위해 환원 접근법 (reductionist approach) 이용한다. 방법은 초기 가중치를 임의의 값으로 정의하고 예측값의 활성 함수 리턴값과 실제 결과값의 활성 함수 리턴값이 동일하게 나올 때까지 가중치의 값을 계속 수정하는 방법이다.

 

단층 퍼셉트론의 경우 AND, NAND, OR 논리회로를 계산할 있지만 XOR 게이트 연산을 없다. XOR 게이트는 베타적 논리합 이라 불리는 회로이다. 뜻은 한쪽이 1 때만 1 출력한다

퍼셉트론 이론은 선형 분류이다. 직선을 이용한 분류는 가능하지만 XOR 게이트와 같은 경우 곡선으로 나눌 있기 때문에 비선형 분류이다.

 

이러한 제약사항을 보완하기 위해 나온것이 다층 퍼셉트론 (Multi-layer Perceptron, MLP)이다. 단층 퍼셉트론과 다층 퍼셉트론의 차이점은 단층 퍼셉트론은 입력층과 출력층만 존재하지만, 다층 퍼셉트론은 중간에 층을 추가하였다. 이렇게 입력과 출력 사이에 추가된 층을 은닉층(hidden layer)이라 한다. XOR 게이트는 기존의 AND, NAND, OR 게이트를 조합하여 만들 있기 때문에 퍼셉트론에서 층을 계속 추가하면서 만들 있다. 이렇게 층을 여러겹으로 쌓아가면 선형 분류만으로 풀지 못했던 문제를 비선형적으로 있게 된다.

 

 

다층 퍼셉트론은 은닉층이 1 이상인 퍼셉트론을 의미한다. 은닉층이 2개일수도 있고 수십, 수백개 일수도 있다. 아래 그림과 같이 은닉층이 2 이상인 신경망을 심층 신경망 (Deep Neural Network, DNN)이라고 한다.  학습을 시키는 신경망이 심층 신경망일경우 심층 신경망을 학습시칸다고 하여 딥러밍(Deep Learning)이라고 한다.

 

 

 

[참고자료]

·       https://en.wikipedia.org/wiki/Multilayer_perceptron

·       https://wikidocs.net/24958

 

2020-03-12/ Sungwook Kang / http://sungwookkang.com

 

 

인공지능,  Artificial Intelligence, 머신러닝, Machine Learning, 딥러닝, Deep Learning,신경망, 뉴럴 네트워크,퍼셉트론, Perceptron, 다층 퍼셉트론, Multi-layer perceptron

단층 퍼셉트론 (Single-layer Perceptron)

 

퍼셉트론 (Perceptron) 1957 코넬 항공 연구소에 근무하던 프랑크 로젠블라트(Frank Rosenblatt) MCP 뉴런 모델을 기초로 퍼셉트론이라는 알고리즘을 고안하였다. 퍼셉트론은 하나의 MCP 뉴런이 출력신호를 발생할지 안할지 결정하기 위해 MCP 뉴런으로 들어오는 입력값에 곱해지는 가중치 값을 자동적으로 학습하도록 모델이며 입력 벡터를 부류(class) 구분하는 선형 분류기 이다. 퍼셉트론은 신경망(딥러닝) 기원이 알고리즘이다.

 

퍼셉트론은 다수의 신호를 입력 받아 하나의 신호를 출력한다. 여기서 말하는 신호는 전류처럼 흐름이 있는것을 뜻하며, 흐름의 상태 정보를 앞으로 전달한다. 아래 그림은 x1, x2라는 입력 신호에 w1, w2라는 가중치를 부여하여 y라는 신호를 출력한다.

 

 

 

입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해진다. 뉴런에서 보내온 신호의 총합이 정해진 한계를 넘어설 때만 1 출력하게 된다. 이를 뉴런이 활성화 한다라고 표현 있다. 한계를  임계값이라고 한다. 임계값은 보통 θ(세타) 표현된다. 퍼셉트론은 복수의 입력 신호 각각에 고유한 가중치를 부여하게 된다. 가중치는 신호가 결과에 주는 영향력을 조절하는 요소로 작용된다. , 가중치가 클수록 해당 신호가 그만큼 중요하다는 뜻이다.

 

 

그림에서 x 입력 벡터 값을 나타내며, w 가중치를 나타낸다. 바이어스 입력값은 x0, 바이어스 기울기는  w0 표기했으며 f 활성홤수를 나타낸다.

 

·       임계치(threshold): 어떠한 값이 활성화되기 위한 최소값

·       가중치(weight): 선형 경계의 방향성 또는 형태를 나타내는

·       바이어스(bias): 선형 경계의 절편을 나타내는 값으로써, 직선의 경우는 y절편으로 표시

·       net: 입력값과 가중치의 곱을 모두 합한

·       활성홤수(activation function): 뉴런에서 계산된 net값이 임계치보다 크면 1 출력하고, 임계치보다 작은 경우에는 0 출력하는 함수

·       뉴런(neuron): 인공신경망을 구성하는 가장 작은 요소로써, net값에 따라 활성(1) 비활성(0) 출력

 

아래 그림은 많은 훈련 데이터가 추가됨에 따라 선형 경계를 업데이트하는 퍼셉트론을 보여주는 다이어그램이다.

 

 

퍼셉트론으로는 AND, NAND, OR 게이트의 논리회로를 표현할 있다.

[AND 게이트]

AND 게이트는 입력이 둘이고 출력이 하나인 대표적인 퍼셉트론 예시이다.  입력값이 모두 1일때 1 출력한다.

 

예를들어 (w1, w2, θ) 값을 (0.5, 0.5, 0.8)이라고 가정하였을때 계산이다.

·       (0*0.5) + (0*0.5) = 0.0         <  0.8        -> 0

·       (0*0.5) + (1*0.5) = 0.5        <  0.8        -> 0

·       (0*0.5) + (0*0.5) = 0.5        <  0.8        -> 0

·       (1*0.5) + (1*0.5) = 1.0         >  0.8        -> 1

 

[NAND 게이트]

AND게이트에 NOT 연산을 한것으로, AND 게이트 결과값의 반대이다.

 

 

[OR 게이트]

입력 신호중 하나 이상이 1이면 1 출력된다.

 

[단층 퍼셉트론의 한계]

단층 퍼셉트론은 AND, NAND, OR 논리회로를 계산할 있지만 XOR 게이트 연산을 없다. XOR 게이트는 베타적 논리합 이라 불리는 회로이다. 뜻은 한쪽이 1 때만 1 출력한다.

퍼셉트론 이론은 선형 분류이다. 직선을 이용한 분류는 가능하지만 XOR 게이트와 같은 경우 곡선으로 나눌 있기 때문에 비선형 분류이다. 이러한 제약사항을 보완하기 위해 나온것이 다중 (Multi-layer Perceptron)이다.

 

 

 

[참고자료]

·       https://en.wikipedia.org/wiki/Perceptron

·       https://untitledtblog.tistory.com/27

·       https://eehoeskrap.tistory.com/137

·       https://excelsior-cjh.tistory.com/169

 

 

2020-03-11/ Sungwook Kang / http://sungwookkang.com

 

 

인공지능,  Artificial Intelligence, 머신러닝, Machine Learning, 딥러닝, Deep Learning, AI, 신경망, 뉴럴 네트워크, 강화학습, 지도학습, 자율학습, Supervised Learning, Unsupervised Learning, Reinforcement Learning, 퍼셉트론, Perceptron, 단층 퍼셉트론, Single-layer perceptron

머신러닝 학습 방법(Supervised, Unsupervised, Reinforcement)

 

머신러닝의 데이터 학습 방법에는 지도 학습 (Supervised Learning) 자율 학습 (Unsupervised Leaning), 강화 학습(Reinforcement Learning) 3가지 타입이 있다.

 

지도 학습 (Supervised Learning) 자율 학습 (Unsupervised Leaning) 사용되는 알고리즘은 아래 그림과 같이 나눌 있다.

 

[지도 학습 (Supervised Learning)]

지도 학습(Supervised Learning) 데이터에 대한 레이블(Label)-명시적인 정답- 주어진 상태에서 컴퓨터를 학습시키는 방법이다. 이렇게 구성된 트레이닝 데이터셋으로 학습이 끝나면, 레이블(label) 지정되지 않은 테스트 데이터셋(test set) 이용해서, 학습된 알고리즘이 얼마나 정확히 예측(Prediction)하는지를 측정할 있다.

 

이러한 평가를 위해 교차검증(Cross-Validation) 이용되며 이를 위해 훈련 집합(A Training Set), 검증 집합(A Validation Set), 테스트 집합(A Test Set)으로 나눈다. 교차 검증을 통하여 훈련된 함수에 대해 정밀도(Precision) 재현율(Recall) 측정 있다.

 

 

훈련 데이터는 일반적으로 입력 개체에 대한 속성을 벡터 형태로 포함하고 있으며 각각의 벡터에 대해 원하는 결과가 무엇인지 표시되어 있다. 이렇게 유추된 함수 연속적인 값을 출력하는 것을 회귀분석(Regression)이라 하고 주어진 입력 벡터가 어떤 종류의 값인지 표식 하는것을 분류(Classification) 한다. 지도학습기(Supervised Learner) 하는 작업은 훈련 데이터로부터 주어진 데이터에 대해 예측하고자 하는 값을 올바로 추측해내는 것이다. 목표를 달성하기 위해서는 학습기가 "알맞은" 방법을 통하여 기존의 훈련 데이터로부터 나타나지 않던 상황까지도 일반화하여 처리할 있어야 한다. 훈련데이터로부터 하나의 함수가 유추되고 나면 해당 함수에 대한 평가를 통해 파라미터 최적화를 한다. 지도 학습은 직관적이기 때문에 다른 학습법에 비해 상대적으로 이해하기가 쉽지만, 정확한 학습 결과를 얻으려면 고품질의 많은 학습 데이터셋이 필요하다.

 

 

[자율 학습 (Unsupervised Leaning)]

자율 학습(Unsupervised Learning) 기계학습의 일종으로 데이터가 어떻게 구성되었는지를 알아내는 문제의 범주에 속한다. 방법은 지도 학습(Supervised Learning) 혹은 강화 학습(Reinforcement Learning) 달리 입력 값에 대한 목표치가 주어지지 않는다. 자율학습은 통계의 밀도 추정(Density Estimation) 깊은 연관이 있다. 이러한 자율학습은 데이터의 주요 특징을 요악하고 설명할 있다. 자율학습의 예로는 클러스터링(Clustering), 독립 성분 분석(Independent Component Analysis), 연관성 규칙, 데이터 축소 등이 있다.

 

 

자율 학습은 학습할 데이터셋만 있으면 스스로 학습하기 때문에 편리하기는 하지만 지도 학습에 비해 어려우며, 특정 결과에 대한 가이드가 없기 때문에 기대했던 것과 다른 결과가 나올 수도 있다.

 

[강화 학습 (Reinforcement Learning)]

강화 학습(Reinforcement learning) 기계 학습의 영역이다. 행동심리학에서 영감을 받았으며, 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하여, 선택 가능한 행동들 보상을 최대화하는 행동 혹은 행동 순서를 선택하는 방법이다. 훈련을 따르면 보상(reward) 주고 못하면 (punishment) 주어 감독관이 원하는 방향으로 학습을 하게 된다.

지도 학습처럼 입력과 출력이 명확한 관계를 갖고 있는 상황이 아니라 환경과의 상호 작용의 결과로서 학습을 하거나 경우의 수가 너무 많아 옳고 그름에 대해 사전에 명확하게 기술하기 어려운 환경에 적합한 학습방법이다.

 

 

이러한 문제는 매우 포괄적이기 때문에 게임 이론, 제어이론, 운용 과학, 정보 이론, 시뮬레이션 기반 최적화, 다중 에이전트 시스템, 군집 지능, 통계학, 유전 알고리즘 등의 분야에 사용된다.

 

 

[참고자료]

l  https://bigdata-madesimple.com/machine-learning-explained-understanding-supervised-unsupervised-and-reinforcement-learning/

l  https://ko.wikipedia.org/wiki/%EA%B0%95%ED%99%94_%ED%95%99%EC%8A%B5

 

2020-03-08/ Sungwook Kang / http://sungwookkang.com

 

 

인공지능,  Artificial Intelligence, 머신러닝, Machine Learning, 딥러닝, Deep Learning, AI, 신경망, 뉴럴 네트워크, 강화학습, 지도학습, 자율학습, Supervised Learning, Unsupervised Leaning, Reinforcement Learning

인공지능 /  머신러닝 / 딥러닝 개념

 

인공지능 (Artificial Intelligence) 머신러닝 (Machine Learning), 딥러닝 (Deep Learning) 개념에 대해서 살펴본다.

 

 

 

[인공지능 (Artificial Intelligence)]

인간의 지능으로 있는 사고, 학습, 자기 개발 컴퓨터가 대체할 있도록 하는 방법을 연구하는 분야이다.

 

 

[머신러닝 (Machine Learning)]

사람이 학습하듯 컴퓨터에게 사람이 데이터를 입력시켜 학습을 시키는 방식으로, AI 정확한 결과를 예측 있도록 제공된 학습 데이터를 다양한 알고리즘을 통하여 스스로 학습한다. 머신러닝은 정해진 명령보다 데이터를 기반으로 예측이나 결정을 이끌어 내기 위해 특정한 모델을 구축하는 방식으로 모델을 구축함으로써 입력하지 않은 정보에 대해서다 판단이나 결정을 있게 된다.

 

머신러닝은 현재 많은 분야에서 활용되고 있으며 문자 인식, 안면 인식, 자동 번역, 챗봇 등의 자연어 처리 분야와, 음성 인식, 필기 인식, 텍스트 마이닝, 스팸 필터, 추천 시스템 등의 정보 검색 엔진, 유전자 분석, 단백질 분류 다양한 곳에서 사용되고 있다.

 

 

[딥러닝 (Deep Learning)]

 머신러닝에서 발전된 형태로 사람이 학습할 데이터를 입력하지 않아도 스스로 학습하고 예측한다. 이러한 모델은 인간의 신경망을 본딴 인공 신경망에서 발전한 것이다. 딥러닝은 머신러닝 기법인 Feature Learning (또는 Representation Learning) 하나 이다. 딥러닝은 인공신경망에서 발전한 심층신경망 (Deep Neural Network, DNN)인데, 여러 신경들이 다음 신경에 신호를 전달하는 방식의 모델이기에 딥러닝을 계층적 Feature Learning (또는 Representation Learning)라고 부른다.

 

딥러닝의 가장 대표적인 예가 2016 이세돌 9단과 바둑 대결을 펼쳤던 구글의 알파고이다. 당시 알파고는 바둑 기보를 보고 스스로 바둑 전략을 학습했다.

 

 

페이스북은 딥러닝 기술을 적용해 2014 딥페이스라는 얼굴 인식 알고리즘을 개발했다.

 

이외에도 MS, IBM 많은 테크기업들이 딥러닝을 적용한 제품을 만들었다.

 

 

위에 정의된 내용으로 동물을 판단하는 방법을 살펴보자. 머신러닝의 경우 개의 특징을 추출하는 것은 사람이 하며, 추출된 특징을 학습하여 고양이인지, 개인지 판단하는 것은 기계가 한다. 반면 딥러닝은 특징을 추출하고 학습하는 모든 과정을 기계가 한다.

 

2020-03-07/ Sungwook Kang / http://sungwookkang.com

 

 

인공지능,  Artificial Intelligence, 머신러닝, Machine Learning, 딥러닝, Deep Learning, AI, 신경망, 뉴럴 네트워크, 구글 알파고, 페이스북 딥페이스

+ Recent posts