참고하면 좋은 자료 : KL divergence - 공돌이의 수학정리노트 KL divergence - 공돌이의 수학정리노트 (Angelo's Math Notes) angeloyeo.github.io Entropy Entropy는 정보 이론에서 사용되는 개념 중 하나로, 어떤 확률 분포가 가지는 정보의 평균적인 양을 나타내는 값이다. 정보량이 많을수록 Entropy 값은 높아지며, 정보량이 적을수록 Entropy 값은 낮아진다. (엔트로피가 크다 = 무질서도가 크다 = 예측 불가능) $$H(X) = - \sum_{i=1}^{n} P(x_i) \log_{2} P(x_i)$$ 여기서 $P(x)$는 확률 분포를 나타낸다. Examples 엔트로피를 이해하기 위해 동전 던지기의 예를 고려할 수 있다. 공정한 동전..
Artificial Intelligence
출처 : https://learn.microsoft.com/ko-kr/azure/machine-learning/concept-responsible-ai?view=azureml-api-2 책임 있는 AI란? - Azure Machine Learning 책임 있는 AI란 무엇이며, Azure Machine Learning에서 사용하여 모델을 이해하고 데이터를 보호하고 모델 수명 주기를 제어하는 방법을 알아봅니다. learn.microsoft.com 공정성: Al 시스템은 그룹이나 개인의 편견을 차별하거나 지지하는 결정을 내려서는 안 됩니다. 신뢰성 및 안전성: Al 시스템은 새로운 상황과 잠재적 조작에 안전하게 대응해야 합니다. 개인 정보 및 보안: Al 시스템은 안전해야 하며 데이터 프라이버시를 존중해야 ..
출처 : LG AI 연구원 기초(수학,통계, 트렌드) [선형대수] KOOC : AI 비전공자를 위한 기초 수학 1: 선형대수학 https://kooc.kaist.ac.kr/mathforai/joinLectures/74606 [선형대수] 3Blue1Brown : Essence of linear algebra https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab [확률/통계] Seeing Theory : Basic Probability/Compound Probability/Probability Distributions/Frequentist Inference/Basyesian Inference/Regression Analysis ht..
K-Means Clustering Iteratively re-assign points to the nearest cluster center Goal: cluster to minimize variance in data given-clusters Steps 1): Randomly select K centers 2): [Expectation Step] Assign each point to nearest center 3): [Minimize Step] Compute new center (mean) for each cluster 4): Repeat from the [Expectation Step] to the [Minimize Step] until coverage Hyperparater of K-Means Clu..
(Shannon) Entropy, Cross Entropy, KL Divergence 참고하면 좋은 자료 : KL divergence - 공돌이의 수학정리노트 KL divergence - 공돌이의 수학정리노트 angeloyeo.github.io Entropy Entropy는 정보 이론에서 사용되는 개념 중 하나로, 어떤 확률 분포가 가지는 정보의 평균적인 양을 나타내는 값이다. 정보량이 많을수록 Entropy 값은 높아지며, 정보량이 적을수록 Entropy 값은 낮아진다. 여기서 p(x)는 확률 분포를 나타낸다. Examples 엔트로피를 이해하기 위해 동전 던지기의 예를 고려할 수 있다. 공정한 동전이 있다면 이 시스템의 엔트로피는 1이 될 것이다. 즉, 평균적으로 각 동전 던지기에서 1비트의 정보를 ..
K-Nearest Neighbors What is K-Nearest Neighbors? K-Nearest Neighbors(K-최근접 이웃, K-NN)은 머신 러닝 알고리즘 중 하나로, 데이터 분류 및 회귀 분석에 사용되는 Supervised-learning 방식의 알고리즘이다. K-NN은 데이터를 분류할 때, 가장 가까운 K개의 이웃 데이터 포인트를 찾아 이들의 클래스를 기반으로 해당 데이터 포인트의 클래스를 결정한다. 이 때, 데이터 간의 거리를 측정할 때에는 L2 Distance (Euclidean distance)가 사용된다. K-NN의 장점 단순하고 효율적이다. 모델 훈련이 필요하지 않다. 학습 데이터가 많은 경우에도 학습 시간이 빠르다. 다중 클래스 분류가 가능하다. K-NN의 단점 데이터가 ..
Distance Metric to Compare Vectors (Data) L1 Distance (Manhattan distance) VS. L2 Distance (Euclidean distance) L1 Distance와 L2 Distance는 두 벡터 간의 거리 또는 유사성을 측정하는 일반적인 방법이다. Manhattan distance라고도 하는 L1 Distance는 두 벡터의 해당 요소 간 절대 차이의 합이다. 수학적으로 두 벡터 p와 q 사이의 L1 Distance는 아래와 같이 정의된다. L1 Distance (Manhattan distance): 택시가 한 지점에서 다른 지점으로 이동하기 위해 그리드와 같은 도로 시스템을 따라 이동해야 하는 거리를 측정한다는 사실에서 이름을 얻었다고 한다...
Class Variation Intra-class Variation vs. Inter-class Variation Class Variation이란 데이터의 클래스가 얼마나 떨어져 있는지(분산)을 나타내는 표현이다. Class Variation의 표현에는 크게 Inter-class Variation과 Intra-class Variation이 있다. Inter-class Variation : 다른 클래스 간의 분산을 나타내는 표현 Intra-class Variation : 같은 클래스 내부의 분산을 나타내는 표현 두 단어들의 발음이 비슷해서 더 헷갈리는 것 같다. 하지만 인트라넷이 어떤 조직의 폐쇄적인 내부망을 의미한다는 것을 떠올리면 어렵지 않다. Examples 위 두 예시들은 데이터들의 클래스 분포를 ..
Machine Learning 야학 2기 머신러닝야학? 머신러닝야학은 혼자서 외롭게 머신러닝을 공부하고 있는 분들을 지원하고, 응원하기 위해서 만들어진 작은 학교입니다. 지금부터 우리는 10일 동안 동영상과 전자책으로 제작된 머신러닝 수업을 공부하면서 머신러닝의 흥미진진한 세계를 탐험할 것입니다. 그 과정에서 현업에서 활동 중인 엔지니어들의 기술지원을 받을 수 있습니다. 같은 목표를 향해서 달려가는 동료를 만날 수도 있습니다. 이 여행이 끝나고 나면 머신러닝이 무엇인지 알게 될 것이고, 머신러닝으로 하고 싶은 것이 생길 것입니다. 다시 말해서 꿈을 갖게 될 것입니다. 우리 학교의 목표는 꿈을 먼저 갖는 것입니다. 꿈이 있다면 능력은 차차로 갖춰지게 되어 있습니다. 꿈을 꿉시다. 머신러닝1 수업 머신러닝1..
