[ML] K-Nearest Neighbors 알고리즘 (KNN)

K-Nearest Neighbors

What is K-Nearest Neighbors?

K-Nearest Neighbors(K-최근접 이웃, K-NN)은 머신 러닝 알고리즘 중 하나로, 데이터 분류 및 회귀 분석에 사용되는 Supervised-learning 방식의 알고리즘이다. K-NN은 데이터를 분류할 때, 가장 가까운 K개의 이웃 데이터 포인트를 찾아 이들의 클래스를 기반으로 해당 데이터 포인트의 클래스를 결정한다. 이 때, 데이터 간의 거리를 측정할 때에는 L2 Distance (Euclidean distance)가 사용된다.

 

K-NN의 장점

• 단순하고 효율적이다.
• 모델 훈련이 필요하지 않다.
• 학습 데이터가 많은 경우에도 학습 시간이 빠르다.
• 다중 클래스 분류가 가능하다.

K-NN의 단점

• 데이터가 많아지면 계산량이 많아지면서 시간이 오래 걸린다.
• 적절한 k 값의 선택이 필요하다.
• 모델을 생성하지 않아 특징과 클래스 간 관계를 이해하는 데 제한적이다.
• 예측하기 전에 데이터를 정규화해야 한다.
  • 이는 알고리즘이 데이터 점 사이의 거리를 기반으로 하고 데이터 점 사이의 거리는 척도의 차이에 의해 영향을 받을 수 있기 때문이다.