KNN算法（K-Nearest Neighbor，K近鄰算法）是一種基於實例的學習算法，其核心思想是如果一個數據點在特徵空間中最相鄰的k個數據點中的大多數屬於某一個類別，則該樣本也屬於這個類別。該算法主要用於分類和回歸任務，其工作原理如下：
分類任務。給定一個沒有標籤的新數據點（測試樣本），KNN算法首先計算該數據點與訓練集中所有點的距離，然後選擇距離最近的k個訓練樣本。根據這k個最近鄰的樣本的類別，通過多數表決法（或類似決策規則）來確定測試樣本的類別。
回歸任務。在回歸問題中，KNN算法選擇k個最近的鄰居，並通過計算這些鄰居的目標變數（例如數值）的平均值來預測測試樣本的目標變數。
KNN算法的主要優點包括簡單直觀、易於實現，並且對於一些問題非常有效。其主要缺點包括計算成本較高（特別是對於大型數據集），以及對距離度量和k值的選擇敏感。距離度量方法通常包括歐氏距離和曼哈頓距離。k值的選擇對算法性能有重要影響：較小的k值會使模型更加複雜，容易過擬合；較大的k值會使模型過於簡單，導致欠擬合。因此，k值的選擇需要通過交叉驗證等技術來確定。