資料預處理技術有哪些

有四種資料預處理技術：

1、資料清理。空缺值處理、格式標準化、異常資料清除、錯誤糾正、重複資料的清除。

2、資料整合。將多個數據源中的資料結合起來並統一儲存，建立資料倉庫的過程實際上就是資料整合。

3、資料變換。平滑、聚集、規範化、最小 最大規範化等。

4、資料歸約。維歸（刪除不相關的屬性（維））、資料壓縮（PCA，LDA，SVD、小波變換）、數值歸約（迴歸和對數線形模型、線形迴歸、對數線形模型、直方圖）。

現實世界中資料大體上都是不完整，不一致的髒資料，無法直接進行資料探勘，或挖掘結果差強人意。為了提高資料探勘的質量產生了資料預處理技術。 資料預處理有多種方法：資料清理，資料整合，資料變換，資料歸約等。這些資料處理技術在資料探勘之前使用，大大提高了資料探勘模式的質量，降低實際挖掘所需要的時間。資料清理例程通過填寫缺失的值、光滑噪聲資料、識別或刪除離群點並解決不一致性來“清理”資料。主要是達到如下目標：格式標準化，異常資料清除，錯誤糾正，重複資料的清除。資料探勘時往往資料量非常大，在少量資料上進行挖掘分析需要很長的時間，資料歸約技術可以用來得到資料集的歸約表示，它小得多，但仍然接近於保持原資料的完整性，並結果與歸約前結果相同或幾乎相同。