1樓：百度文庫精選
內容來自使用者:寶喜哥
資料預處理資料清洗是清除錯誤和不一致資料的過程，當然，資料清洗不是簡單的用更新資料記錄，在資料探勘過程中，資料清洗是第一步驟，即對資料進行預處理的過程。資料清洗的任務是過濾或者修改那些不符合要求的資料。不符合要求的資料主要有不完整的資料、錯誤的資料和重複的資料3大類。
各種不同的挖掘系統都是針對特定的應用領域進行資料清洗的。包括：
1)檢測並消除資料異常
2)檢測並消除近似重複記錄
3)資料的整合
4)特定領域的資料清洗
專案中的資料**於資料倉儲，其中資料是不完整的、有噪聲和不一致的。資料清理過程試圖填充缺失的值，光滑噪聲並識別離群點，並糾正資料中的不一致。資料清洗的目的是為挖掘提供準確而有效的資料，提高挖掘效率。
下面介紹資料清理的過程，該過程依照雲平臺的處理流程。
對於資料集中的資料，存在有這樣兩種情況：
1)資料中有大量缺失值的屬性，我們通常採取的措施是直接刪除，但是在有些系統進行etl處理時，不能直接處理大量的缺失值。
2)對於比較重要的屬性，也會存在少量缺失值，需要將資料補充完整後進行一系列的資料探勘。
針對這兩種不完整的資料特徵，在資料清洗時採取了以下兩種方式對資料填補：
1)將缺失的屬性值用同一個常數屬性的人工選擇
2樓：匿名使用者
刪除重複
空值填充
統一單位
是否標準化處理
刪除無必要的變數
邏輯值是否有錯誤檢查
是否需要引入新的計算變數
是否需要排序
是否進行主成分或者因子分析
等等，還有很多
資料清洗需清理哪些資料
3樓：無雅詩
資料清洗需要清理的資料，是輸入資料後需要對資料進行預處理，只有處理得當的資料才能進到資料探勘的步驟。而處理資料包括對資料數量和質量的處理。
包括對缺失的資料有添補或刪除相關行列方法，具體步驟自己判斷，如果資料量本來就很少還堅持刪除，那就是自己的問題了。
添補:常用拉格朗日插值或牛頓插值法，也蠻好理解，屬於數理基礎知識。(pandas庫裡自帶拉格朗日插值函式，而且這個好處是還可以在插值前對資料進行異常值檢測，如果異常那麼該資料就也被視為需要進行插值的物件)。
刪除:這個也好理解，就是對結果分析沒有直接影響的資料刪除。
異常值這個是否剔除需要視情況而定
像問題1中視為缺失值重新插值
刪除含有異常值的記錄(可能會造成樣本量不足，改變原有分佈)
平均值修正(用前後兩個觀測值平均值)
綜上，還是方案一靠譜。
人生苦短，學好python
3 資料量太多，有三種方法:整合，規約，變換
(1)資料是分散的時，這個就是指要從多個分散的資料倉儲中抽取資料，此時可能會造成冗餘的情況。此時要做的是【資料整合】。
資料整合有兩方面內容:
①冗餘屬性識別②矛盾實體識別
屬性:對於冗餘屬性個人理解是具有相關性的屬性分別從不同的倉庫中被調出整合到新表中，而新表中由於屬性太多造成冗餘，這時可以靠相關性分析來分析屬性a和屬性b的相關係數，來度量一個屬性在多大程度上蘊含另一個屬性。等等。
資料清洗時預處理階段主要做兩件事情：
一是將資料匯入處理工具。通常來說，建議使用資料庫，單機跑數搭建mysql環境即可。如果資料量大（千萬級以上），可以使用文字檔案儲存+python操作的方式。
二是看資料。這裡包含兩個部分：一是看後設資料，包括欄位解釋、資料**、**表等等一切描述資料的資訊；二是抽取一部分資料，使用人工檢視方式，對資料本身有一個直觀的瞭解，並且初步發現一些問題，為之後的處理做準備。
資料清洗是整個資料分析過程中不可缺少的一個環節，其結果質量直接關係到模型效果和最終結論。在實際操作中，資料清洗通常會佔據分析過程的50%—80%的時間。
4樓：逍遙楚客
資料清洗是指發現並糾正資料檔案中可識別的錯誤的最後一道程式，包括檢查資料一致性，處理無效值和缺失值等。
什麼是資料探勘什麼是資料探勘？
資料探勘是從大量的資料中，抽取出潛在的 有價值的知識 模型或規則 的過程。1.資料探勘能做什麼？1 資料探勘能做以下六種不同事情 分析方法 分類 classification 估值 estimation 預言 prediction 相關性分組或關聯規則 affinity grouping or as...
資料探勘的定義，資料探勘的概念和原理是什麼
就是從未知的大量資料中找到自己需要的知識。嘿嘿，上面這位的回答就這麼一句但恰好錯了。資料探勘是從大量資料中尋找到有價值有意義有趣事先未知的知識而不是從 未知的資料 中找到 自己需要的 知識。資料當然是已知的。可能找到的知識的結構決定於使用的方法資料模式。而具體知識是不是 知識 有沒有用，你需不需要，...
大資料資料分析資料探勘有什麼區別
資料分析與資料探勘的目的不一樣，資料分析是有明確的分析群體，就是對群體進行各個維度的拆 分 組合，來找到問題的所在，而資料探勘的目標群體是不確定的，需要我們更多是是從資料的內在聯絡上去分析，從而結合業務 使用者 資料進行更多的洞察解讀。資料分析與資料探勘的思考的方式不同，一般來講，資料分析是根據客觀...