目錄
第五章 資料清洗與檢驗
5.1 資料去重
5.1.1 完全去重
5.1.2 不完全去重
5.2 缺失值處理
5.2.1 缺失值清洗策略
5.2.2 去除缺失值
5.2.3 填充缺失值
本章習題
第五章 資料清洗與檢驗
常見的資料清洗操作包括重復值的處理、缺失值的處理、例外值的處理等操作，
5.1 資料去重
資料去重又稱重復資料的洗掉，找出資料檔案中重復的資料并將其洗掉，只保存唯一的資料單元，從而消除冗余資料，資料去重方法分為完全去重和不完全去重，
5.1.1 完全去重
完全去重指的是消除完全重復的資料，例如兩份分別記錄不同年份的用戶資料資訊的表格合并，發現合并后的表格存在完全重復的資料，為了便于使用這些用戶資料資訊，需要進行資料去重操作，
5.1.2 不完全去重
資料清洗程序中，所有欄位值都相等的重復值是一定要剔除的，根據不同的業務場景，有時還需要選取其中若干欄位進行去重操作，
5.2 缺失值處理
缺失值是指資料集中某個或者某些屬性的值是不完整的，產生的原因主要有人為原因和機械原因兩種，機械原因是由于機器故障造成資料未能收集或存盤失敗，人為原因是由主觀失誤或有意隱瞞造成，
5.2.1 缺失值清洗策略
下面通過一張圖描述缺失資料的缺失率以及重要性劃分的四種情況，
5.2.2 去除缺失值
資料缺失分為兩種：一種是行記錄的缺失，這種情況又稱資料記錄丟失；另一種是列值的缺失，即由于各種原因導致的資料記錄中某些列的值空缺，
5.2.3 填充缺失值
資料挖掘中面對的通常都是大型的資料庫，它的屬性有幾十個甚至幾百個，因為某個屬性值的缺失而放棄大量其他屬性，這種洗掉是對資訊的極大浪費，所以產生了插補缺失值的思想與方法，
常用的填充缺失值的方法是：均值填充、 熱卡填充、回歸填充、多重填充，
本章習題
四、操作題
1.通過kettle工具，實作一下功能：
(1)對檔案進行完全去重
(2)對檔案中缺失值進行填充
(1)完全去重
1. 打開kettle工具，建立轉換
新建轉換，添加“CSV檔案輸入”、“唯一行（哈希值）”控制元件以及Hop跳連接線，如圖5-1，
圖5-1
2. 配置”CSV檔案輸入“控制元件，
雙擊”CSV檔案輸入“控制元件，進入”CSV檔案輸入”界面；單擊“瀏覽”按鈕，選擇需要進行完全去重處理的CSV檔案；單擊“獲取欄位”按鈕，kettle自動檢索CSV檔案；單擊“預覽”按鈕，查看CSV檔案資料是否加載到CSV檔案輸入流中，如圖5-2，可以看到已經完成抽取，單擊“關閉”→“確定”按鈕，完成配置，
圖5-2
3. 配置“唯一行（哈希值）”控制元件，
雙擊“唯一行（哈希值）”控制元件，進入“唯一行（哈希值）”界面；在“用來比較的欄位”處添加要去重的欄位，可以單擊“獲取”按鈕，添加需要去重的欄位；單擊“確定”按鈕完成“唯一行（哈希值）”控制元件配置，如圖5-3，
圖5-3
4. 運行轉換
單擊作業區頂部的按鈕，運行轉換，如圖5-4，
圖5-4
（2）缺失值填充
1. 打開kettle工具，創建轉換
新建轉換，添加”文本檔案輸入“控制元件、”過濾記錄“控制元件、”空操作（什么也不做）“控制元件、”替換NULL值“控制元件、”欄位選擇“控制元件、“合并記錄”控制元件以及Hop跳連接線，如圖5-5，
圖5-5
2. 配置“文本檔案輸入”控制元件
雙擊“文本檔案輸入”控制元件，進入“文本檔案輸入”界面；單擊“瀏覽”按鈕，選擇需要填充缺失值的檔案；再單擊“增加”按鈕，將要填充缺失值的檔案添加到“文本檔案輸入”控制元件中；單擊“內容”選擇卡，切換到“內容”選擇卡界面，如圖5-6，
圖5-6
在圖5-6中清除分隔符處的默認分隔符“；”，單擊“Insert TAB”按鈕，添加一個制表符；取消勾選“頭部”復選框，不取消則會在資料抽取時會排除檔案第一行資料；單擊“欄位”選擇卡，如圖5-7，
圖5-7
在“欄位”選擇卡界面，根據檔案內容添加對應的欄位名稱，并指定資料型別，添加的欄位都選擇“不去掉空格”；單擊“預覽”按鈕，查看資料是否抽取到文本檔案流中，可以看到已經成功抽取，如圖5-8；單擊“關閉”→“確定”按鈕，完成文本檔案輸入”控制元件配置，
圖5-8
3. 配置“過濾記錄”控制元件
雙擊圖5-5中的“過濾記錄”控制元件，進入“過濾記錄”界面；在“條件”處設定過濾的條件，將過濾欄位設定為workclass、過濾值設定為private作為過濾條件；在“發送true資料給步驟”：下拉串列中選擇“空操作（什么也不做）”，將另一個選擇“空操作（什么也不做）2”；單擊“確定”按鈕，完成“過濾記錄”控制元件配置，如圖5-9，
圖5-9
4. 配置“替換NULL值”控制元件
雙擊5-5中“替換NULL值”控制元件，進入“替換NULL值”界面；勾選“選擇欄位”復選框，并在“欄位”框添加欄位hours_per_week，值替換為44（采用平均值填充，hours_per_week所有值求和的平均值）；單擊“確定”按鈕，完成“替換NULL值”控制元件配置，如圖5-10，
圖5-10
5. 配置“合并記錄”控制元件
雙擊圖5-5中“合并記錄”控制元件，進入“合并行（比較）”界面；在“舊資料源”：后的下拉串列選擇“替換NULL值“，在”新資料源“：后的下拉串列下選擇”空操作（什么也不做）2“；在”匹配的關鍵字“部分添加關鍵欄位userid；單擊”確定“按鈕，完成配置，如圖5-11，
圖5-11
6. 配置”替換NULL值2“控制元件
雙擊圖5-5中”替換NULL值2“控制元件，進入”替換NULL值2“界面；勾選”選擇欄位“復選框，并在”欄位“框添加欄位workclass，值替換為private；單擊”確定“按鈕，完成”替換NULL值2“控制元件配置，如圖5-12，
圖5-12
7. 配置”欄位選擇“控制元件
雙擊圖5-5中”欄位選擇“控制元件，進入”選擇/改名值”界面；在“移除“選擇卡界面添加需要移除的欄位名稱flagfield；單擊”確定“按鈕，完成”欄位選擇“控制元件配置，如圖5-13，
圖5-13
8. 運行轉換
單擊轉換作業區頂部的運行按鈕，如圖5-14，
圖5-14
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/319651.html
標籤：其他