データクレンジング手法

データクレンジングの定義から、表記ゆれ・欠損・重複など5つの品質問題、4ステップの実施手順、主なツールの種類まで体系的に解説します。「一度やれば終わり」ではないという重要な視点も。

「クレンジングをしたのにまた汚れた」が繰り返される原因は、発生源を特定しないまま修正だけを行うからです。表記ゆれ・重複・欠損それぞれの発生源と、業務担当者とIT担当者が連携して進める修正ルール設計の実践を解説します。

クレンジングが必要なデータはわかった——でも全部は一度に直せない。どこから手をつけ、Excelかスクリプトかツールか、どの手段を選ぶか。「影響度×修正コスト」の優先順位マトリクスと手段別の選定基準を1本にまとめた実践ガイド。

名寄せは、同一顧客・企業を指す複数レコードを特定し1件に統合するデータクレンジングの手法です。重複削除との違い、表記ゆれの正規化から判定・統合までの基本手順を解説します。