「データをきれいにしてください」と言われたものの、何から始めればよいかわからない——データクレンジングを初めて担当する方に多い状況です。クレンジングは範囲が広く、やり方も「Excelで手動修正」から「スクリプトを書く」まで幅広い。「どのデータに対して」「何の問題を」「どの方法で」直すかが決まっていないと、作業量の見積もりも進捗管理もできません。
データクレンジングとは何かの基礎については「データクレンジングとは？現場で失敗しないための基礎と実施ステップ」をご参照ください。本記事は「初めてクレンジングに取り組む担当者が、実際に手を動かし始めるための5ステップ」です。クレンジング後の再発防止・ルール設計については「クレンジングしても元に戻るのはなぜか：発生源の特定と修正ルール設計の実践」もあわせてご参照ください。
データクレンジングの手順5ステップ
対象データと問題の種類を決める
業務影響が大きく問題が明確なデータに絞り込む
問題の全体像を把握する（現状計測）
欠損・重複・エラーの件数・割合を集計して作業量を把握
修正ルールを業務担当者と合意する
「どの状態が正しいか」を明文化し、承認を得てから作業開始
修正を実施する
バックアップ後、件数・難度に応じた方法（Excel/SQL/Python等）で実施
修正後の検証と再発防止策の検討
計測値を再集計して改善を確認し、問題の発生源の修正を検討
ポイント：Step2の計測を先に行うことで、作業量の見積もりと完了確認の両方に使える
Step1：対象データと問題の種類を決める
クレンジングの出発点は「何のデータの・どんな問題を直すか」の絞り込みです。全データを一度にきれいにしようとすると工数が膨大になり、途中で停滞するケースが少なくありません。選定の基準は「業務への影響が大きく、問題が明確なもの」からスタートすることです。例えば「顧客マスタの法人名の表記ゆれ」「受注データの担当者コードの欠損」のように、初めて取り組む場合は1テーブル・1種類の問題から着手すると進めやすくなります。
Step2：問題の全体像を把握する（現状計測）
対象データが決まったら、実際に問題の件数・割合を集計します。「欠損がある行が何件・全体の何%」「重複しているレコードが何件」「形式エラーが何件」という数値を把握することで、作業量の見積もりと優先順位の判断ができます。ExcelのCOUNTIF・COUNTBLANK・ピボットテーブルなど、またはSQLのGROUP BY集計で対応できます。この計測をスキップして作業に入ると、作業量や進捗を把握しにくくなります。
Step3：修正ルールを業務担当者と合意する
修正を始める前に「どの状態が正しいか」のルールを業務担当者と合意することが重要です。このステップを省くと、修正後に「自分たちの定義と違う」と指摘されて手戻りが発生します。例えば表記ゆれの修正であれば「法人名は社内で定めた表記ルール（例：登記上の正式表記に統一する）に従う」というルールを明文化します。欠損の補完であれば「どのソースから補完するか・補完できない場合はどうするか」のルールが必要です。
- 表記ゆれ：「正しい表記」のサンプルを業務担当者に確認してもらう
- 欠損：補完ソース（他システム・台帳・担当者への確認）と、補完できない場合の扱い（空白のまま・「不明」と記入・除外する）を決める
- 重複：どちらのレコードを「正」とするか（最新のもの・入力精度が高いもの）のルールを決める
- 異常値・外れ値：削除するか・修正するか・そのまま残して別フラグを立てるかを決める
Step4：修正を実施する
ルールが決まったら、実際の修正作業を行います。修正の方法はデータの件数・種類・環境によって異なります。
- 数百件程度・単純な修正：Excel（SUBSTITUTE関数・TRIM・置換機能）で対応可能
- 数千〜数万件・繰り返しパターン：PythonスクリプトまたはExcelマクロで一括処理
- 複数テーブルにまたがる修正：SQLで対応するか、データ統合ツールを使用
- マスタデータの重複統合（名寄せ）：専用ツールまたはRapidFuzzなどPythonの文字列類似度ライブラリを活用
重要なのは「修正前のデータを復元できる状態（バックアップ・スナップショット・バージョン管理など環境に応じた方法）を確保してから作業に入ること」です。問題が発覚した場合に元の状態に戻せる準備をしておくことが重要です。
Step5：修正後の検証と再発防止策の検討
修正が完了したら、Step2で実施した計測と同じ方法で「欠損率・重複率・エラー率」を再集計し、改善が達成されたことを確認します。この検証なしに「修正したから完了」とすると、見落としやミスが発見されないまま業務で使われることになります。
検証が完了したら「同じ問題が繰り返されないための仕組み」を考えます。クレンジング後に同じ状態に戻るのを防ぐためには、問題の発生源（どのシステム・プロセスで品質劣化が起きているか）を特定し、入力時の制御ルールを設計する必要があります。これについては「クレンジングしても元に戻るのはなぜか：発生源の特定と修正ルール設計の実践」で詳しく解説しています。
まとめ
- 対象データを絞り込んで始めることが重要。全データを一度にきれいにしようとすると工数が膨大になり途中で止まりやすい
- Step2の計測（件数・割合の集計）を先に行うことで、作業量の見積もりと完了確認の両方に使える
- 修正ルールは業務担当者との合意が必須。合意なしに進めると「定義が違う」という手戻りが発生する
- 修正前のバックアップは必須。問題発覚時に元データへ戻せる状態を確保してから作業する
- Step5の検証（再計測）で改善を数値で確認し、再発防止の仕組み設計につなげる
初めてのクレンジング——どこから始めればよいか相談したい
「何のデータから手をつければよいか」「現状の問題件数を把握したいが計測の方法がわからない」——クレンジングの起点設計から、現場担当者が実施できる範囲の整理まで、BFT Insightがご支援します。対象データの概要をお聞きしたうえで、工数と優先順位を含めた着手計画をご提案します。
よくある質問
クレンジングはどこで実施すべきですか？本番DBで直接やってよいですか？
本番データベースで直接修正することは基本的に避けてください。修正前のデータをバックアップし、テスト環境で修正スクリプトの動作を確認してから本番に適用する手順が標準的です。Excelで管理しているデータであれば、修正前にシートをコピーしてバックアップを作ってから作業します。
クレンジングは1回やれば終わりですか？
一度クレンジングしても、入力プロセスが変わらなければ同じ問題が蓄積し続けます。「クレンジングは1回で終わり」ではなく、「問題の発生源を修正し、新しい問題が蓄積しにくい仕組みを作ること」がゴールです。クレンジングと再発防止策は合わせて実施することをお勧めします。
修正ルールを決めるとき、IT部門と業務部門はどちらが主体になるべきですか？
修正ルールの内容（「正しい状態の定義」）は業務部門が主体で決める必要があります。IT部門は技術的な実装（どのシステムで・どの方法で修正するか）を担当します。この分担が明確でないと「IT部門が独断でデータを変えた」というトラブルになりやすく、修正後のデータが業務で使われないことがあります。