データクレンジングの着手計画：問題の優先順位と手段選定の判断基準

「クレンジングが必要なデータはわかった。でも全部を一度に直すことはできない。どこから手を付け、Excelで済ませるべきか、スクリプトやツールを使うべきか」——この2つの問いに一括して答えるのが本記事のテーマです。優先順位の決め方から手段の選定基準まで、実務の着手計画に必要な判断軸を整理します。

データ品質問題の種類と、修正の難しさの違い

データ品質の問題は、修正の難しさ（コスト）という観点で大きく2つに分かれます。一つは「技術的に解決できる問題」——欠損値・重複レコード・型違い・形式の不統一など、ルールと処理手順が決まれば対応できるもの。もう一つは「業務の合意が必要な問題」——事業部間でのKPI定義の違い、コード体系の統一など、システム改修だけでは解決できないもの。この区別を意識せずに着手すると、難易度の高い問題に時間をかけ、すぐに直せる問題が放置されるという逆転が起きます。

優先順位の判断軸——「影響度」と「修正コスト」の2軸で整理する

着手順序を決めるには、「業務への影響度」と「修正コスト（工数・難易度）」の2軸で問題を分類するのが実用的です。

「最優先」は影響度が高く修正コストが低い問題です。必須項目の欠損・NULL整理、型違い・形式の統一、明らかな重複の削除は、処理手順が決まれば短期間で対応でき、業務上の困りごとを直接解消できます。「計画的に対応」は影響度は高いが修正コストも高い問題です。事業部間の定義統一やコード体系の整備は、担当者間の合意形成と段階的な実装が必要で、一度で解決しようとすると頓挫しがちです。

「余裕があれば」は任意入力項目の軽微な表記ゆれなど、直しても直さなくても業務への影響が限定的なもの。「後回し推奨」は影響度が低く修正コストが高い問題で、利用頻度の低いデータや廃止予定のシステムのデータが該当します。修正リソースは最優先問題に集中させるのが合理的です。

「影響度」はどう判断するか——使われているデータを起点にする

影響度の判断は「このデータを使って何をしているか」という問いから始めます。BIツールの集計キーになっているマスタデータ、月次レポートの集計対象になっている明細データ、AI学習データとして使用予定のデータ——これらは影響度が高い。逆に、入力はされているが誰も参照していない付帯情報、移行したが実際には使われていない旧フォーマットのデータは影響度が低い。使われていないデータの品質は、後回しにして構いません。

よくある「最初の一歩」の選び方

多くのプロジェクトで最初に手をつけるのは、「集計・分析の基盤になっているキー項目の欠損・重複・形式統一」です。ここが整うと、BIやレポートの数値への信頼が回復し、次に取り組む優先課題も見えやすくなります。全体を一斉に直そうとせず、「最も使われているデータの、最もコストの低い問題」から始めるのが、定着まで含めた効果を最大化する方法です。

過去の事例では、取引先ごとにCSV・Excelのフォーマットがバラバラで、重複・欠損が多発していました。まず着手したのはコード変換表と命名規則の整備——比較的コストが低く、影響の大きい「集計キーの統一」です。この対応だけで重複・欠損率が5.8%から0.6%に改善し、日次集計の工数が2時間から15分に短縮されました。

どの手段で直すか——Excelから始めてよい条件と限界のサイン

優先順位が決まったら、次の問いは「何の手段で直すか」です。多くの企業が最初に使うのはExcelです。フィルタリング・重複チェック・VLOOKUP・文字列関数——Excelには実はかなりのクレンジング機能があります。小規模なデータや単発の修正作業ならExcelで十分対応できることも多い。

Excelで十分対応できる4つのケース

以下のようなケースではExcelでのクレンジングは現実的かつコスト効率の高い選択です。無理にツールを導入する必要はありません。

• 対象データが数千〜数万行以内で、処理時間が許容範囲内に収まる
• クレンジング頻度が月次・四半期など低頻度で、都度手作業でも工数負荷が低い
• 修正ルールがシンプルで、担当者1〜2名が判断できる範囲に収まる
• 結果をExcel・CSV形式で出力すれば後続業務に支障がない

Excelが限界になる3つのサイン

次のいずれかに当てはまる場合、Excelだけのクレンジングには構造的な限界が来ています。

• サイン①　データ量の限界：対象が数十万行を超え、Excelが重くなる・処理が止まる・ファイルが破損するリスクが出てきた
• サイン②　繰り返しの限界：毎月同じ手順でクレンジングしており、担当者が変わると再現できない・引き継ぎに毎回コストがかかる
• サイン③　複雑さの限界：複数テーブル・複数システムのデータを統合・突合する必要があり、VLOOKUP・INDEX/MATCHでは対応しきれない

Excel以外のクレンジング手段：4つの分類

Excel以外の手段は大きく4つに分類されます。それぞれに適した状況が異なるため、自社の状況と照らし合わせて検討することが重要です。

• ①スクリプト（Python / SQL）：IT担当者が自作するカスタム処理。柔軟性が高く大量データにも対応できるが、スクリプトの保守・引き継ぎに技術力が必要。業務担当者だけでは運用しにくい
• ②データ統合・ETLツール：データパイプラインの一部としてクレンジングルールを定義・自動実行できる。設定工数はかかるが一度構築すると繰り返しの作業を大幅に削減できる
• ③クレンジング専門ツール・クラウドサービス：名寄せ・重複除去・住所正規化など特定処理に特化したツール。導入は比較的容易だが、対応できる処理の種類が限られる場合がある
• ④AIアシスト（ChatGPT・Claude等）：表記ゆれのパターン分析、ルール案の作成、変換スクリプトのコード生成など「ルールを考える」作業に向いている。大量データの直接処理には不向きで、トークンコストと情報漏洩リスクの管理が必要

AIアシスト（ChatGPT・Claude等）：クレンジングへの活用法と注意点

4つの分類のうち、AIアシストは他の3つと性格が大きく異なります。ExcelやスクリプトやETLツールが「実際のクレンジング処理を行う手段」であるのに対し、AIアシストは「どう直すかのルールを考える支援ツール」という位置づけです。また、コストと情報漏洩リスクへの配慮が特に必要なため、ここで活用法と注意点を補足します。

ChatGPTやClaudeなどの生成AIは、クレンジングの「実行」より「ルールを考える」作業に向いています。得意な用途を絞って使うことで、検討・設計フェーズの工数を大きく削減できます。

• 表記ゆれのパターン分析：サンプルデータを渡して「どのパターンがあるか」を洗い出させる
• クレンジングルールの草案作成：「この項目の正規化ルールを提案して」と指示する
• コード対応表・名寄せルールの作成：コード一覧を渡して統一案を出させる
• スクリプトのコード生成：処理ルールを説明してPythonやSQL文を書かせる

ツール選定の前に確認すべき3つの問い

ツール検討に入る前に、以下の3点を明確にしておくと判断の精度が上がります。

• ①何を直すのか：欠損・重複・表記ゆれ・コード不統一など、対象の問題の種類が多いほど汎用性のある手段が必要になる
• ②どの頻度で処理するのか：単発ならスクリプトで十分。月次・週次・日次と頻度が上がるほど自動化の価値が増す
• ③誰が運用するのか：IT担当者が主体ならスクリプトも現実的。業務担当者が主体ならUIのあるツールのほうが定着しやすい

問題の定量把握から着手計画まで

BFT Insightのデータ品質診断では、まず「何の問題がどこにどの程度あるか」を数値で把握します。この診断結果をもとに、「影響度×修正コスト」の優先順位マップを作成し、内製（Excel・スクリプト）で対応できる部分と、専門ツールや外部支援が必要な部分を切り分けます。

「どこから手をつければいいかわからない」という状態を、2週間で「着手順と担当の明確なアクションリスト」に変えることを目指しています。手段を先に決めるのではなく、現状把握から始めて最適な着手計画を立てる——これがBFTが一貫して推奨するアプローチです。