データ品質診断とは？自社データの現状を正しく把握する3つのアプローチ

「データの品質が悪いことはわかっている。でも、何がどの程度悪いのかは把握できていない」——データ品質の改善に取り組もうとする多くの組織が直面する状況です。この状態のまま改善に着手しても、「どこを直せばよいか」「改善したかどうかどう判断するか」が曖昧なまま進むことになります。

データ品質診断とは、この「なんとなく」を「どこが・どの程度・どんな問題か」に変える作業です。診断の結果があってはじめて、改善計画・優先順位・ROI試算が可能になります。本記事では、診断の目的・3つのアプローチ・診断を成功させるスコープ設定の考え方を解説します。

なお、DMBOKやデータ品質の理論的フレームワークについてはデータ品質とは？現場担当者が知っておくべき5つの評価指標をご参照ください。本記事は理論よりも「実際にどう診断を進めるか」の実務ガイドです。

診断なしで改善を着手した場合の3つのリスク

データ品質の問題に気づいたとき、多くの組織は「感覚で問題箇所を特定し、すぐ直し始める」という判断をします。しかし現状を数値で把握せずに改善に着手すると、以下の3つの問題が起きやすくなります。

• リスク①：優先順位を誤る。「重複が多い気がする」という感覚で3ヶ月かけて重複解消を進めたが、現場担当者が実際に困っていたのは電話番号の欠損だった——こうしたケースでは、投資した工数と得られる業務効果が一致しません。どの問題が業務に最も影響しているかは、計測して初めてわかります。
• リスク②：改善効果を測れない。クレンジングを実施しても「前よりましになった気がする」という評価しかできなければ、次の投資判断ができません。改善前の基準値（ベースライン）がなければ、ビフォーアフターを経営層に示せず、継続的な改善活動の予算を確保することも難しくなります。
• リスク③：症状を直しても再発する。重複レコードを手作業で削除し続けても、データ入力プロセスに問題があれば同じ重複が毎月発生します。どこで品質が劣化しているかを把握しないまま修正を繰り返すと、クレンジングが永続的な作業になります。

なぜ診断が「感覚」ではなく「数値」でなければならないのか

「データが悪い」という感覚は多くの人が共有できます。しかし「何をどのくらい改善すればよいか」を決めるには数値が必要です。例えば「顧客マスタの欠損率が32%ある」「重複レコードが全体の8%存在する」という数値があれば、改善後の目標（欠損率5%以下・重複率1%以下）を設定でき、進捗管理と効果測定が可能になります。また、経営層への予算申請・IT部門との優先順位の合意・業務部門の改善計画承認など、関係者を動かすための判断材料としても、数値は「感覚」より圧倒的に説得力があります。

何を計測するか：実務でよく使われる計測指標

DMBOKなどでは、データ品質は完全性・一意性・有効性・整合性・正確性・適時性など複数の品質次元で評価されます。このうち、SQLやデータ照合により比較的計測しやすく、診断の入口として実務で頻繁に使われるのが以下の4指標です。これらの指標を体系的に集計・分析する作業はデータプロファイリング（Data Profiling）とも呼ばれ、診断の起点となります。

• 欠損率（Completeness）：重要フィールドにNULL・空白がどれだけあるか。最も確認しやすい指標
• 重複率（Uniqueness）：同一エンティティを指すレコードが複数存在している割合
• 形式エラー率（Validity）：日付フォーマットのズレ・文字数制限違反・想定外の値が何件あるか
• 参照整合性エラー（Consistency）：関連テーブルやシステム間でデータが整合していない件数（例：受注データの顧客IDが顧客マスタに存在しない）

データ品質診断の3つのアプローチ

データ品質診断には、アプローチの異なる3つの方法があります。状況に応じてこれらを組み合わせて使います。

• ①業務ヒアリング：現場担当者に「データを使っていて困ること」「信頼できないと感じるデータ」を聞き取る。技術的な計測の前に問題の全体像を把握できる。1〜2週間で実施可能で、データへのアクセス権がなくても始められる。
• ②データ計測：実際のデータベースやCSVに対して、欠損率・重複率・形式エラーを集計する。SQLクエリ・Excelピボット・Pythonスクリプトなどで実施。客観的な数値を出せるが、対象データへのアクセス権と技術的なスキルが必要。
• ③プロセス追跡（データ系譜の確認）：データがどのシステムでどのように入力・更新・転送されているかを追跡し、品質が劣化するポイントを特定する。根本原因の特定に最も有効だが、システム理解と時間が必要。

診断の範囲設定：全部やろうとすると失敗する

「全社のデータを全部診断する」という方針は、対象が広すぎると工数が膨大になり、診断が完了する前にプロジェクトの優先度が下がるリスクがあります。実務的な診断の起点は「業務への影響が大きいデータ」から絞り込むことです。

スコープ設定の基準として有効なのは、①定期的に使っているKPIのソースとなるデータ（信頼性が低いと困るデータ）、②近くシステム移行・BI導入・AI活用を予定しているデータ、③現場担当者が「問題がある」と感じているデータ、の3点です。まず1〜2テーマに絞って試験的な診断を行い、手順と工数を把握してから全体展開する進め方が現実的です。診断のスコープ設定の詳細については診断の前に整理すべきこと——スコープ定義が改善の成否を分けるもご参照ください。

診断結果をどう活用するか

診断で得られた数値は、（1）改善優先順位の決定、（2）改善後の目標値の設定、（3）経営層への改善提案の材料、（4）外部支援を活用する場合の見積もり根拠、として活用できます。「診断した結果、欠損率32%・重複率8%が判明した。まず重複解消に1カ月・欠損補完に2カ月をかけて改善する計画を立てた」というように、診断が改善アクションの起点になります。また、複数の指標を総合スコア（100点満点等）として可視化するデータ品質スコアリングを行うと、改善前後の変化が一目でわかり、経営層への定期報告にも活用できます。

まとめ

• データ品質診断とは、「なんとなくデータが悪い」という感覚を「どこが・どの程度・どんな問題か」という数値に変える作業
• 診断なしで改善を始めると、優先順位の誤り・効果測定不能・症状しか直せず再発、という3つのリスクが起きやすい
• 診断のアプローチは①業務ヒアリング・②データ計測（データプロファイリング）・③プロセス追跡の3つ。状況に応じて組み合わせて使う
• スコープは「全社一括」ではなく、業務影響が大きいデータから1〜2テーマに絞ることが成功のカギ
• 診断で得た数値は、改善優先順位・目標値設定・経営層への提案・外部見積もりの根拠として活用できる