「データが入力されている」と「データが正しい」は別の話です。完全性の高いデータでも、入力された値そのものが誤っていれば意思決定を誤らせます。この「値の正しさ」を評価するのが正確性(Accuracy)です。
BI・AI活用の文脈では、正確性の欠如は特に深刻な問題を引き起こします。BIダッシュボードで「顧客の年商が1,000万円」と表示されていても、入力誤りで実際は1億円だとすれば、与信判断や営業戦略の優先順位を誤らせます。AIモデルの学習データに不正確な値が混入すると、モデルが誤った関係性を学習するなどして、予測精度に悪影響を及ぼす可能性があります。「データが入っている」だけでは不十分で、「正しい値が入っている」ことがBI・AI活用の出発点です。
完全性と正確性の違い——マトリクスで整理
正確性を理解する最も簡単な方法は、完全性と対比することです。「値あり×正確」が理想、「値あり×不正確」が正確性問題、「欠損」が完全性問題です。
正確性の問題は、完全性の問題より発見が難しい点が特徴です。NULL(空欄)は機械的に検出できますが、「東京都千代田区1-2」と入力された住所が正しいかどうかは、多くの場合、郵便番号マスタなどの外部データとの照合や業務担当者による確認が必要になります。
正確性エラーの3分類
実務で見られる正確性の問題は、原因別に代表例として次の3つが挙げられます。それぞれ発生原因が異なるため、対策も異なります。
- 転記・入力ミス型:手作業による入力時に発生するもっとも典型的なエラー。姓名の逆転・ゼロの入力漏れ・単位の取り違えなどが代表例。業務ルールとの照合や外れ値検知で発見できるものが多い
- 古い情報型:入力時点では正しかったが、業務変化・転居・組織変更によって事実と乖離した状態。正確性の低下として現れることがある一方、データ品質上は最新性(Timeliness)と密接に関係する。欠損チェックでは発見できず、最新性管理と組み合わせた確認が必要になる
- システム変換エラー型:コード変換・ETL処理・マイグレーション時に発生。単位変換(円→千円)や文字コード変換の不備が原因となることが多く、変換ロジックの検証が対策の鍵
このうち「古い情報」は特にやっかいです。入力時点では正確でも、時間の経過とともに現実と乖離することがあります。この現象は最新性(Timeliness)の問題であると同時に、用途によっては「現在の実態を正しく表していない」という意味で正確性にも影響します。正確性と最新性をセットで管理することが有効です(詳しくは最新性の記事で扱います)。
正確性の確認手法——3アプローチ
正確性の検証には目視・マスタ照合・統計的手法の3つのアプローチがあり、データの種類・量・予算によって使い分けます。
- 目視確認:業務担当者がサンプルを手作業で確認する方法。少量データや「ルール化できない正しさ」(文脈的に不自然な値)の発見に有効。全件確認は現実的でないため、業務影響の大きいフィールドを絞ってサンプリングする
- マスタ照合:郵便番号・法人番号・商品コードなどの外部マスタや内部マスタと突き合わせてエラーを検出する方法。自動化しやすく、規模の大きいデータにも対応できる
- 統計的手法(外れ値検知):数値の分布から平均・標準偏差を計算し、大きく外れた値を「正確性の確認候補」として抽出する方法。売上・数量・金額など数値項目に有効。外れ値が「正しい例外値」である可能性もあるため、正確性を直接証明する手法ではなく、確認が必要な値を絞り込む目的で活用する
3つの手法は排他的ではなく、組み合わせることで精度が上がります。少量・重要データには目視確認、コード類にはマスタ照合、数値項目には外れ値検知を組み合わせる設計が、費用対効果のよい正確性確認の基本的な考え方です。
BFTのアプローチ
BFT Insightの診断では、対象データの種類に応じた検証手法を組み合わせて正確性を評価します。社内マスタ・公的マスタ(法人番号・郵便番号等)・外部参照データとの照合、数値項目の外れ値候補の抽出、業務担当者とのサンプル確認を組み合わせ、単なる「欠損チェック」に留まらない正確性診断を提供します。
まとめ
- 正確性とは「入力された値が現実と一致しているか」を評価する指標で、完全性(値の有無)とは別の問題
- 正確性の代表的な問題として転記ミス・古い情報(最新性とも密接に関連)・システム変換エラーがあり、原因によって対策が異なる
- 検証手法は目視・マスタ照合・外れ値検知の3つを、データの種類・量・予算に応じて使い分ける
- NULLチェックで検出できる欠損と異なり、「値はあるが間違っている」正確性問題は機械的な検出が難しく、業務ルールとの照合や外部マスタとの突き合わせが必要になる
- BI・AI活用においては、不正確な値がそのまま分析結果・予測精度に影響するため、正確性の確保は活用の前提条件
- 古い情報型のエラーは最新性(Timeliness)とも関係し、正確性と最新性はセットで管理することが有効
- 全データを完璧に正確化するのは困難なため、業務影響の大きいフィールドから優先的に確認・改善する実践的なアプローチが重要
よくある質問
正確性の問題はどうやって見つければよいですか?
まず業務上の異常(「この顧客に郵便物が届かない」「この価格はおかしい」)からさかのぼる方法と、統計的手法(外れ値・平均からのずれ)で機械的に検出する方法があります。全件を確認することは現実的でないため、影響の大きいフィールドを絞り込んでサンプル確認するのが現実的です。
正確性と整合性は何が違いますか?
正確性は「その値が現実と一致しているか」を問い、整合性は「複数のシステム・テーブル間でデータの定義・表記・値が揃っているか」を問います。Aシステムに「株式会社ABC」、Bシステムに「㈱ABC」と登録されている場合、値はどちらも正確でも整合性に問題があります。
正確性の問題はどの程度の頻度で起きますか?
発生頻度はデータの入力方法・業務プロセス・システム構成によって大きく異なります。手作業入力が多い環境では入力ミスが積み重なりやすく、システム移行やETL処理を経るたびに変換エラーが生じるリスクがあります。具体的な目安はありませんが、サンプル確認を行うと予想より多くの問題が見つかることがあります。定期的なサンプルチェックの仕組みを持つことが、正確性を維持する現実的なアプローチです。