BIで顧客別の売上を出すと、上位に同じ会社が2行並ぶ。「株式会社○○」と「○○株式会社」のように、見れば同じだと分かるものです。これは直せます。問題はその先にあります。
住所が途中まで同じで番地だけ違う2件。社名は同じだが電話番号が別の2件。片方に「東京支店」と付いている2件。これらは、見ても同じ会社かどうか分かりません。名寄せの作業が止まるのは、こうした数十件のところです。
本記事では、この数十件をどう裁くかを決める方法を扱います。名寄せとは何かという基本は名寄せの基本と進め方、プロジェクトとしての進め方や工数は名寄せの進め方と準備ステップで扱っており、本記事では触れません。
候補は、同じ・別・どちらとも言えない、の3つに分かれる
名寄せの候補を一致度の高い順に並べると、両端ははっきりしています。社名も住所も業種も違うものは、別の会社です。法人番号まで一致するものは、同じ法人である可能性が非常に高い候補です。ただし国税庁は、同じ法人番号を用いている法人等がすべて一の法人等であることを証明するものではない、と法人番号についてよくある質問で示しています。強い手がかりではありますが、証明ではありません。
グレーゾーンの件数は、元データの品質や、どこに線を引くかによって大きく変わります。1万件のマスタでも、数十件で済むこともあれば、数百件以上が確認対象になることもあります。件数としては全体の一部でも、1件ずつ過去の取引履歴や請求先を見に行って確かめることになるため、確認の負荷がここに集中しやすくなります。
名寄せツールを入れると、表記の正規化や類似度の計算によって、人が確認する件数を減らせる場合があります。ただし、取引単位や請求先の違いのように業務上の判断が必要なものは残ります。そこを減らすのはツールの設定ではなく、「どこまでを同じと見なすか」という決め事です。
決めること① どの項目を、どの順に突き合わせるか
突き合わせに使える項目は、識別力が違います。同じ法人である可能性を高く示すものから、候補を絞り込むことしかできないものまで差があります。識別力の低い項目から当てると、別の会社を同じだと判定してしまいます。
法人番号は国税庁が法人等ごとに指定する13桁の番号です。自社のマスタに入っていなくても、国税庁の公開データと社名・住所で突き合わせれば付けられます。付け方は名寄せの基本と進め方で扱っています。なお項目の強さは固定ではありません。電話番号は代表番号を複数の法人で共有していることがあり、住所も同じビルに複数の会社が入っていることがあります。自社のデータでどの項目が信用できるかを、先に確かめてください。
ただし法人番号は法人単位なので、支店や事業所は同じ番号になります。支店ごとに取引条件や請求先が違う場合、法人番号だけで統合すると支店の区別が消えます。「どの単位を1件と数えるか」を先に決めてください。ここは商品コードや顧客区分の設計と同じ話で、名寄せの前にコード体系の側で決まっていることもあります。
決めること② どこまで一致したら、同じと見なすか
項目の順番が決まったら、次は「どの組み合わせで一致したら同一と見なすか」です。ここが、最初に挙げた数十件の正体です。
注意したいのは、一致・不一致の2値では決まらないことです。社名は「表記を揃えれば一致」「前株と後株だけ違う」「略称と正式名称」など、一致の度合いに幅があります。住所も、都道府県まで・市区町村まで・番地まで、どこまで一致しているかで意味が変わります。
| よくある組み合わせ | 同一と見なすか | 確かめること |
|---|---|---|
| 法人番号が一致・取引単位も同じ | 自動で統合してよい候補 | 請求先や取引先コードに食い違いがないか |
| 社名が完全一致・住所が番地まで一致 | 自動で統合してよい候補 | 既存の取引先コードや請求先が矛盾していないか |
| 社名が完全一致・住所が市区町村まで一致 | 保留にする | 移転したのか、別拠点なのか。取引の時期を見る |
| 社名が完全一致・電話番号が違う | 保留にする | 部署直通か、移転後の番号か。請求先を見る |
| 社名に「支店」「営業所」が付く・住所が違う | 原則として統合しない | 支店単位で取引しているなら別レコードのまま。法人単位で集計したいときは、親法人に関連づける |
| 社名が部分一致のみ（例：○○商事と○○商事開発） | 統合しない | 別法人の可能性が高い。法人番号で確かめる |
「保留にする」を選択肢として用意しておくことが要点
この表の線をどこに引くかは、業務によって変わります。請求を分けている単位が違えば、答えも変わります。大事なのは正解を当てることではなく、同じ条件に対して毎回同じ判断になることです。担当者が交代しても結果が変わらないかどうかが、この決め事の役割です。関連する考え方は一意性とは何かでも扱っています。
決めること③ 判断できないものを、どこに置くか
保留にすると決めたものを、どこに置くかを決めていないと、名寄せは止まります。元のマスタに戻すと次の実行でまた候補に挙がり、消すと判断した履歴が失われます。
保留の置き場所には、最低限この4つを残してください。候補となった2件のID、どの項目がどこまで一致したか、判断を保留した日付、そして誰に確認を依頼したかです。これがないと、同じ2件が毎月候補に挙がり続け、そのたびに同じ調査をやり直すことになります。
- 候補の組（どのレコードとどのレコードか）
- 一致した項目と、その一致の度合い
- 保留にした日付と、再判断の期限
- 確認を依頼した相手と、返ってきた判断
確認を依頼する相手も決めておきます。同じ会社かどうかは、データを見ている人では決められません。その取引先を担当している営業や、請求を出している経理が判断できます。誰に持っていくかが決まっていないと、保留のまま滞留します。この行き先の決め方はデータオーナーの置き方で扱っています。
決めた線は、あとから動かせるようにしておく
最初に引いた線は、だいたい一度は引き直すことになります。実データに当ててみると、想定していなかった組み合わせが出てくるためです。
そのため、統合は「上書き」ではなく「関連づけ」で始めることをおすすめします。2件を1件にまとめてしまうと、判断が間違っていたときに元に戻せません。どのレコードとどのレコードを同一と見なしたかを別に持っておけば、線を引き直したときに作り直せます。あわせて、関連づけたレコードをBIで集計するときにどれを代表の顧客IDとするかも決めてください。これを決めないと、関連づけただけで売上が二重に計上され、冒頭の「顧客別売上が合わない」が解消しません。変更の履歴をどう残すかはマスタデータの変更管理で扱っています。
なお、統合したあとに同じ重複が再び増えるかどうかは、入力の側で決まります。名寄せは一度やれば終わりではありません。再発を防ぐ仕組みは整備したマスタを維持する設計にまとめています。
まず100件で試す
全件に当てる前に、100件ほどを手で確かめてください。目的は、引いた線が実データに合っているかを見ることです。
100件のうち、自動で統合してよいと判定されたものを1件ずつ見ます。間違って統合されているものが見つかったら、その原因になった条件を特定して線を引き直します。逆に、見れば明らかに同じなのに保留に回っているものが多ければ、線が厳しすぎます。この2つを見て境目を動かします。ただし100件は初期の確認であって、全体の精度を保証するものではありません。誤って統合されたものが出た組み合わせについては、件数を増やして追加で確かめてください。
最初に手をつけるマスタをどれにするかは、いま起きている症状から決められます。顧客・商品・取引先のどれから整えるかに整理しています。
よくある質問
名寄せツールを導入すれば、こうした線引きは不要になりませんか。
ツールは表記の正規化や一致度の計算を行い、人が確認する件数を減らせる場合があります。ただし、どこから同一と見なすかという境目は、利用する側が設定する項目です。初期値のまま使うこともできますが、その場合も「この設定で自動統合してよいか」を一度は実データで確かめる必要があります。むしろツールを入れるときこそ、本記事の①②③を先に決めておくと設定が決まります。
グレーゾーンの件数が多すぎて、1件ずつ確認しきれません。
まず、グレーゾーンに入っている理由で分類してください。「住所の表記ゆれで一致度が下がっているだけ」のように、前処理で解消できるものが一定数混ざっていることが多いです。表記の正規化を先にかけると件数が減ります。それでも残るものは、売上金額や取引の頻度など、BIの集計に与える影響が大きいものから手をつけてください。件数を全部つぶさなくても、影響の大きい取引先から整えれば集計結果は合ってきます。なお、顧客数や取引社数を数える集計では、金額の大小で優先順位を決められないため、別に見る必要があります。
法人番号を付ければ、すべて解決するのではないでしょうか。
法人同士の判別には有効ですが、2つの限界があります。ひとつは、支店や事業所が同じ番号になるため、支店単位で取引している場合は区別できないこと。もうひとつは、個人事業主には法人番号が指定されないことです。人格のない社団等については、一定の要件を満たして届け出た場合に指定されるため、あるものとないものが混ざります。取引先に個人事業主などが含まれる場合、法人番号だけでは名寄せが完結しません。
過去に統合してしまった分は、やり直せますか。
統合前のレコードが残っていれば戻せますが、上書きしている場合は復元できません。これから始める場合は、統合を上書きではなく関連づけとして持つことをおすすめします。すでに上書きしてしまっている場合は、取引履歴や請求データなど別のシステムに残っている情報から再構成できることがあります。まず、どこに元の情報が残っているかを確かめてください。
まとめ
BIで顧客別の売上が合わないとき、名寄せを止めているのは明らかな重複ではなく、同じ会社か断定できない候補です。この数十件を裁くために決めるのは、どの項目をどの順に突き合わせるか、どこまで一致したら同一と見なすか、判断できないものをどこに置いて誰に確認するか、の3つです。
引いた線が最初から正しい必要はありません。まず100件で試して動かせるようにしておくこと、統合を上書きではなく関連づけで持っておくこと、そしてBIで集計するときの代表の顧客IDを決めておくことのほうが重要です。顧客・取引先マスタの整備についてのご相談は、BFT Insightまでお気軽にどうぞ。