第1回では、請求が保管・処理・ライセンスの3つの層に分かれ、データ品質が効くのは上の2つだと整理しました。今回はそのうち、いちばん判断が軽いところから始めます。誰も使っていないデータです。移行のときに念のため持ってきたテーブル、作ったが使われなかった集計結果、検証用に複製したまま残っているもの。これらは壊れていないため、品質の問題としては検知されません。それでも置いてあるかぎり、毎月請求されます。
連載「費用が増えにくいデータの持ち方」の第2回となる本記事で扱うのは、置いてあるだけのデータを見つけて外す手順です。移行のときに持ち込む分をそもそも減らす話はシステム移行前のデータ棚卸しで扱っているため、本記事はすでに置いてあるものだけを対象にします。同じ対象が重複して増えている分は、第3回で扱います。
壊れていないデータは、誰も見直さない
データ品質の点検は、欠けている値や重複した行を探します。使われていないテーブルは、その点検をすべて通過します。値は埋まっていて、重複もなく、形式も正しい。問題がないので、一覧にも上がってきません。
さらに、消す判断をする人がいません。作った人が異動していたり、そもそも誰が作ったか分からなかったりします。「使っているかもしれない」という一言で、判断は先送りされます。こうして、置いてあるだけのデータが積み上がっていきます。
見分ける手がかりは、最後に使われた日ひとつ
使っているかどうかを人に聞いて回ると終わりません。代わりに見るのは、最後に使われた日です。ただし取れ方はサービスによって違います。画面に「最終アクセス日」「最終参照日」として出るものもあれば、記録を取る設定を先に有効にしておく必要があるもの、監査ログやクエリの履歴から参照されたテーブル名を集計して調べるものもあります。もうひとつ先に確認したいのが、履歴をどこまで遡れるかです。保存期間はサービスや設定によって違い、1年に届かないこともあります。半年分しか残っていなければ、1年以上使われていないことはその履歴だけでは確かめられません。
並べると、たいてい3つの山に分かれます。直近1か月以内に参照されているもの、1か月から1年のあいだのもの、そして1年以上参照されていないものです。最後の山が、今回見直す候補です。想像より多いのが普通で、ここで初めて量の感覚がつかめます。
ただし、最後に使われた日は「不要だと決めるための情報」ではなく、「見直す対象を絞るための手がかり」です。人が開いていなくても、BIの参照元になっていたり、夜間のバッチや他システムとの連携が読んでいることがあります。消す前に、その自動の読み取りがないかを確認してください。
1年参照されていなくても、すぐには消せない
一覧が出たら、全部消したくなりますが、少なくとも3つが混ざっています。まとめて扱わないでください。
- 年次でしか使わないもの——決算、監査、年度の集計。1年以上参照されていなくても、来月使う可能性があります。これは残します
- 法令や契約で保存期間が決まっているもの——帳簿や取引の記録が該当します。参照されていないことと、消してよいことは別です。なお保存が求められるのは記録の内容で、いまのテーブルの形のままとは限りません
- 本当に不要なもの——移行時の一時テーブル、検証用の複製、作ったが使われなかった集計。これが対象です
個人データを含むものは、費用とは別の理由でも見直しが要ります。使っていない個人データを持ち続けると、漏えいが起きたときの規模がその分大きくなります。この観点はもう使っていない顧客データが、漏えいの規模を押し上げるで扱っています。
消す/移す/残すの3つに分ける
判断を「消すか残すか」の2択にすると止まります。「消すのは怖いが、置いておくのも高い」という状態が多いからです。3つ目の選択肢を用意してください。
| 扱い | 対象 | 効果 |
|---|---|---|
| 消す | 移行時の一時テーブル、検証用の複製、作ったが使われなかった集計 | 保管の費用がなくなる |
| 安い保管へ移す | 年次で使うもの、保存期間が決まっているもの、用途を確認しきれないもの | 保管の費用が下がる。取り出しには時間がかかる |
| 残す | 月次以上の頻度で参照されているもの | 変えない |
2択にすると止まる。移すという選択肢があると、判断が進む
なお、消したつもりでも、バックアップや世代管理に写しが残っていれば保管の量は減りません。消す運用を決めるときに、そちらの設定も合わせて確認してください。
安い保管へ移したものは、取り出すのに時間と費用がかかります。年に一度しか使わないものなら問題になりませんが、四半期で使うものを移すと不便になります。移す前に、年に何回使うのかだけ確認してください。保管先によっては最低の保存期間が決まっていて、早く消しても期間分は課金されることがあります。
同じことを繰り返さないために
一度片付けても、翌年には同じ状態になります。作るときの決め事がないからです。新しくテーブルを作るときに、2つだけ決めてください。
- いつまで要るか——期限を決められないものは、半年後に見直すと決めるだけでも構いません
- 誰に聞けばよいか——作った人ではなく、業務側で使う人の名前を残します。作った人は異動します
この2つが残っていれば、次回の棚卸しで「使っているかもしれない」が減ります。どこに何があるかを一覧にしておく進め方はツールを買わずに作るデータカタログで扱っています。
周期は年1回でよい。ただし日付を決める
棚卸しの周期は、年に1回で足ります。月次で見ても、1年以上参照されていないという判定自体が1年単位なので、見るたびに同じ顔ぶれが並びます。頻度を上げるより、やる日を決めておくことのほうが効きます。例外は、検証用の複製や一時的なテーブルが毎月のように増える環境です。この場合は1年を待たず、四半期で見たほうが増える前に止められます。なお同じ「棚卸し」でも、マスタのレコードが古くなっていないかを見る作業は別で、周期も対象ごとに四半期から1年と変わります。そちらは整備したマスタデータがすぐ崩れてしまうで扱っています。
決めるのは、実施する月と、誰が一覧を出すかの2つです。期末や年度初めは業務が立て込むため避けてください。一覧を出す人は情報システム部門で構いませんが、消す判断は業務側に返します。出す人と決める人を同じにすると、「分からないから残す」に寄ります。
- 実施する月を決める——業務の山から外した月にします
- 一覧を出す人を決める——最後に使われた日を取り出して並べるところまでが担当です
- 判断を返す先を決める——用途を説明できる業務側の人に、消す・移す・残すを選んでもらいます
一度やっておくと、2回目からは前回の一覧との差分だけを見れば済みます。新しく増えたものと、前回「残す」と判断したのに結局使われなかったものが出てきます。後者は2回目で消せます。
よくある質問
最後に使われた日が取れないサービスを使っています。
監査ログやクエリの履歴から、参照されたテーブル名を取り出せることがあります。それも難しい場合は、業務側で使っているレポートや画面の一覧、システム間の連携設定から逆にたどる方法があります。ただし履歴に出てこないことは、使われていないことの裏付けにはなりません。出てこないものは未使用と決めず、用途を確認する候補として扱ってください。
消してよいか判断できる人がいません。
その状態は、消してよい材料にはなりません。人が説明できないだけで、BIの参照元や夜間のバッチ、他システムとの連携が読んでいることがあるためです。先に見るのは人ではなく記録で、アクセスの履歴と連携の設定から、自動で読まれていないかを確認します。それも無く、法令や契約で保存期間も決まっていなければ、消す候補になります。不安があれば、消す前に安い保管へ移して半年置く方法もあります。
保管の費用はもともと小さいので、やる意味がありますか。
金額が小さければ、そこで止めて構いません。ただし一覧を出す作業自体には別の価値があります。何があるかが分かり、第3回で扱う重複の見当もつくようになります。どのテーブルがいま使われているかが分かるため、BIで集計する元データを選ぶときの迷いも減ります。費用の削減額だけで判断せず、一度は一覧を出してみてください。
消したあとに必要になったらどうしますか。
その不安があるうちは、消さずに安い保管へ移してください。移す前に、戻し方と、いつまで戻せるのかを確認しておきます。半年から1年置いて、取り出しの依頼が一度も来なければ消す、という進め方にすると判断が軽くなります。いきなり消す運用にすると、怖くなって全部残すことになります。
まとめ
使われていないデータは壊れていないため、品質の点検をすべて通過します。問題として一覧に上がらないまま、保管の費用だけが毎月かかり続けます。見分ける手がかりは最後に使われた日ひとつで、並べると1年以上使われていない山が出てきます。
ただし、その山には年次でしか使わないものと、保存期間が決まっているものが混ざっています。判断を消すか残すかの2択にすると止まるため、安い保管へ移すという3つ目を用意してください。そして同じことを繰り返さないために、新しく作るときに「いつまで要るか」と「業務側で誰に聞けばよいか」の2つだけ残しておきます。