「有効なデータ」は、誰が決めるのか

データベースの中に、「有効／無効」は入っていない

実験データを整理してデータベースを作ったとき、「このデータは有効」「これは無効」という判定は、データベース自体には入れなかった。
データベースは、あくまで大元のデータを保管する場所だ。原本を置いておく場所で、解釈をする場所ではない。だから、有効か無効かを決める基準が変わっても、データベースの作り自体は何も変わらなかった。
では「有効かどうか」は、どこで決まるのか。

判定できるのは、実験を理解している人だけ

結論から言うと、有効なデータかどうかを判定できるのは、その実験をした本人か、同じチームでその実験とデータをちゃんと理解している人だけだ。
有効な実験になっていたかを確認するには、ポイントを押さえて生データを見ていく必要がある。その「ポイント」が何かは、分野の実験を分かっている人にしか分からない。基準を文章に書き起こすことはできても、最後に「これは使える」「これはおかしい」と見抜くのは、データの素性を知っている人の目だ。
ポイントの例を挙げると、こういうものだ。

• そのデータが「いつ、どんな条件で」取られたものかが揃っているか。日付と条件が欠けたデータは、あとから問題が起きても原因を追えない

• 単位や桁の約束事が、途中で変わっていないか。分野によって単位の慣習が違い、混ざると数字の意味自体が変わる

• 機械やソフトの更新をまたいでいないか。更新で測り方の感度が変わると、更新前後の数字は「同じもの」として並べられなくなる

一個一個の生データを全部見る必要はない。でも、この手の「見るべき場所」は、実験をやった人と、そのデータで解析をしてきた人にしか共有されていない。だから判定は、その人たちにしかできない。
これは、AIでデータを扱うときも同じだと思う。「何をもって正しいデータとするか」は、ツールが決めてくれるものではなく、業務とデータを理解している人が決めるものだ。

基準が要るのは、「解釈のためのデータ」を作るとき

では、基準は要らないのかというと、そうではない。
データベースを元に解析するとき、毎回原本を見て結果を解釈するわけにはいかない。そこで必要になるのが、データベースから作る「結果を解釈するためのデータ」だ。いわば、原本とは別の、解釈用のデータの置き場である。
この解釈用のデータは、「有効なデータをどう定義するか」という基準が決まって、初めて成立する。どのデータを拾い、どれを外すか。その線引きなしに、解釈用のデータは作れない。

推進担当の仕事は、「判断の場」を作ること

ここからが、社内でAIやDXを進める立場の人への話になる。
推進担当がやるべきことは、「有効なデータの基準」を自分一人で決めることではない。決められるのは、業務とデータを理解している現場の人だけだからだ。
推進担当の仕事は、その判断ができる人と一緒に、基準を言葉にする場を作ることだ。「何をもって有効とするか」を現場の人の頭の中から引き出して、解釈用のデータが作れる形にまで言語化する。地味だが、ここが決まらないと、データは「あるけど使えない」ままになる。
華やかなAIの前に、今日も泥臭い作業がある。その一つが、この「決める場づくり」だと思う。