1. KIKIME とは
  2. 「効いてるのか、よく分からない」のはなぜか
  3. 合成データ — 検証の土台
  4. 判定エンジン
  5. 合成データでのスコア
  6. できること・できないこと

1. KIKIME とは

KIKIME は、あなたが新しく始めた行動(健康習慣やサプリなど)と、日ごろから気になる症状を毎日記録し、その行動が症状にとって改善方向か・悪化方向かを判定してお知らせする端末です。ただし、方向がはっきりしないときは判定を表示しません。

1.1 何ができるか

1.2 立ち位置 — 何であって、何でないか

KIKIME は医療診断機器ではなく、因果関係を保証する装置でもありません。出すのは「あなたの記録上、その行動と症状の動きにこういう方向性がある」という参考情報です。

「このサプリが効く/効かない」を断定する装置ではなく、自分の体で試した記録を、体感より一段客観的な形に変換する道具です。

1.3 誰が、何のために使うと良いか

もっとも分かりやすく価値が出るのは、効いているのか自分でも判断がつかない健康行動を続けている人です。サプリ、運動、食事の見直しなど——体感では効果がはっきりせず、やめ時も続け時も決めかねている、という状況で使います。ただ、判定が出る・出ないに関わらず、行動と症状を毎日残しておきたいというだけでも使えます。

KIKIME がするのは、毎日記録した行動と症状から、両者の動きにどんな方向性があるかを統計的に示すことです。

2. 「効いてるのか、よく分からない」のはなぜか

サプリを3ヶ月続けても、「効いている気もするが、本当のところは分からない」——多くの人が経験することです。これは構造的に難しい問題です。

2.1 真の正解を、誰も知らない

ある行動が「自分の症状に効いたか」の答えは、直接は確かめられません。同じ90日を「その行動をしなかった場合」でやり直して比べることができない(反実仮想は観測できない)からです。検査値の変化は測れても、その変化がその行動によるものかまでは切り分けられません。さらに、飲んでいるだけで「効いている」と感じてしまう人は少なくありません(プラセボ反応)。体感だけでは、効果の有無を正しく判定しきれません。

2.2 ノイズが信号を覆い隠す

症状は、天気・ストレス・睡眠・その日の体調といった、大きく揺れる要因の影響を受けます。それに比べると、行動1つの効果はわずかな信号です。大きなノイズの中に小さな信号が埋もれているため、数日見ただけでは効果は見えません。

KIKIME もこのノイズを消せるわけではありません。できるのは、90日分を集約して、日々の実感では埋もれる中程度の信号の向きを統計的に拾うことです。たとえば「月の症状日数が3〜5日減る」程度の効果は実感ではノイズに紛れますが、90日を通せば、こうした効果でも判定が出た場合に限り6〜9割の精度で方向を当てられます(向きがはっきりしない場合は判定せず保留に倒すため、全体の約半数は判定保留になります。内訳は5.1・5.3)。逆に、明確に体感できるほど強い効果ならそもそも端末は要らず、ノイズに埋もれるほど弱い効果なら集約しても拾えません——その場合は無理に判定せず「判定保留」に倒します(第4章)。

2.3 だから「実データでの検証」もできない

効果の「正解」が誰にも分からない以上、「KIKIME の判定が当たっていたか」を実ユーザーのデータで答え合わせすることも原理的にできません。だからこそ、正解を定義できる合成データでの検証(次章)を土台に据えています。

3. 合成データ — 検証の土台

3.1 なぜ合成データか

実データで答え合わせができない以上、現実的な検証手段は、「もし現実がこういう現象だったら、エンジンは正しく検出できるか?」を問える人工データを作ることです。効果の真の向き(改善 / 悪化)をこちらが定義して症状時系列を生成すれば、エンジンの出力と真値を突き合わせられます。したがって検証の質は、合成データが現実に起こりうるパターンをどれだけ網羅できているかに依存します。

3.2 「仮想的な現実」の作り方

各人ごとに、行動の頻度・効果の向きと強さ・効き方(即効型〜蓄積型)などをパラメータとしてランダムに与え、90日分の行動と症状の系列を生成します。行動はその人の頻度で日々起き、その累積的な効果が症状の出やすさ・重さを確率的に押し上げ/押し下げる——という形です。効果の「向き」(改善か悪化か)が、その人の真ラベルになります。

効果の強さは、KIKIME が狙う帯域に寄せています。明確に体感できるほど強い効果でも、測定誤差と区別できないほど弱い効果でもない——その中間の「人間には判断できないが統計的には検出できる」中程度の効果が、KIKIME が主に対象とする帯域です。

3.3 60万人という規模の意味

効果が90日間ほぼ一定の「静的」ケースと、90日かけて変化する「時変」ケースを合わせ、約60万人分を生成しています。この件数はパラメータ空間を網羅するための分布であって、現実の人間集団の出現頻度ではありません。そのため、ある条件のサンプル数の多寡は現実での起こりやすさを意味せず、実用性は条件ごとの正解率と表示率で判断します。

3.4 エンジンは合成データの「内部」を見ていない

エンジンが受け取るのは行動と症状の数列だけで、生成に使ったパラメータ(効果の向きや強さ)は一切渡しません。合成データは「現実がこうだったら検出できるか」を問う仮想的な現実であり、エンジンの中身とは独立です。

4. 判定エンジン

4.1 21特徴量 LightGBM 二値分類

採用モデルは、1人分の90日記録を21個の集約特徴量に変換し、improve か worsen かを直接予測する LightGBM 二値分類器です。CATE や T-learner といった因果推論モデルではありません。

小型マイコン上に C 配列として常駐(約218KB)し、クラウド推論なしで端末内完結します。推論はメモリに載りきる軽量モデルで、判定は端末内で瞬時に完了します。

4.2 特徴量

観測90日(SKIP除外済み)から、21個の集約統計量を計算します。中身は、行動した日としなかった日の症状の差(時間のずれ別)、症状の期間別トレンド、行動率や症状頻度の前後半の変化など——いずれも記録データを要約した統計量です。効果の真の向きのような「答え」をモデルに直接渡してはいません。

4.3 確度と3つの出力

モデルは proba_worsen ∈ [0,1](悪化である確率)を出力し、これを確度 confidence = max(proba_worsen, 1 − proba_worsen) ∈ [0.5, 1.0] に変換します。確度が高いほど、方向の判定に自信があることを意味します。ただし確度はモデル自身の自信度であり、効果が弱い母集団などでは、表示される確度ほど実際の正解率が伴わないことがあります(5.3)。

実機では、この確度に対して表示しきい値 0.75 / 0.90 を引いて判定ラベルを出します。

確度画面表示
< 0.75「判定中」/「判定に至らず」(=判定保留)
0.75 〜 0.90「改善 / 悪化の兆候」
≥ 0.90「{N}%の確度で改善 / 悪化傾向」

加えて、確度 0.95 以上が14日続くと「早期完了」に達し、画面の解説文が「判定が早期に確定しました」という文面に切り替わります(改善/悪化で文面を分けます)。判定ラベルと確度の数値は早期完了の前から毎日表示されており、それ自体は変わりません。

5. 合成データでのスコア

確度を高く要求するほど正解率は上がり、判定が出る頻度(表示率)は下がります。実機は確度 0.75 を「兆候」、0.90 を「傾向」の表示境界に使います(第4章)。合成データ60万人は、観察日数を10〜90日に振って生成しています(30日・60日など途中時点でも判定できるようにするため)。以下の数字は、節によって見ている母集団が異なります。

ここで言う「正解率」は、すべて合成データ上で真ラベルと一致した割合です。したがって「現実がこの想定どおりなら、この水準で当たる」という条件付きの数字です(合成データと現実の関係は6.4)。

5.1 画面に出る判定と、その正解率

実機の画面に出る3つの状態が、それぞれどれだけの頻度で出て、出たとき何%当たるかです。

画面表示表示率正解率
判定保留(確度 < 0.75)47.2%—(判定を出さない)
改善 / 悪化の兆候(確度 0.75〜0.90)28.8%83.9%
「N%の確度で改善 / 悪化傾向」(確度 ≥ 0.90)24.0%97.0%

実機で「傾向」と出た判定は、約97%(33回に1回しか外さない)が正しい方向を指します。「兆候」でも約8割(6回に1回外れる程度)。効果の強さ別では、強効果で兆候 93.7% / 傾向 99.6%、中効果で 84.1% / 97.2%、弱効果で 62.3% / 74.5%(いずれも合成データ上の正解率)。

5.2 観察期間が短くても、出た判定の正解率は落ちない

確度 0.95(5.1 の表示境界 0.75 / 0.90 より厳しい帯)で観察期間を変えても:

観察期間表示率正解率
30日5.3%97.6%
60日9.1%98.1%
90日9.8%98.2%

観察日数が短いほど表示率(判定が出る頻度)は下がりますが、正解率はほぼ変わりません。

5.3 効果が弱い人には、ほとんど判定を出さない

真の効果が極めて弱い人(効果がほとんど症状を動かさない水準)が、実機の確度帯でどう扱われるか(90日記録時):

効果が小さい=そもそも判定すべきでない層では、大半が判定保留になり、「傾向」表示まで達するのは約1割です。

5.4 学習式とは別系統のメカニズムでの頑健性

モデルは第3章の方式(行動の蓄積 → 症状の確率)で学習しています。これとは別に、HMM・ARMAX・ハザード・ヒステリシス・非線形時変効果など、学習式とは構造の異なる生成メカニズムで、推奨どおりの使い方に収まる検証データを作成しました。効果の効き方も症状の出方も、学習式(蓄積 → sigmoid)とは別物です。

別系統メカニズムの検証データ N=54(推奨どおりの使い方に収まるもの)での結果:

確度表示率表示数正解率
0.9542.6%23/54100%
0.9063.0%34/5485.3%

最も自信の高い帯(確度 0.95)では、これら別系統のメカニズムでも、判定が出たものはすべて正しい方向で、誤判定はありませんでした(ただし表示は23件で、サンプルは小さい点に留意してください)。確度を 0.90 まで緩めると正解率は約85%(同じ確度帯で見た学習式どおりのデータの約97%=§5.1より低い)に下がりますが、KIKIME が高い確度(0.95帯)で出す判定は、体の反応の形が想定と違っても外しにくい、ということです。

5.5 一度出た判定は、時間が経っても逆を向かない

以下は確度 0.95 での測定です。加えて、入力の摂動(1 日抜け・小ノイズ)や乱数 seed を変えた検証でも、確度 0.85 / 0.95 の両方で逆方向反転は 0% でした。

遷移同方向継続率判定消失率(保留落ち)逆方向反転率
30日 → 60日85.7%14.3%0.00%
30日 → 90日85.9%14.1%0.00%
60日 → 90日91.4%8.6%0.00%

分母は、前の時点で判定が出ていた人(30日表示者 n=31,814/60日表示者 n=54,859)です。残りは「同方向のまま継続」「判定保留に落ちて消失」「逆方向に反転」のいずれかで、3列の合計は100%になります。消えること(保留落ち)はあっても、逆を向いた例はありませんでした。

検証した範囲では、一度「改善」と出た判定が後で「悪化」に反転した例はありません(反転率0%)。判定は消えることはあっても、逆を向きにくい。

なお、ここでいう「反転」は、観察日数が延びるにつれて同じ人の表示の向きが時系列で入れ替わることを指します。外乱が重なったときに真の向きとは逆の判定が出てしまう現象(6.4)とは別物で、本節の反転率0%はそれを否定するものではありません。

6. できること・できないこと

6.1 向く品目・向かない品目

向く

  • 行動の ON / OFF が自然に混ざる(毎日完全に行う/全くやらない、に張り付かない)
  • 効果が、記録している症状の変化として現れる
  • 90日継続できる

向かない

  • 効果が症状として現れないもの
  • 効果が90日より遥かに長い時間スケールのもの
  • 効果が極微で、理論的な検出限界以下のもの

6.2 想定する使い方

行動頻度などの具体的な目安はマニュアルを参照してください。

6.3 想定していないケース

上記から外れた使い方——途中で用量や記録頻度を大きく変えた、症状が出たから行動頻度を変えた、観察期間に風邪・花粉症などの外乱が重なった——では、判定そのものが信頼できません。KIKIME は「記録された通りのデータに対して相関を表示するツール」であり、こうしたケースは判定対象として想定していません。

6.4 相関であって因果ではない

KIKIME が出すのは「記録上の方向性」であって、因果関係ではありません。

ある行動が症状を改善した、と因果として主張するには、「症状の変化がその行動だけによるもので、他の要因(交絡)が効いていない」ことを示す必要があります。しかし他の要因の多くはそもそも記録に現れず、観測できません。観測できないものは排除を確認できないため、エンジンが見ているのは本質的に「記録上、行動と症状の動きにこういう関係がある」という相関にとどまります。

この限界は、推奨どおり使っていても残ります。観察期間中にたまたま大きな外乱(風邪や花粉症の発症など)が重なると、それが記録上は効果による変化と見分けがつかず、まれに高い確度のまま、真の向きとは逆の判定が出ることがあります。これは5.5でいう「時間経過による表示の反転」とは別の現象で、外乱を効果と取り違えた誤判定です。

KIKIME Checker トップに戻る