8.4 共分散分析と重回帰分析

(1) ダミー変数を利用した重回帰分析

第3節で回帰式を重回帰式にした共分散分析について説明しました。 このことから類推できるように共分散分析は説明変数の中に計量尺度のデータと名義尺度のデータが混在した重回帰分析に相当します。 例えば表8.1.1の薬剤を「0:A 1:B」というダミー変数で表し、薬剤と投与前の収縮期血圧を説明変数にし、投与前後の変化量を目的変数にした重回帰分析を適用してみましょう。 (→第7章 重回帰分析)

上記の重回帰式の変数x₁は薬剤を表すダミー変数なので、この変数に0または1を代入した時の重回帰式はそれぞれA剤投与群またはB剤投与群のx₂(投与前収縮期血圧)とy(変化量)の回帰式になります。

これらの回帰式は第2節で説明した共分散分析における共通回帰式に相当することがわかると思います。 また表8.2.1の共分散分析表の非平行性の項を残差にプールすると次のような共分散分析表になります。

この共分散分析表と重回帰分析の結果を比べると、共通回帰の検定が偏回帰係数b₂(投与前収縮期血圧)の検定に相当し、修正群差の検定が偏回帰係数b₁(薬剤)の検定に相当していることがわかると思います。 つまりこの場合の重回帰分析は2群の回帰式が平行と仮定して共分散分析を行っていることに相当します。 またこの表の残差の平均平方和は表8.2.1の共分散分析表の残差の平均平方和よりも小さくなり、検定と推定の精度が少し高くなります。 このように非平行性のF値が1未満の時は非平行性の項を残差にプールした方が効率的です。 _(注1)

次にダミー変数化した薬剤と投与前収縮期血圧を掛け合わせて「薬剤×投与前」という項目を作り、この項目まで含めて重回帰分析を適用してみましょう。

上記の重回帰式の変数x₁は薬剤を表すダミー変数であり、x₃はx₁(薬剤)×x₂(投与前収縮期血圧)です。 そのためこの2つの変数に0または1を代入した時の重回帰式は、それぞれA剤投与群またはB剤投与群のx₂とy(変化量)の回帰式になります。

これらの回帰式は第2節で説明した共分散分析における群別回帰式、つまり第1節の図8.1.2の群ごとの回帰直線を表す式に相当することがわかると思います。 そして表8.2.1の共分散分析表と重回帰分析の結果を比べると、非平行性の検定が偏回帰係数b₃(薬剤×投与前収縮期血圧)の検定に相当していることがわかると思います。 つまりこの場合の重回帰分析は2群の回帰式が非平行と仮定して共分散分析を行っていることに相当します。 _(注2)

(2) 因果関係と相関と交互作用

この重回帰式のx₃(薬剤×投与前収縮期血圧)は薬剤と投与前収縮期血圧の交互作用(interaction)を表す項目であり、投与前収縮期血圧が変化量に与える影響が薬剤によって異なっている程度を表します。 投与前収縮期血圧が変化量に与える影響が薬剤によって異なっているということは、投与前収縮期血圧と変化量の回帰式の傾きが薬剤投与群ごとに異なっている、つまり非平行であることを表し、結局のところ共分散分析における非平行性に相当します。

重回帰分析では説明変数と目的変数の間に因果関係があると想定します。 そして通常は説明変数間に相関があり、その相関が非常に強い時は多重共線性があるといいます。 この因果関係と相関(または多重共線性)と交互作用は混同しやすいので、第1節の図8.1.3と図8.1.4を参考にして少し詳しく説明しましよう。

図8.1.3では投与前と変化量の回帰直線の傾きが2群とも負であり、投与前の値が大きいほど変化量が小さくなる、つまり投与後の値が低下しています。 これは前述の重回帰式でx₂(投与前収縮期血圧)の偏回帰係数b₂が負であることに対応していて、投与前と変化量の間に因果関係があり、その様子を直線で近似できることを表しています。

さらにA群の投与前値は低く、B群の投与前値は高くなっています。 これは重回帰式でx₁(薬剤)とx₂(投与前収縮期血圧)の間に相関があることに対応していて、薬剤が異なると投与前値が異なり、投与前値が異なると低下量も異なるので2つの薬剤の効果を公平に比較できないことを表しています。 2つの薬剤の効果を公平に比較するためには投与前値で補正する、つまり2群の投与前値を揃えて変化量を比較する必要があります。 それが共分散分析の主目的です。

実は図8.1.3は図8.1.2を模式的に表したものであり、A群とB群の投与前値はほとんど分離していて重なっている部分はごく一部です。 そのため薬剤と投与前の相関が非常に大きく、図8.1.2では相関係数が0.857もあります。 これだけ相関が大きいと薬剤と投与前の間に多重共線性があり、重回帰分析結果の信頼性が低い可能性があります。 しかし重回帰分析の結果ではx₁(薬剤)の偏回帰係数は4.405、x₂(投与前収縮期血圧)の偏回帰係数は-0.535であり、極端に非合理な値というわけではありませんし、後者は有意水準5％で有意です。 そのためこれらの偏回帰係数の信頼性が極端に低いとはいえないので、多重共線性は弱いと考えて良いと思います。 (→7.2 重回帰分析結果の解釈)

また図8.1.4では2群の回帰直線が非平行であり、回帰直線の傾きがA群とB群で異なっています。 これは重回帰式において、x₃(薬剤×投与前収縮期血圧)の偏回帰係数が0ではないので群によってx₂の偏回帰係数が異なることに対応し、薬剤と投与前の間に交互作用があると解釈できます。 この場合、投与前値が変わると2つの薬剤の効果の差が変わるので単純な薬効比較はできません。

それに対して図8.1.3では2群の回帰直線はほぼ平行であり、薬剤と投与前の間に相関はあるものの交互作用はほとんどありません。 そのため2つの薬剤の効果を公平に比較するには2群の投与前値を揃える必要があるものの、投与前値が変わっても2つの薬剤の効果の差は変わらないので単純な薬効比較ができます。 この2つの模式図を見比べると相関(または多重共線性)と交互作用の違いがよくわかると思います。

(3) 交互作用項目の意味

交互作用は、この例題のように一方が名義尺度のデータで他方が計量尺度のデータという時に限らず、計量尺度のデータ同士、名義尺度のデータ同士でも全く同じようにして計算することができます。

普通の重回帰分析では説明変数同士に相関はあるものの交互作用はないと仮定して計算します。 しかしこの交互作用がないという仮定はある意味で暗黙の仮定であり、はっきり意識することは少ないと思います。 ところが実際には説明変数に性別のような項目が含まれていると、目的変数に与える他の説明変数の影響が男と女で異なる、つまり性と他の説明変数の間に交互作用がある時があります。 そのような時は説明変数間の交互作用を考慮するために、説明変数同士を掛け合わせた交互作用項目も含めて重回帰分析を行う必要があります。

また医学分野などでは2つの項目の積を計算したり、比を計算したりして、総合的な指標を作ることがしばしばあります。 例えば肥満度の指標としてよく用いられるBMI(Body Mass Index)は次のような計算式で求めます。

身長を平方した値は人間の体表面積とほぼ比例するため、BMIは単位体表面積あたりの体重を表す指標になります。 つまり端的に言えば体型が球に近いほどBMIが大きくなるということです。 このBMIがある疾患の重症度相当の値に影響を与えていて、その関係が次のような直線回帰式で近似できたとします。

この直線回帰式は、実は重症度に関する体重と身長の平方の逆数の交互作用を表す式になります。 例えば身長が150cmの時と190cmの時の体重と重症度の直線回帰式は、それぞれ次のようになります。

一方、体重が50kgの時と80kgの時の身長の平方の逆数と重症度の直線回帰式は、それぞれ次のようなります。

このようにBMIと重症度の関係が直線で近似できるということは、体重と重症度の関係は直線で近似でき、身長の平方の逆数と重症度の関係も直線で近似でき、体重と身長の平方の逆数の間に交互作用があるということを意味します。 つまり身長が高くなるほど体重が重症度に与える影響は弱くなる、あるいは体重が重くなるほど身長の平方の逆数が重症度に与える影響は強くなるということになります。

逆にいえば体重と重症度の関係が直線で近似でき、身長の平方の逆数と重症度の関係も直線で近似でき、体重と身長の平方の逆数の間に交互作用がある時に限って、BMIと重症度の関係を直線で近似することができるということになります。 これはほとんど意識されていませんが、実は大きな意味を持つことです。

(注1)　表8.4.1を一般化したものに重回帰モデルを当てはめ、その解を求めてみましょう。 (→7.3 変数の選択 (注1))

重回帰モデル：
x₁：群1=0(n₁例)、群2=1(n₂例)、n₁ + n₂=r
データ行列

単純積和行列

(1,1)要素で掃き出し

(2,2)〜(3,3)要素で掃き出し

b₀=m_y(1) - b₂m_x2(1) 　　b₁=(m_y(2) - b₂m_x2(2)) - (m_y(1) - b₂m_x2(1))
m_y(1)、m_x2(1)：群1のyとx₂の平均値 　　m_y(2)、m_x2(2)：群2のyとx₂の平均値

S_x2y(1)、S_x2y(2)、S_x2x2(1)、S_x2x2(2)：群1と群2の積和と平方和
S_R=S_yy - n₁(m_y(1) - m_y)² - n₂(m_y(2) - m_y)² - b₂(S_x2y(1) + S_x2y(2))

この結果と第2節の(注1)の結果を比べると、b₀が群1の共通回帰式の定数項に相当し、b₁が群2と群1の共通回帰式の定数項の差に相当し、b₂が共通回帰式の回帰係数に相当し、S_Rが非平行性をプールした残差平方和に相当することがわかると思います。 表8.4.1のデータについて実際に計算すると次のようになります。 (→8.2 共分散分析結果の解釈 (注1))

b₀=59.817　　b₁=9.484　　S_b1=114.81 　　SE_b1=2.920
F_β1=10.553(p=0.0047)＞F(1,17,0.05)=4.451
b₂=-0.5144　　S_b2=254.94　　SE_b1=0.106
F_β2=23.435(p=0.0002)＞F(1,17,0.05)=4.451
F_β=13.238(p=0.0003)＞F(2,17,0.05)=3.592
※この時の分散分析表は本文中の表8.4.2になる。

(注2)　共分散分析は次のような手順で複数の重回帰分析を行い、その結果をまとめたものに相当します。

1.群だけを説明変数にした重回帰分析

第2節(注1)の表8.2.3のデータについて、群A₁〜A_aを(a-1)個のダミー変数で表して説明変数にし、yに関する重回帰分析を行ったもの。

これは群を要因Aにした一元配置分散分析に相当し、この時の回帰平方和が共分散分析における群差の平方和S_Aになり、回帰自由度が群差の自由度φ_Aになります。 表8.4.1のデータについて実際に計算すると次のようになります。

表8.4.6 分散分析表

要因	平方和SS	自由度φ	平均平方和Ms(分散V)	分散比F
回帰	33.075	1	33.075	1.35345
残差	439.875	18	24.4375
全体	472.95	19

S_A=33.075　　φ_A=1

2.共変数だけを説明変数にした重回帰分析

第2節(注1)の表8.2.3のデータについて、共変数xだけを説明変数にし、yに関する重回帰分析を行ったもの。

これは共変数に関する全体回帰式を計算したものに相当し、この時の回帰平方和が共分散分析における全体回帰の平方和S_β0になり、回帰自由度が全体回帰の自由度φ_β0になります。 表8.4.1のデータについて実際に計算すると次のようになります。

表8.4.7 分散分析表

要因	平方和SS	自由度φ	平均平方和Ms(分散V)	分散比F
回帰	173.207	1	173.207	10.4014
残差	299.743	18	16.6524
全体	472.95	19

S_β0=173.207　　φ_β0=1

3.群と共変数を説明変数にした重回帰分析

第2節(注1)の表8.2.3のデータについて、群を(a-1)個のダミー変数で表したものと共変数xを説明変数にし、yに関する重回帰分析を行ったもの。

これは共変数に関する全体回帰式と修正群差を計算したものに相当すると同時に、共通回帰式と群差を計算したものにも相当します。 そのためこの時の回帰平方和は共分散分析における全体回帰の平方和S_β0と修正群差の平方和S_AAの合計になると同時に、共通回帰の平方和S_βと群差の平方和S_Aの合計にもなります。 そして回帰自由度は全体回帰の自由度φ_β0と修正群差の自由度φ_AAの合計になると同時に、共通回帰の自由度φ_βと群差の自由度φ_Aの合計にもなります。

表8.4.1のデータについて実際に計算すると、本文中の表8.4.2のようになります。 そしてこの結果と表8.4.6と表8.4.7の結果を利用して、共通回帰と修正群差の平方和と自由度を求めることができます。

S_β0 + S_AA=S_β + S_A=288.014 　　φ_β0 + φ_AA=φ_β + φ_A=2
S_AA=288.014 - S_β0=288.014 - 173.207=114.807 　　φ_AA=2 - φ_β0=2 - 1=1
S_β=288.014 - S_A=288.014 - 33.075=254.939 　　φ_β=2-φ_A=2 - 1=1

4.群と共変数と交互作用を説明変数にした重回帰分析

第2節(注1)の表8.2.3のデータについて、群を(a-1)個のダミー変数で表したものと共変数x、そして群と共変数を掛けた交互作用変数を説明変数にし、yに関する重回帰分析を行ったもの。

これは共変数に関する群別回帰式と群差を計算したものに相当し、この時の回帰平方和が共分散分析における全体回帰の平方和S_β0と修正群差の平方和S_AAと非平行性の平方和S_Dの合計になり、回帰自由度が全体回帰の自由度φ_β0と修正群差の自由度φ_AAと非平行性の自由度φ_Dの合計になり、残差S_Rがそのまま残差S_Rになります。

表8.4.1のデータについて実際に計算すると、本文中の表8.4.5のようになります。 そしてこの結果と表8.4.2の結果を利用して、非平行性の平方和と自由度を求めることができます。

S_β0 + S_AA + S_D=288.247 　　φ_β0+φ_AA + φ_D=3
S_D=288.247 - (S_β0 + S_AA)=288.247 - 288.014=0.233 　　φ_D=3 - (φ_β0 + φ_AA)=3 - 2=1
S_R=184.703　　φ_R=16

以上の結果から表8.2.1の共分散分析表を作成することができます。

表8.2.1 共分散分析表(ANCOVA table)

要因	平方和	自由度	平均平方和(分散)	F値
群差	33.08	1	33.08	2.865
共通回帰	254.94	1	254.94	22.084
修正群差	114.81	1	114.81	9.945
全体回帰	173.21	1	173.21	15.004
非平行性	0.23	1	0.23	0.020
残差	184.70	16	11.54
全体	472.95	19

この手順を応用すれば、色々な多変量解析手法について共分散分析的な解析を行うことができます。 例えばこの手順をロジスティック回帰分析に応用すればロジスティック回帰曲線に関する共分散分析相当の解析を行うことができますし、周期回帰分析に応用すれば周期回帰曲線に関する共分散分析相当の解析を行うことができます。 (→第10章　ロジスティック回帰分析、12.6　周期共分散分析)

最終更新日：2016年1月12日 　第3節へ 第5節へ

　webmaster@snap-tck.com 　Copyleft (C) 2000 SNAP(Sugimoto Norio Art Production)