玄関＞会議室の過去ログ

会議室の過去ログ

No.1961 - 1978 / 18 件表示

「ブートストラップ法による推定・検定の正確性は、標本集団が母集団にどの程度近いかに依存します。」
その通りですね。
いつも的確な説明ありがとうございます。
感謝しております。

＞キッシーさん
お久しぶりですね！(^o^)／

> 統計処理の方法として「ブートストラップ法」を見たのですが、
> 今まで全く違う方法でデータをランダムに重複を許してリサンプルリングしたものの統計量を繰り返し計算して推定するらしいのですが、
> なぜうまく計算できるのか不思議です。この手法に対して先生の見解が知りたいです。

ブートストラップ法は、標本集団を擬似的に母集団と考え、そこから無作為抽出した擬似的な標本集団の標本統計量(標本平均値等)を求めるという作業を何度も繰り返し、それによって求めた標本統計量の平均値と分散を用いて本来の母集団の母数を近似的に推定したり検定したりする方法です。

これは「母集団がどんな分布をしていても、標本平均値等の標本統計量の分布は漸近的に正規分布に近似する」という中心極限定理に基づいています。

そしてたいていの統計手法は、標本統計量が正規分布するという前提で組み立てられています。

そのため標本集団が本来の母集団に近い時は、ブートストラップ法によって母数をわりと正確に推定・検定できますが、標本集団が本来の母集団と異なっている時は母数を正確に推測・検定できません。

ブートストラップ法は標本集団の標本統計量から母数を理論的に推定・検定できる時は利用されず、それが難しい時だけ利用されます。

その場合、ブートストラップ法による推定・検定の正確性は、標本集団が母集団にどの程度近いかに依存します。

そして標本集団の標本統計量から母数を理論的に推定・検定するのが難しい時は、たいてい標本集団が母集団にどの程度近いかは不明な時が多くなります。

そのため僕は、普通のデータ解析ではブートストラップ法はほとんど使わず、例えば机上の空論的な些細な点にツッコミを入れてくる論文の査読者を煙に巻く時(^^;)などに利用しています。

ブートストラップ法を用いて、中心極限定理がどの程度有効なのかシミュレーションした結果を「統計学入門」の付録2に記載しているので、参考にしてください。(^_-)

・付録2　中心極限定理のシミュレーション−平均値と中央値
http://www.snap-tck.com/room04/c01/stat/stat99/stat9902.html

統計処理の方法として「ブートストラップ法」を見たのですが、今まで全く違う方法でデータをランダムに重複を許してリサンプルリングしたものの統計量を繰り返し計算して推定するらしいのですが、なぜうまく計算できるのか不思議です。この手法に対して先生の見解が知りたいです。
先生の記載の内容ではなくてすみません。

1989. Re[1988]:[1987]:2群の経時データの解析について 投稿者:悩める開発担当者 投稿日:2024/11/11 (Mon) 16:18:22 [返信] [削除]: 杉本様

早々に、明快なご回答を有難うございます。
モヤモヤがスッキリしました。
ご紹介頂いたページで、じっくりと勉強してみます。
また、宜しくお願い致します。

＞悩める開発担当者様
お久しぶりですね！(^o^)／

> CROのレポートでは、0w,6w,12wの各ポイントで、それぞれ群間比較（t検定またはMann-Whitney U検定）を実施しています。これは、多重性の問題があると思いますが、如何でしょうか？
そのとおりです。全ての時点を評価時点にするのなら、当然、多重比較が必要です。

> 私の理解では、パラメトリックであれば、反復測定分散分析＋post-hoc検定だと思うのですが…
反復測定分散分析は適切ですが、post-hoc検定は不適切です。post-hoc検定は結果を見てから検定方法を選択する「後知恵」ですから、事前に必要例数を求められません。
多重比較を行うのなら試験計画段階で設定しておき、有意水準と検出力と検出差に基づいて多重比較に必要な例数を求めておかなければなりません。そして一般に、多重比較の必要例数は分散分析の必要例数よりも多くなります。

> また、ノンパラメトリックの場合は、Bonferroni補正すると理解しています。
ノンバラメトリック手法でもパラメトリック手法と同様に各種の多重比較があります。Bonferroni型の多重比較は効率が悪くて試験の必要例数が増えるので、できるだけ使わない方が良いですよ。(^_-)

反復測定データの評価方法については、当館の次のページを参考にしてください。
○玄関＞雑学の部屋＞雑学コーナー＞統計学入門
→4.3 繰り返しのある多標本・多時期の計量値　(5)繰り返し測定データの評価方法
http://www.snap-tck.com/room04/c01/stat/stat04/stat0403.html

またノンパラメトリック手法の多重比較については、次のページを参考にしてください。
○玄関＞雑学の部屋＞雑学コーナー＞統計学入門
→4.2 多標本の計数値　(注2)
http://www.snap-tck.com/room04/c01/stat/stat04/stat0402_1.html#note02

杉本様

1年ぶりの投稿です。日々、臨床データの統計解析に悩まされています。
臨床試験の解析方法についての初歩的な質問で恐縮ですが、
2群（被験食品A群、対照C群）において、経時データ（0w,6w,12w）の3ポイントで群間比較する場合についてです。

CROのレポートでは、0w,6w,12wの各ポイントで、それぞれ群間比較（t検定またはMann-Whitney U検定）を実施しています。これは、多重性の問題があると思いますが、如何でしょうか？

私の理解では、パラメトリックであれば、反復測定分散分析＋post-hoc検定だと思うのですが…

また、ノンパラメトリックの場合は、Bonferroni補正すると理解しています。

いつもありがとうございます

＞キッシーさん
荒らされた掲示板を復元したので、今は元通りになっています。
過去の書き込みは管理室の倉庫に保管してあるので、いつでも見ることができますよ。(^_-)

○玄関＞管理室＞倉庫
http://www.snap-tck.com/room08/c02/c02.html

昨日(8月27日)、掲示板を荒らされてしまいました。
とのことですが
過去（直近数年程度）の内容を見ることは出来ないのでしょうか
残念です

1983. Re[1982]:[1981]:推測統計について 投稿者:F.Y.Edgeworth 投稿日:2024/09/02 (Mon) 18:55:42 [返信] [削除]: 丁寧なご回答，ありがとうございます．

申し遅れましたが，私は教育系の出版社の外部協力者として原稿の吟味や編集者からの質問に応じる仕事をしております．今般の文科省の新カリキュラム（現在の高校３年生はそれを履修）での統計分野の拡充に伴い，推定，検定に関する原稿の扱い，そして，必然的（笑）にその中での誤りがコンスタントに発生しております．その多くは「推測統計の結論が数学的に厳密なものであり，現実世界の事象に対する正しい判断を与えている」といった捉え方によるもので，そうした誤解の原因は，今回ご案内いただいた現場での認識についての情報の乏しさに加え，推測統計が現実世界を対象とする以上，その構成には利用者の主観が不可欠である点の理解不足，および，編集者や原稿執筆者が参照している教科書や入門的解説における数学的主張と手法の利用上の同意事項との区別の曖昧さにあると思われます．

「教材は詰まるところ生徒さんが問題を解けるようになるためのものなので，問題文（日常的な設定になっている）で与えられた要素から信頼区間や棄却域を求められればよい」といってしまえばそれまでですが，製作者は本当のことを理解しておくことが望ましく，そのためには高等学校で扱う推測統計の手法を（大学程度の）数学の立場から眺め，手法における数学の担当部分を把握することが有効ではないかと考え，先のような説明文を作成した次第です．

以上，お時間をいただき，ありがとうございました．

＞F.Y.Edgeworthさん

> 先日はありがとうございました．連続投稿となり恐縮ですが，以下の(1)から(8)は（数理統計学ではなく）伝統的な推測統計で利用される一部の手法の説明として適当でしょうか？（対象は学部程度の確率論の知識のある人）

数理統計学的立場なら適当ですが、伝統的な推測統計学的立場つまり研究現場で推測統計学を利用するための説明としては、ここまで数学的に厳密な説明は必要ないと思います。その理由は、研究現場では推測統計学はデータを要約するための道具のひとつにすぎないので、数学的な厳密さはあまり重要ではないからです。
そして現実問題として、現在の大部分の自然科学分野では、建前上は推測統計学を用いることになっていますが、実際にはたいていは記述統計学を用いることが多く、中心極限定理や確率論は必要ありません。その証拠に、これまで色々な論文に関与してきて、査読者から「データの正規性をチェックしたか？」などと指摘されたことは何度もありますが、「標本集団を母集団から無作為抽出したか？」という推測統計学の基本的な前提条件について指摘されたことは一度もありません。
無作為抽出していない標本集団には推測統計学は用いられず、記述統計学しか用いられません。そして研究現場の研究者はそのことを何となくわかっているので、一応、検定結果や推定結果を論文に記載しますが、実際に結果を考察する時にはそれらにあまり重きをおかず、平均値等の統計量を参考にします。
そのため検定や推定よりも、平均値や出現率や順位平均値等の統計量の特徴と、その科学的な意義の方が重要になります。数学的な厳密さにこだわると、ついついデータの正規性などにこだわり、科学的に不適切な統計量を採用してしまがちになります。それでは統計学を用いる意味がありません。
以上、参考になれば幸いです。

1981. 推測統計について 投稿者:F.Y.Edgeworth 投稿日:2024/09/01 (Sun) 09:00:59 [返信] [削除]: 先日はありがとうございました．連続投稿となり恐縮ですが，以下の(1)から(8)は（数理統計学ではなく）伝統的な推測統計で利用される一部の手法の説明として適当でしょうか？（対象は学部程度の確率論の知識のある人）

(1)以下では，Ｒを実数全体の集合，Ｂをそのボレル集合体とし，すべての確率変数は確率空間(Ω，Σ，Ｐ)から可測空間(Ｒ，Ｂ)への可測写像，また，Ｎ(0,1)は標準正規分布とする．

(2)手法の利用者は，観測から得た長さがNの実数列x_{1},...,x_{N}（データと呼ばれる）が観測対象に依存した「平均μ(∈Ｒ)と正の分散をもつ独立同分布の確率変数列X_{1},X_{2},...」の最初のN項の観測に依存したω(∈Ω)に対する値の列であると仮定する．以下では，任意の正の整数nに対して列X_{1},...,X_{n}（標本と呼ばれる）の平均を\bar{X}_{n}，標準偏差をS_{n}で表し，S_{n}>0と仮定する．

(3)古典的な中心極限定理，Slutskyの定理，大数の弱法則，連続写像定理，収束する確率変数列の和，積の性質により，(2)の確率変数列X_{1},X_{2},...と任意のc(∈Ｒ)について
\lim_{n\to\infty}Ｐ(|\bar{X}_{n}-μ|/(S_{n}/\sqrt{n})＜c)＝Ｎ(0,1)((-\infty,c])
が一様収束の意味で成り立つ．

(4)手法の利用者は，1に近いと考えたα(0＜α＜1)を設定し，Ｎ(0,1)((-\infty,c])=αの一意的に存在する解c(∈Ｒ)の値の小数表示を利用者が設定した位まで数表や計算機から求め，その表示の値を改めてcとおく．

(5)手法の利用者は，誤差の上界を設定せずに，(3)と(4)から，αをＰ(|\bar{X}_{N}-μ|/(S_{N}/\sqrt{N})＜c)の近似値と考える．

(6)頻度論的解釈と(5)から，手法の利用者は，観測を無限に繰り返すとき，長さがNの実数列を得るごとに，その各項を|\bar{X}_{N}-μ|/(S_{N}/\sqrt{N})＜cにおけるX_{1},...,X_{n}の各項に代入して得られる不等式のうち真であるものの相対度数はαに近づくと考える．

(7)手法の利用者は，(2)で得た実数列の各項を(6)のように代入して得られる不等式を利用者にとっては未知であるμについての条件と考え，それが定める集合を信頼係数αの母平均の信頼区間と呼び，この不等式に反するμについての条件を有意水準1-αで棄却される母平均の帰無仮説と呼ぶ．また，実務では，この不等式が真であるかのように扱うことがある．

(8)以上のうち，数学のみで構成できる対象，主張は(1)と(3)である．

1980. Re[1979]:[1978]:記述統計学と推測統計学について 投稿者:F.Y.Edgeworth 投稿日:2024/08/28 (Wed) 17:37:40 [返信] [削除]: 豊富な知見に基づくお考えをご案内いただき，誠にありがとうございました．今後の考察の参考とさせていただきます．

＞F.Y.Edgeworthさん

この掲示板は、掲示板荒らし対策をある程度はしていますが、昨日(8月27日)、掲示板を荒らされてしまいました。(~_~) そのため掲示板の書き込みを復元するのに、少々手間取ってしまいました。

> ＞「統計学は応用数学ではなく数学応用学だ」
> これは推測統計が数学の主張を統計手法の利用者の主観によるモデル化と解釈(interpretation)で挟んだものなので，数学の立場からは評価できないという意味でしょうか？
いえ、統計学は科学的研究を行うための数学的な道具のひとつにすぎず、統計学を用いてデータを要約した結果をそのまま盲信するのではなく、その結果を研究現場から得た経験に基づいて科学的に解釈することが大切である、という意味です。
例えば医学分野の研究では、非常に珍しい症例を見つけたら、その症例について詳細に報告する症例報告だけで意義のある論文になります。この場合、症例は1例だけですから統計学は必要ありません。そしてそれと同じような症例が複数例見つかれば、古典的な記述統計学を用いて複数のデータを要約した症例報告論文にします。
さらに同じような症例が多数例見つかり、それらの症例の母集団をある程度想定できれば、その母集団から少数例の標本を無作為抽出して標本集団を形成し、推測統計学を用いて標本集団のデータを要約して母集団の母数を推測し、それらの症例に関してある程度普遍性のある結果を得て論文を書きます。
例えば物理学分野の研究で物体の運動を解釈する場合、運動速度が遅い時は古典的なニュートンの運動法則の数式を用いれば実用上は十分です。しかし運動速度が非常に速い時は、相対性理論に基づいた運動法則の数式を用いて補正する必要があります。この場合、古典的なニュートンの運動法則が古典統計学つまり記述統計学に相当し、相対性理論に基づいた運動法則が近代統計学つまり推測統計学相当する、と考えればわかりやすいのではないかと思います。
ところが医学分野をはじめとする自然科学分野の研究で推測統計学を用いるには、大きな問題があります。それはほとんどの研究で、推測統計学の大原則である母集団から無作為抽出された標本集団を作成できない、ということです。
僕は主として医学・薬学分野のデータ解析屋を40年間以上やっていて、数百件の臨床試験や臨床研究に関わってきました。でも、きちんと規定された母集団から無作為抽出された標本集団を作成したことは一度もありません。僕が経験した臨床試験や臨床研究は、全て無作為標本(random sample)ではなく、手近な標本(handy sample)でした。
手近な標本は母集団から無作為抽出された標本集団ではないので、推測統計学を当てはめられず、検定も推定も無意味であり、母数を確率的に推測することは不可能です。したがって研究論文は多数例の症例報告という位置付けになり、その結果に普遍性はありません。これは中心極限定理による正規近似以前の大問題ですが、このことをしっかりと理解している医学・薬学分野の研究者は非常に少ないと思います。
数理統計学分野では、この大問題から目を逸して、推測統計学の数学的な問題を議論しがちだと思います。もちろん推測統計学の数学的な理論付けを厳密にすることは大切です。しかし研究現場のデータ解析屋である僕は、この大問題から目を逸らすわけにはいきません。そしてその対処法のひとつとして、推測統計学を用いて導き出した結果はあくまでも参考資料のひとつにすぎないので、そのまま盲信せず、研究現場から得た経験に基づいてそれらを科学的に解釈し、それを臨床現場に還元することが大切である、と考えています。
以上、参考になれば幸いです。

1978. Re[1977]:[1976]:中心極限定理と正規近似 投稿者:F.Y.Edgeworth 投稿日:2024/08/27 (Tue) 19:57:58: 早速のレス，ありがとうございます．

＞「統計学は応用数学ではなく数学応用学だ」
これは推測統計が数学の主張を統計手法の利用者の主観によるモデル化と解釈(interpretation)で挟んだものなので，数学の立場からは評価できないという意味でしょうか？

＞数学応用学的な観点からは、このシミュレーションの誤差程度なら、中心極限定理による正規近似を現実のデータに十分応用できると考えています。
であれば，そのことを「正規近似の根拠は中心極限定理ではなくシミュレーションと利用者の主観である」のように述べるのが適当な気がします．
極限についての数学の定理があり，現実世界で有限回だけ試した結果がその定理に反しないと判断した場合でも，現実世界での結果の根拠がその定理であると一般の人々に告げることは，何というか数学の権威に阿ているように見えます．
私は推測統計が答えを出さなければならない状況から編み出された手法であり，その答えに信憑性を与えなければならないことも理解しているつもりですが，主張の根拠を数学の定理に，答えが誤りとなる場合の原因（＝モデル化と解釈という行為自体）を数学の確率に求める姿勢は，数学に知見のある人々の疑念の温床となると考えています．

＞F.Y.Edgeworthさん

はじめまして、当館の館長を務めている”とものり”こと杉本典夫と申します。m(_ _)m

中心極限定理と正規近似の質問をいただき、ありがとうございます。中心極限定理による正規近似の問題については、純粋数学分野と数理統計学分野と応用統計学分野の間でたまに議論になります。これは統計学をどのような学問として捉えるかで、統計学の解釈が異なるからだと僕は思っています。
僕は研究現場のデータ解析屋ですから、応用統計学分野の解釈に近くて「統計学は応用数学ではなく数学応用学だ」と思っています。
つまり正規分布のような確率分布に厳密に従うデータは厳密には存在しないが、実用的な有効数字範囲内(有効数字にして2〜4桁程度)なら近似的に確率分布に従うとみなすことができるので、現実のデータを確率分布でモデル化し、その確率モデルを用いてデータの標本統計量を数学的に求めて母数を推測し、現実のデータと確率モデルの誤差を考慮して母数を解釈することによって、現実のデータがどのような情報を持っているかを推測する、という統計モデルの考え方を支持しています。
これは端的に言えば「現実のデータを解釈するには、現実のデータの有効数字範囲内で近似した統計モデルでかまわない」という考え方であり、理論物理学が数学を応用して自然現象を解釈する時の考え方と同様です。この考え方に従えば、中心極限定理による正規近似について数学的に厳密な証明は必要ではなく、有効数字にして2〜4桁程度の近似でかまわず、値の範囲は現実のデータの範囲(例えば体重のデータなら、実数全体の集合Rではなく10〜200程度の実数範囲の集合)の近似でかまわない、ということになります。

参考までに、数理統計学分野における中心極限定理の証明を次のページに記載してあるので参考にしてください。
○玄関＞雑学の部屋＞雑学コーナー＞統計学入門
→1.3 データの要約方法　(注7)
http://www.snap-tck.com/room04/c01/stat/stat01/stat0103.html#note07

また中心極限定理をシミュレーションした結果を次のページに記載してあります。数学応用学的な観点からは、このシミュレーションの誤差程度なら、中心極限定理による正規近似を現実のデータに十分応用できると考えています。
○玄関＞雑学の部屋＞雑学コーナー＞統計学入門
→付録2　中心極限定理のシミュレーション−平均値と中央値
http://www.snap-tck.com/room04/c01/stat/stat99/stat9902.html

以上、参考になれば幸いです。

1976. 中心極限定理と正規近似 投稿者:F.Y.Edgeworth 投稿日:2024/08/27 (Tue) 08:20:18: 中心極限定理と正規近似についての質問です．

推測統計では「有限の平均μ，正の標準偏差σを持つ分布Pに従う独立な確率変数列の最初のn項の相加平均X_{n}（標本平均）を標準化したものは，nが十分大きいとき近似的に標準正規分布N(0,1)に従う」のように中心極限定理（の一つ）を述べ，それを根拠として，nが有限の場合の確率の近似値として正規分布から得た確率を利用（正規近似）するようです．
一方，実数全体の集合をR，整数全体の集合をZとすると，上記の定理は累積分布関数列の一様収束性
∀ε(ε＞0→∃m(m∈Z∧∀n(n∈Z∧m＜n→∀x(x∈R→|P((X_{n}-μ)/(σ/√{n})≦x)-N(0,1)((-∞,x])|＜ε))))
であり，mは誤差の上界ε，分布P，標本平均の列(X_{*})に依存します．
これに対して推測統計では，εを指定せず，P，(X_{*})も（当然）未知のまま「標本の大きさnは～以上ならよい」等と述べることが少なくなく，一般の人々が
(1)「nが十分大きいとき」というn→∞での挙動を表す表現を具体的なnの値に対するものと誤解すること
(2)「近似」という真値と近似値の差を誤差の上界で押さえることを指す表現を「およそ」，「正確ではないかもしれないが」といった意味に捉えること
を助長，容認しているように見えます．
「極限値の値が分かっても，有限の番号の項の値については何も分からない」という極限の基本的な性質に照らして，中心極限定理が正規近似の根拠となりえず，また「近似」を構成するための誤差の上界の指定もない（つまり，正規近似で得た確率と真値との差を評価できない）状況の下で，推測統計では，中心極限定理と正規近似とをどのように結び付けているのでしょうか？

ありがとうございました
ちゃんと記載されていました
よく読まないと駄目ですね
今後とも宜しくお願いします

＞キッシーさん
こんにちわ！(^o^)／

マハラノビスの汎距離Dは、多変量正規分布における偏差を変量間の相関を考慮して標準化した値に相当します。そしてこれを平方したマハラノビスの平方距離D^2は、正規分布の式、

f(x) = {1/√(2π・σ^2)}exp{-(x-μ)^2/(2σ^2)}

の(x-μ)^2/σ^2に相当します。
そして多変量正規分布の平均値ベクトルμに、群1の平均値ベクトルμ1と群2の平均値ベクトルμ2の差ベクトル(μ1-μ2)を代入した時の、標準化した偏差が判別スコアzです。そのため判別スコアzは平均値がD^2/2で、標準偏差がD^2の正規分布をします。そしてこの性質を利用して2群の誤判別確率を求めることができるのです。

詳しい説明は当館の次のページを御覧ください。(^_-)

○玄関＞雑学の部屋＞雑学コーナー＞統計学入門
→9.4 多変量の場合　(1)多変量正規分布とマハラノビスの汎距離　(注2)
http://www.snap-tck.com/room04/c01/stat/stat09/stat0904.html#note02
→(2)マハラノビスの汎距離を利用した群の判別　(注3)
http://www.snap-tck.com/room04/c01/stat/stat09/stat0904.html#note03

お世話になっております。
「
9.4 多変量の場合
(1) 多変量正規分布とマハラノビスの汎距離
(注3)　p次元正規分布に従う2つの母集団g1とg2があり、それぞれの母平均ベクトルと母共分散行列をμ1、Σ1、μ2、Σ2とします。
」

この条件での図９．４．３のような境界値を基準にしたときの
誤判別確率を計算する方法が知りたいのですが
例えば図９．４．２のように２次元のグラフで２群の違う母分散行列で描くと
境界値（D1＝D2）は曲線になるイメージをしています
よって計算はかなり複雑になってしまうのかなと思っていますが
このような計算は可能なのでしょうか？

線形判別分析なら変数が２つ以上でもZ（判別スコア）に変換すると
計算できるのですが
変な質問ですみません
宜しくお願いします

いつもながら返信ありがとうございます。
本などには分散共分散行列が等しいことの仮定があったのですが
計算するとあまり変わらないような気がしていましたが
まったく自信がなかったもので
大変貴重な情報をありがとうございました。
今後とも宜しくお願いします　　

＞キッシーさん
お久しぶりですね！(^o^)／

> 第９章　判別分析および第１８章　重判別分析
> 判別分析が紹介されていますが
> その分析を行うための仮定は、正規分布だけでしょうか？
> 分散は処理過程で考慮されていると思いますので
> 元データの等分散性は仮定には必要ないと思うのですが？
通常の判別分析では、群ごとの多変量データが多変量正規分布をしていると仮定します。そして原則として各群の分散共分散行列は等しくなくてもかまわない、つまり等分散性は必要ありません。(実は多変量データが特定の多変量確率分布をしていれば判別分析可能ですが、通常は多変量正規分布を用います。(^_-))
ただし各群の分散共分散行列が等しい時と等しくない時では、判別関数の内容が変わります。そこで一般的な判別分析の解説書などでは、各群の分散共分散行列が等しいと仮定した時の判別関数を記載していると思いますし、一般的な統計ソフトでも各群の分散共分散行列が等しいと仮定した時の判別関数を出力すると思います。そのため実際に判別分析を用いる時は、各群の分散共分散行列が等しいと仮定するのが普通です。

でも各群の分散共分散行列が等しくない時でも、その影響は非常に小さくて、現実的にはほとんど問題になりません。自作の統計ソフトDANSでは、2群で1変量の判別分析について等分散の時と不等分散の時の判別関数を計算できるようにしてあります。そしてそのソフトを用いて色々とシミュレーションし、不等分散性の影響が非常に小さいことを確認しました。

2群の判別分析について、分散共分散行列が等しくない時の判別関数については当館の次のページに記載してあります。
○玄関＞雑学の部屋＞雑学コーナー＞統計学入門
→9.4 多変量の場合　(注3)
http://www.snap-tck.com/room04/c01/stat/stat09/stat0904.html#note03

それから判別分析と同様に等分散性がよく問題になる2群の平均値の差の検定、つまり2標本t検定(対応のないt検定)について、不等分散性が検定結果にどの程度影響するかについてシミュレーションした結果を次のページに記載してあります。この結果を見ると、不等分散は現実的にはほとんど問題にならないことがわかると思います。(^_-)
○玄関＞雑学の部屋＞雑学コーナー＞統計学入門
→3.3 2標本の計量値　(注2)
http://www.snap-tck.com/room04/c01/stat/stat03/stat0303.html#note02

第９章　判別分析および第１８章　重判別分析
判別分析が紹介されていますが
その分析を行うための仮定は、正規分布だけでしょうか？
分散は処理過程で考慮されていると思いますので
元データの等分散性は仮定には必要ないと思うのですが？
ご教授お願いします

杉本様

早々に、明快で、丁寧なご回答を頂きまして有難うございました。
スッキリ致しました。
今後も宜しくお願い致します。

＞悩める開発担当者さん
こんにちわ！(^o^)／

サブグループ分けに限らず、有効数字については次の考え方が一般的ですね。
> 「任意に設定した数値は測定値ではなく誤差を含まないので，有効数字に関係しない。」ので、
> 1.0m/s以上は、任意に設定した数値であり、
> 1.0m/s以上のグループは「0.95m/s」以上の測定値ではなくて、
> 「1.0m/s」以上の測定値だと思うのですが、間違っているでしょうか？

厳密に言うと「1.0」は小数点以下第1位まで有効という意味であり、定数1を指定した時は「1」と表記します。
そのため「1m/s未満」は「0〜0.9999……m/s」になり、「1m/s以上」は「1.0000…m/s〜∞m/s」になります。そして連続量のデータを特定の境界値で分割する場合、境界値は有効数字ではなく定数で指定するのが一般的です。
境界値を有効数字で指定すると、その結果はそのデータにしか適用できない普遍性のない結果になります。しかし境界値を定数で指定すれば、その結果はある程度の普遍性があります。

ちなみにサブグループ解析は厳密な統計解析では禁じ手であり、代表的な「やってはいけない解析方法(^^;)」です。これについては当館の次のページを参考にしてください。(^_-)

・玄関＞雑学の部屋＞雑学コーナー＞統計学入門
→(2) 層別解析の非合理性
http://www.snap-tck.com/room04/c01/stat/stat08/stat0803.html

杉本様

2度目の投稿になります。宜しくお願い致します。
あまりに初歩的な質問で恐縮ですが、解析時のサブグループ分けする際、有効数字の取扱いについて悩んでおります。

具体的には、歩行速度1.0m/s 以上・未満でグループ分けする際の有効数字についてですが、CROの考え方は、以下の通りです。
①「1.0」は小数点以下第1位まで有効
②1.0m/sは、「0.95m/s～1.04m/s」のことなので、
③1.0m/s以上は「0.95m/s以上」のこと。
④従って、1.0m/s以上のグループは「0.95m/s以上のグループ」である。

しかし、
「任意に設定した数値は測定値ではなく誤差を含まないので，有効数字に関係しない。」ので、
1.0m/s以上は、任意に設定した数値であり、
1.0m/s以上のグループは「0.95m/s」以上の測定値ではなくて、
「1.0m/s」以上の測定値だと思うのですが、間違っているでしょうか？

宜しくお願い致します。

＞キッシーさん
こんにちわ！(^o^)／

> しかし、（Ａ）と（Ｂ）は背反するのですが
> どのように理解すれば良いのでしょうか？
(A)は相関分析における信頼楕円・許容楕円・予測楕円であり、(B)は回帰分析における信頼限界・許容限界・予測限界です。

相関分析は2つの項目の間に「項目1←→項目2」というような、お互いに影響を与え合っている相互関連性つまり相関性がある時に、その相互関連性の様子を相関係数を指標にして近似的に分析するための手法です。
そのため2つの項目はどちらも確率変数(確率的な誤差がある変数)であり、通常は近似的に2次元正規分布をするという前提で分析します。そしてその2次元正規分布を利用して、2次元空間において、2つの項目の母重心が95％の確率で含まれる範囲を信頼楕円として表し、データプロットの95％が含まれる範囲を予測楕円として表します。

それに対して回帰分析は2つの項目の間に「項目1(原因)→項目2(結果)」というような、項目1が原因で項目2がその結果という因果関係がある時に、その因果関係の様子を数学的な関数――通常は1次関数つまり回帰直線――で近似して分析するための手法です。
そのため原因項目は研究者が任意の値を指定する誤差のない変数、結果項目は誤差がある確率変数であり、通常はその誤差が回帰直線の上下に近似的に正規分布するという前提で分析します。そしてその誤差つまり回帰誤差の正規分布を利用して、母回帰直線が95％の確率で含まれる範囲を回帰直線の上下に信頼限界として表し、データプロットの95％が含まれる範囲を回帰直線の上下に予測限界として表します。
回帰誤差は結果項目つまり目的変数だけにあり、原因項目つまり説明変数の平均値付近が最も小さく、平均値から離れるほど大きくなります。そのため信頼限界と予測限界は説明変数の平均値の付近が最も狭く、平均値から離れるほど広くなります。

これらのことから、(A)と(B)は前提条件が異なるので背反するのは当然であることがわかると思います。
この相関分析と回帰分析の違いを十分に理解している人は、研究者はもちろん、「統計学専門家」を自称している人の中でもあまり多くありません。そのため論文や統計学の解説書などで、データの散布図に回帰直線と相関係数を同時に記載してしまうという自己矛盾を平気でやっている人がけっこういます。(^_^;)
詳しい説明は、当館の次のページをじっくりと読んでみてください。(^_-)

○玄関＞雑学の部屋＞雑学コーナー＞統計学入門
→5.5 各種手法の相互関係
→http://www.snap-tck.com/room04/c01/stat/stat05/stat0505.html

教えて頂いことがあります

５．５各種手法の相互関係
（注３）相関分析と同様に回帰分析の場合も信頼区間を求めることができます。

５・５・３　信頼性楕円・許容楕円・予測楕円
分布を見るとなるほど、楕円のようになるイメージできます（Ａ）

５・５・４　信頼限界・許容限界・予測限界
グラフを見るとｘが大きくなると限界幅が広くなるのもイメージできます（Ｂ）

しかし、（Ａ）と（Ｂ）は背反するのですが
どのように理解すれば良いのでしょうか？

初歩的な質問ですみませんが、宜しくお願いします

杉本様
いつも大変お世話になっています。

丁寧なご回答をありがとうございます.

私の考えが浅かったです。
少数例では母集団の推測は行えないという当たり前のことを忘れて、主成分分析や因子分析、他の回帰分析もある程度サンプルサイズが必要でした。
主成分分析や因子分析は特に勉強不足でした。もう一度じっくり学習しなおします。

SNPはお金がかかるので3対3が限界だったそうです。
ある程度お金をかけて解析できる必要最小限のサンプリングを行ったほうが多くのことが分かり、よい研究になると実感してしまいます。
MA plotを90度回転させて、volcano plotと見た目を同じにして、volcano plotであるかのような感じで行けば、見た目重視派には同じに見えてそのままいけそうな気がします。
私もMA plotを提案していました。

ノンパラメトリック手法とセミパラメトリック手法は前近代科学的な統計手法ですが、医学や歯学は伝統を重んじる傾向があるので、おそらくまだ前近代科学の伝統を重んじて時間依存解析を行っていると推察されます。
統計ソフトのデフォルトもセミパラメトリックやノンパラメトリックな方法しか搭載されていないのも理由の一つだと思われました。
さらにとりあえずデフォルトでよくわからないけどやってみて意味ありそうで論文にすることもありうるためだと思います。

いつもありがとうございます。
今後ともよろしくお願いいたします。

＞北の大学院生さん
こんにちわ！

> SNPの解析に関してなのですが、やはり主成分分析または因子分析を行って、主成分スコア、主成分負荷量で散布図を描いて、回帰分析を行ったほうが良いということであっているでしょうか。
主成分はお互いに独立ですし、因子軸を回転しない因子もお互いに独立です。そのため主成分スコアや因子スコアを目的変数にした回帰分析は意義があると思います。でも主成分スコアや因子スコアを説明変数にした重回帰分析は意義があまりありません。
主成分分析と因子分析は次元圧縮のための手法です。つまり検討すべき項目が多く、しかもお互いに相関がある時に、それらを相関が高い項目でグルーピングして、お互いに独立な少数の主成分や因子にまとめて扱いやすくするための手法です。そのため主成分スコアや因子スコアには、原則として単変量解析を適用します。

> ２群でそれぞれ3標本ずつサンプリングしたとき、様々な遺伝子を３人ずつの問診票の回答ととらえて、それぞれの群ごとに主成分分析を行い、主成分スコアで２群を0と1で識別してロジスティック回帰分析を行うという方法で良いでしょうか。
2群それぞれが3標本では、多変量解析を適用するには例数が少なすぎます。多変量解析を適用するには、少なくとも「例数＞項目数×10」という条件を満足している必要があります。
ただし遺伝子は項目数が非常に多いので、主成分分析や因子分析によって次元圧縮して解析項目数を減らします。しかし次元圧縮する場合、項目数よりも例数の方が少ない場合は例数によって次元圧縮の最大値が決められます。
例えば例数が3例で項目数が非常に多い時は、主成分や因子の数は最大で3個になります。そして主成分と因子の数を最大値である3個まで抽出した時は、それらの主成分や因子は項目をグルーピングしたものではなく、3例の遺伝子内容を反映したものになります。
したがって主成分分析や因子分析を適用する時は、少なくとも「例数＞主成分数または因子数×10」という条件を満足している必要があります。そして主成分数や因子数はたいてい3〜5個程度ですから、例数は少なくとも30〜50例以上必要になります。

> P値によって書かれるvolcano　poltはあまり意味ないという解釈で良いでしょうか。（一応plotしてみましたが。。。）
そのとおり、p値は検定以外には意味がないので、volcano plotはほとんど意味がありません。(^_^;)
volcano plotよりもMA plotの方が意味があると思います。

> また、オッズ比、リスク比、ハザード比に関してフィッシャー情報量などから、推定の誤差を予測しようと思い色々と調べていると、95％信頼区間に関して
> “lower limit 割る upper limit”
> が0.5以上で区間推定の精度良好など判断材料を知ることができました。
これは下限が0で上限が1という出現率のような評価指標の時だけ適用できる、特殊な判断材料だと思います。リスクとハザードは出現率ですから、この判断材料を用いることができると思います。しかしオッズは下限は0ですが上限は無限大なので、この判断材料はあまり有用ではないと思います。
ただし出現率が小さい時(10％未満)はオッズとリスクが近似します。そして出現率が小さい時は出現率が指数関数的に変化します。そのため出現率を対数変換した対数リスクの差または対数ハザードの差を評価指標にします。その対数リスク差または対数ハザード差を指数変換して元に戻したものがリスク比とハザード比であり、オッズ比はリスク比の近似値になります。
これらのことを考慮すると、出現率が10％未満の時は「lower limit 割る upper limit」を区間推定の精度の判断材料にしても良いと思います。

> 学習中に下記URL部でEXP(0.158)＝1.171がEXP(0.158)＝1.093になってしまっていると思われました。
ありがとうございます、またしてもタイプミスでした！　早速、訂正しておきます。

> EZRで時間依存解析を方法のところをexactやefronに変更できましたが、やはり他にも近似を用いているようでパラメトリックな方法が分かりやすくて良いと改めて実感しました。
> 非専門分野で計算したので、計算結果にどれだけの医学的価値があるかもできれば専門家に確認しようと思います。
それが良いと思います。
ロジスティック回帰分析等の多変量解析はたいていパラメトリック手法です。でも生存時間解析だけは、パラメトリック手法が存在するにもかかわらず、中途半端なセミパラメトリック手法が流行しているので困ったもんです。(~_~)
ノンパラメトリック手法やセミパラメトリック手法は数学モデルを用いないので、現実の世界と数学モデルの違いを検討して色々と考察することができません。ガリレオ以来、現実の世界を数学で理論的にモデル化し、実験によって両者の違いを検討することが近代科学の基本です。そのためノンパラメトリック手法とセミパラメトリック手法は前近代科学的な統計手法だと思います。(^_^;)

それでは、今度ともよろしくお願いします。

杉本様
いつも大変お世話になっています。

SNPの解析に関してなのですが、やはり主成分分析または因子分析を行って、主成分スコア、主成分負荷量で散布図を描いて、回帰分析を行ったほうが良いということであっているでしょうか。

２群でそれぞれ3標本ずつサンプリングしたとき、様々な遺伝子を３人ずつの問診票の回答ととらえて、それぞれの群ごとに主成分分析を行い、主成分スコアで２群を0と1で識別してロジスティック回帰分析を行うという方法で良いでしょうか。

P値によって書かれるvolcano　poltはあまり意味ないという解釈で良いでしょうか。（一応plotしてみましたが。。。）

ご教授をよろしくお願いいたします。

また、オッズ比、リスク比、ハザード比に関してフィッシャー情報量などから、推定の誤差を予測しようと思い色々と調べていると、95％信頼区間に関して

“lower limit 割る upper limit”

が0.5以上で区間推定の精度良好など判断材料を知ることができました。
学習中に下記URL部でEXP(0.158)＝1.171がEXP(0.158)＝1.093になってしまっていると思われました。
http://www.snap-tck.com/room04/c01/stat/stat10/stat1003.html#:~:text=OR1U%3Dexp(0.158)%3D1.093

EZRで時間依存解析を方法のところをexactやefronに変更できましたが、やはり他にも近似を用いているようでパラメトリックな方法が分かりやすくて良いと改めて実感しました。非専門分野で計算したので、計算結果にどれだけの医学的価値があるかもできれば専門家に確認しようと思います。

今後ともよろしくお願いいたします。

杉本先生　こんばんわ。ご返信ほんとうにありがとうございます。
+++
この場合、テキスト中に現れる特定の語句を「ある疾患における特定の症状」に相当すると考えてください。そして多くの患者について、複数の症状の有無を調べて「0：無　1：有」で表します。
このデータを主成分分析すると、どの患者でも同時に発現する複数の症状は相関が高いので、それらをまとめて1つの主成分になります。しかし特定の患者だけに発現する特殊な症状は他の症状と独立しているので、その症状だけで1つの主成分になります。
このような場合、主成分を座標軸にして、各症状と主成分の相関係数である主成分負荷量をプロットすると、お互いに相関が高い症状のプロットはまとまり、他の症状と独立した症状のプロットはポツンと離れてプロットされます。
そして独立した症状に対応する主成分軸上では、他の症状と独立した症状のプロットは原点から離れてポツンとプロットされ、他の症状のブロットは原点付近にまとまります。これが上記の「結果の中で原点からの距離が離れている語ほど「特徴的な語」である」という記述に対応します。
つまりその症状が発現した患者は他の患者と比較して特殊な患者であり、その疾患の特殊な病態を表す患者と言えます。
これと同様に、テキストマイニングの場合、原点から離れてプロットされた語句は、一般的な被験者の文章とは異なる特定の被験者の文章を表す語句と考えられます。
+++
この部分のコメントで、頭の中に2次元のクロス表がふわっと浮かび、図を描き起こしてみると、なるほどと目からうろこが落ちた、ストンと腑に落ちるという体験（もしかしてアハ体験？）でした。すぐにお礼の返信をするべきでしたが、分析に没頭してしまい御礼が遅れ大変失礼しました。今後とも、どうかよろしくお願いしたく存じます。
取り急ぎ御礼のみ失礼仕ります。