江戸っ子が斬る!! 感情的起因からの論理思考

< 新しい記事

新着記事一覧(全4718件)

過去の記事 >

2005年02月14日

サンプリングデータを原因に仮定が間違っていると情報には全くならない例

テーマ：パソコンニュース＆情報(7748)

カテゴリ： Web

「「インターネット調査と従来型調査では結果に差が現われる」との実験結果」
http://internet.watch.impress.co.jp/cda/news/2005/02/09/6405.html

ざっと見ても、報告されている各項目がバランバランで、
結局、言いたい事がなんだかわかんない。
何が一体調べたかったんだろう？調査結果それぞれに何ら結びつきが無い。

で、憶測。

これ「労働に関する意識調査のつもりが、設問設定がなんらフレームワークも流れも想定してなかったのが原因で、調査結果がバラバラで失敗しました」

「何か出さなきゃいけないんだけど、当然の如く手法が違えばズレが出てるんで、
その報告書にしよう」って言い訳だったのでは？（笑）

で、楽しいんで本文を見てみた。

紹介記事まとめによると、
＞、「インターネット調査は、現段階では、従来型調査の代用としてなんの留保もなくそのまま用いることは不適切」

本文だと

＞従来型の調査は、現時点では調査の質の点からみて他の調査法とは一線を画した優位性をもっているが、今後、プライバシーやセキュリティへの関心が強まる中で回収率の低下が進んだ場合、訪問面接に応ずる人と拒否する人の差（無回答誤差）が拡大することも懸念されるので、従来型調査の質も注視していくことが必要である。

だからなに？結局どっち？
経費が掛かって（予算がたっぷりもらえる）従来型調査結果は正確で、
インターネット調査は不正確とでも言いたいの？(とは言え１０００万位使ってる)
偏りはあれどむしろ「チャンとした調査方法」をとれば逆だと思う。
（理由とやり方は後述）

しかも、「質」とやらの精度論旨説明の資料が全く何にも無いんですけど・・・

「その人がどういう人かの正確な情報」を取ってから、
「オンラインとオフライン調査を行った結果」と「真実の誤差を比較する」
ってやらないと全く意味無い。
その精度検証をしてないのに「従来型が質が良い」なんて何処から言ってるんだか。
むしろ、「インターネット調査に経費を掛けたけど、実施した設問や、やり方がまずかった」ってことだろうから、

仮説理由もデータも全然おかしいので見てみる。

結果は
＞無作為抽出した非モニター回答者を調査員が訪問する「従来型調査」と、
＞無作為抽出または公募によるモニター回答者を対象とした「インターネット調査」4種類および「郵送調査」1種類を行なった結果、
＞従来型とインターネットおよび郵送では「調査結果の大半が有意に異なった」

これだけ見たってサンプリングの段階で
「オフライン」は「無作為抽出した非モニター回答」が対象で
「オンライン」は「無作為抽出または公募によるモニター回答者」
って差異が出ちゃってる。
しかも、「オンライン」は公募が4種、「無作為抽出」1つと相当に偏ったデータ。

Apple to Appleじゃない比較データから仮説立てても１００％間違うわな。

本来なら比較データとして扱えるのは、
「オフライン」と「オンライン」調査の比較をしたいのなら「無作為抽出」の部分のデータしか使い物にならない。
実際「無作為抽出」での回答率が双方7割とか、共通項が見るとこ見れば拾えるんで、益々「無作為抽出」と「公募」モニターの差でしかない。

他にも違いの原因で

＞回答者自身の違い
＞データ収集方法の違い
＞調査時点の違い
＞回答態度の違い

って全部当たり前の事が書いてある・・・

そこまで比較してる条件がてんでバラバラなら、何事でも差異なんてあるよ！
しかも「大半」って事は「同じ事もあります」って事ジャン。
「同じ事も、違う事もあります」なんて報告じゃ
「犬も猫も四本足で尻尾があります。でも泣き声はワンとニャンです」って内容みたい。結局どっちがどうなの？

結果要因が
＞「回答モニターとして登録する」というプロセスを経ることで生じる「回答者自身の心理的特性の違い」が最も影響が大きいと推測

ハァ？にわとりたまご。
それはただの「無作為抽出」と「公募」モニターの差ジャン！
全然、「オンライン」と「オフライン」調査の比較用件にならないんですけど・・・
元々条件違うデータ比較して「公募だから誤差が出てます」って逆！

少しズレますけど、モニター応募した人ってのは「金銭目当て」や「暇人」って偏りもあるやもしれんが、
インタビューやアンケートベースの細かいデータを集める為にはコアでモチベートの高い人の方がニッチ市場しかない昨今むしろ絶対に必要だろ！

でも、そういう時はWebでも必ず記述式じゃないと意味無いけどね。
ラジオボタンとかだと一番上のだけにチェック入れた人と、ちゃんと読んでやった人との差異が無いもんね。
まぁ、分析にはリソース掛かるので、もっと楽な方法と組み合わせるといいと思う。
けど、此処までしか書かない（W

モチベートの点でいえば「無作為抽出」に回答した人のデータ、つまり「回答する意思がある人」なので、その段階で既に「偏り」も「漏れ」もある。
しかも回収率から見るに「漏れ」は３割以上も！！
見えないデータが見れる事の方が価値があるんだよねぇ。

「無作為」「従来型」調査の論旨根幹資料も相当お粗末で

＞測定誤差については、従来型調査では調査員が対象者に面接して回答を聞き取る方法をとっている。
＞実査に当たっては、訪問面接調査について「蓄積された経験」を踏まえ、「わかりやすい」設問、調査員による「適切」なインストラクションの実施など測定誤差を「できるだけ」小さくするような配慮を行っており

「」は私がつけました。あまりに定量的にいいかげんな形容詞ばっかりなので（W

これ人間なんて非常に有機的且つ感情的なものが媒体として絡んでる段階で、
「あまりに」不安定じゃない？（W
「できるだけ小さくする」って何％しましたか？（W
個人差とか人間がやってる限りあるし

しかも、報告者自身

＞面接員が介在することで回答者の心理状態等に影響を与える可能性があり、測定誤差が皆無とはいえない。

それどころか、対面している人間の性別、年齢、容姿etcで、
例え調査設問が同じ内容だったとしても「自分の労働や業務に関する内容調査」だったら「絶対に感情的な面では違いが出る」って思うんですけど。

漏れに対しては当然ケアされてた様子だが

＞無回答者に対する追跡調査の結果
＞追跡調査の対象者は初回調査の無回答者を対象としているが、調査の依頼状が届かなかった者（未達者）を対象に含めたかどうかは調査会社により異なっている。
＞また郵送調査では、初回で回答がなかった者のうち「回答拒否者」であることが明白な者は追跡調査の対象者としなかった。

要は「情報収集結果はバラバラだし、結局漏れだらけです」って事ジャン！

と、ツッコミどころ満載なのですが、

ちょっとだけいいところも紹介。
下記資料「補足」の「ウェブ調査の調査票デザインについて」
http://www.jil.go.jp/institute/reports/2005/documents/017_5.pdf
のP.11参照
これはWebデザイナーやオンラインアンケート創る人には有用な資料。

「補足」扱いだけど、これが最重要事項じゃないの？
タイトルは
「インターネット調査手法における現状問題点と今後の対策」
とでもして、これを中心に報告書纏めればもちっと見れたものに出来たかも？

てことで、データってのはこうやってリソース掛けて噛み砕かないと「情報」に昇華できない。

でも、こういうのより、有用なWebでの調査方法があるんだけどねー。
要はやりかた。

お気に入りの記事を「いいね！」で応援しよう