全国学力テストを問い直す

0
全国学力テスト,正確には「全国学力・学習状況調査」は,全国の全小学6年生・中学3年生を対象に今年度から始まった学力調査テストである.

しかしながら,今回の学力テストの実施に関しては,目的・実施方法・テスト内容・結果の解釈に関して疑問に感じるところが非常に多い.

何より,これは「教育効果」をはかるためのテストなのであって,テストされているのは政府(教育政策)の方であり教育委員会のほうであり教員の方であるということを,我々は理解すべきだ.

※この点,板挟みな格好になってしまう先生方には同情する.

結果の解釈に関する疑問

先日公表された結果では,都道府県別,地域規模別(大都市~僻地),国公私立別に各教科の平均点・中央値・標準偏差が公開され,市町村単位での公表は各市町村教委の判断に委ねられた.
まず,単純なデータの提示に関しての不満.少なくとも関係者向けの報告には,ヒストグラムでなく箱ひげ図を掲載すべきだろう.都道府県別,地域規模別,国公私立別に正答数の有意な差があるのかどうか,箱ひげ図を用いればおおよそ見当をつけることはできる.むしろ,それ以外のグラフで分類間の差を見ることはできない.

(だからどうして,「質問16:第6学年の児童は、熱意をもって勉強していると思いますか」みたいな抽象的な質問の結果を箱ひげ図で比較して,一方,肝心の得点分布はただの度数分布なんだよ!)

ヒストグラムは,図を書く人の解釈が入る余地が多分にあって,統計データの表示方法としてはふさわしくない.(下図参照)



(ただしこの点については,一般的に解釈が容易なヒストグラムに直すことで読者の理解を助けようとしたマスメディアの姿勢を非難するつもりは無い.)

相関関係≠因果関係

例えば,「アイスクリーム屋の交通量と,プールで溺れる子供の数の間には,強い相関性が存在することが明らかになった」と仮定して,(そしておそらく,この仮定は間違っていないだろう)
これはすなわち,アイスクリームが子供の溺死の原因となっていることを示している。
ということなのかと言うと,もちろんそんな訳はない.
これは,「アイスクリーム屋の交通量」と「プールで溺れる子供の数」の両方ともに関係を持つ「第3の変数」――例えば「日中の平均気温」など――の存在によって相関性が生じているというだけで,これらふたつの要素の間に直接の因果性が存在しているわけではない。

こんなことは統計の一番最初に習うことである.今回の調査に対しても,
・就学援助を受けている子どもの多い学校の成績が低い傾向がある。
・家で宿題をする方が点数が高い。
・朝食を毎日食べる方が点数が高い。
などと,単純に相関関係だけを見た解釈が述べられているが,だからどうしたと言うのが率直な感想である.

理解に苦しむのは,敢えて学力テストと“同時に”「児童・生徒の学習・生活環境の調査」も行った点.むしろ,これはミスリードを誘っているとしか思えない.
この報告だけを見て、
「朝食を食べれば成績が上がるんだ!」とか
「うちの子にも今日から持ち物の確認をさせないと!」とか思ってしまう人は
いろんな業者のカモになりやすい人かもしれない。
学力テストと生活調査を同時に行うことで,その2つが関連しているように子どもたちに思わせてしまっては,(実際に関係していようがしていまいが)回答に影響を与える.せめて1日ずらすだけでよいのだ.

もっと言うなら,生活調査は定期的に繰り返してはじめて(生活態度の“変化”を勘案してはじめて),学力との関連が見えてくるのではないか.たった1度の関連付けでいったい何がわかると言うのだろう.

手法と実施に関する疑問

該当学年の全員が受ける必要があるのか
一般的に、全員が参加する、いわゆる悉皆調査のほうが、調査対象者の数が多い分だけ、正確な情報を得られると思われがちである。しかし、この検討委員会に出席した委員(発言内容から見てテスト理論の専門家と思われる)の意見は、この常識とは異なる。むしろ、悉皆調査の方が、正確で客観的なデータを取る上で、マイナス面が大きいというのである。ある委員は、こう言っている。
「客観的なデータを取ることが重要である。悉皆調査で一番懸念されることは、成績の悪い子どもを休ませたり、学力調査の結果において高いパフォーマンスを得るための特別な努力をすることで、データが変質してしまうことである。取ったデータがすでに変質してしまっていれば、それをどれだけ分析しても意味がない」(第3回議事概要)。

全員が同一の問題を解く必要があるのか.というか,そのことが妥当なのか.いや適切ではない.

例えば,Xという能力を測る指標が4つ(x1,x2,x3,x4)あり,それをA,B,C,Dさんについて調査するとする.このとき「全員が全部の問題を解く」必要があるか.答えはNo.そんな無駄をなくすべく,効率のよい実験方法をデザインし結果を適切に解析することが既に学問領域として成立している.
そうやって適切に問題を割り振れば,調査対象もサンプリングすることが可能で,全員が同一のテストを受ける必要はない.

これは,今回の調査を個人別や学校別の順位付けに利用しないという建前を保障するためにも有意義である.全員が同じ問題を解き,同じ基準で採点されるのであれば,本当に順位付けに用いられないのかという不安は残るし,実際,可能である.だったら初めから、単純比較が無意味であることが自明な問題(受験者ごとに問題が異なる)を使えばいい.

予想され得た(のに何ら対策が講じられなかった)問題

その他,事前対策の問題とか,採点基準の混乱とか,記名式の是非とか,棚上げにされたまま実施された学力テスト.

そもそも「学力」って何?

そんなことより何より,一番の問題は学力テストを実施する意味を誰も理解してはいなかった点にある.

「全国学力テスト」が行われた訳

ぶっちゃけて言うと,今回の学力テストはゆとり教育に対する批判を受け,ともかく何か対応しましたよという文科省のアピールプレイでしかない.だから今回の結果は,ここ数年の教育政策を肯定するにも否定するにも都合良く解釈できる.ようになっている.

というかそもそも,明確な目的も基準も無かったのだから,「何か」を判断することなどそもそも不可能なのだ.そういう問題にはなっていない.

意味のある「学力」を測定するためには

いわゆる知能テストだって,男女差が出ないように問題が調整されたから男女差が無いとされているわけで.

少なくとも今回の調査では,本当に問題作成時に意図した能力差が測れているのか,それとも単に問題が悪かったための誤差なのか,誰にも判断することはできない.

何より,ここでは「学力」の検証ではなく,「学力テスト」の検証こそが必要なのに,それがなされていないのはどーゆーこっちゃ。
全国学力テストは「教育政策アセスメント調査」とでも名称変更したほうが良い。
全国学力テストの評価対象は教育行政であり,教育行政の評価のために収集されたデータが利用されない,または利用できないとしたら,今回実施された全国学力テストはなぜ行われたのか分からなくなる。

おわりに

こういう,社会調査方法だとか統計データの扱いだとか資料の読み方なんかを学ぶことが,教科「情報」の目的のひとつで,そうした教育は必要だし有意義だしきっと面白いと思うんだけど,ただのパソコン教室にされた挙句コンピュータが一般的になってパソコン教室としての役割が薄れ始めたとたんいらない子扱いはあまりにも酷い.

でも実際,そんな余裕がないのは重々承知している.中高一貫校や私立校,附属校ではかなり興味深い実践の報告も聞くのだけど,結局は担当教員のがんばり次第.日本の中等教育は,まだその域に達していないのか.(むしろ高等教育が中等レベルに下がってきてるような話があちこちから聞こえてくるのが笑えない.)

なお,筆者は学力テストそのものに反対しているわけではないので誤解の無いように.もっとも,

そんなにガチガチに「教育」を縛らなくたって,僕はちゃんと,いろんな人(それは必ずしも「立派な」人ばかりではない)から「生き方」を学んだよ.そしてこれからも.

必要が先か、技術が先か

0
今年もCEATECに行ってきた.

いくつかのトピックについて雑感。

画像検索と動画管理

今最も,ユーザのニーズと実現されているテクノロジーのレベルが大きく開いている(と感じた)IT技術分野が画像検索と動画管理.

画像検索

既存のWeb検索サービスの,前後の文章やAlt属性を見て画像に意味づけを行うアイデアは画期的であったが,これではハードディスクに保存されている無数の画像の管理には利用できない.

タグ付けは実質不可能,既に星の数ほどの素材がインターネットから個人のハードディスクにまで分散しており,改めて人間語で記述し直すのはナンセンス.

画像解析とそれに合わせた分類・管理技術の需要は非常に高いはずだ.

(とは言え,プライベートに管理している画像であれば,ただ単に似た色合いの画像をグルーピングしてくれるだけでも結構便利.例えばImage Sorterを使うと下図のように表示してくれる.)



動画管理

こちらは画像と異なり,現在のところは動画を共有するサービスが限られているため,人間の手でタグ付けすることでもそこそこ対応しきれいている.ただし,今後動画数や動画サービスが増えていくことを考えると限界が来る日もそう遠くはないだろう.

動画管理を複雑にするのは,動画の「中身」について意味づけを行いたいというところ.現状では,ある動画の内容を把握するにはせいぜい2倍速で流し見るか数十秒ごとにスキップして見るしかない.ユーザが利用を躊躇するのはその時間的制約.

シーンを分割し,何分何秒のところにどういうシーンがあるかといった情報を付加できれば,きっと動画利用の機会はぐっと高まる.

ライフログ等の行動履歴収集と,それを利用したプッシュ型情報配信

これは逆に,技術は十分な域に達しているものの,魅力あるサービスを提案できず上擦っている(と感じた)IT技術分野が,行動履歴収集と,それを利用したプッシュ型情報配信.

今回の展示を一通り見て回っても,まだまだ自動取得できるデータだけではライフログとして不十分(それを補填するために,どこでもいっしょのようにユーザに付加情報の入力を促すアプリを提供するものもあったが,本末転倒もいいとこ.)だし,提供される情報も“おせっかい”情報ばかり.

自分がこういうことをやっているだけに(尤も,自分の主題はサービスではなく通信管理なのだが),非常に頭が痛い問題なのだけど.

* * *

改めて,石井先生の言葉を借りよう

その「技術」を育てることが目的なのか,

あなたの「ビジョン」を実現する(ために「技術」を利用する)ことが目的なのか.

追記

satou30のレスへのレス.

まぁ,確かにニーズに応えるために技術が進歩するのか,技術に応じてニーズが高まるのかは鶏と卵のようなところがあるから断言はできないけど.ただ,一般的には表面化していなくても,ある人が「こんな技術が是非とも欲しい」と強く思っていれば,社会的なニーズと見なしてよいのではないかと.

動画に触れた際に想定していたのは,たとえば「あー,このBGMがあの映画のどこかに使われててあのシーンが好きなんだけどどこだったかなー」とか,「この3時間のドキュメンタリーの内容をチェックしなきゃなのに10分しか時間がない!」みたいシーン.そういう場面で活用できるほどのメタデータが,動画に付加されるようになれば便利だろうなと.(それを求める人がどれほどいるかは疑問だがw)

でも確かに,コンテンツとして提供される動画については製作者がその作業を負えばよくて,ユーザサイドでメタデータを付加するような利用シーンはなかなか思いつかないなぁ・・・ それこそニコニコぐらいしか.

あと,僕は自分の脳みそをそんなに信用していない.現時点では確かに,脳の方がそうした処理に向いているのだろうけど.