誠ブログは2015年4月6日に「オルタナティブ・ブログ」になりました。
各ブロガーの新規エントリーは「オルタナティブ・ブログ」でご覧ください。
試験問題の作り方
仕事と生活と私――ITエンジニアの人生
試験問題の作り方
グローバル ナレッジ ネットワーク株式会社で、Windows ServerなどのIT技術者向けトレーニングを担当。Windows Serverのすべてのバージョンを経験。趣味は写真(猫とライブ)。
当ブログ「仕事と生活と私――ITエンジニアの人生」は、2015年4月6日から新しいURL「http://blogs.itmedia.co.jp/yokoyamat/」 に移動しました。引き続きご愛読ください。
私の本業は、ITエンジニア向けの技術研修の提供である(勤務先はグローバルナレッジネットワーク株式会社)。1社向け研修の場合は、研修成果を測定して欲しいという要望に応えるため、試験問題もよく作る。もっとも、厳密な「成果測定」を行うのは、問題作成と評価に長い時間がかかるので、一応の目安にしかならないのであるが。
今回は、試験問題の作り方、正確には回答群の作り方について紹介する。成果測定のための試験問題の作り方は、「知的財産」に相当するので、そう簡単には教えられない。
●選択肢の並び順
採点の手間を省き、回答しやすくするため、試験問題の回答は4者択一式(たとえば、選択肢をA、B、C、Dの4つ)が多い。
コンピュータを使った試験システムCBT(Computer Based Test)の場合は、受験のたびに選択肢がランダムに並べ替えられることが多いが、紙の試験ではそうはいかない。必ず出題者が選択肢の順序を決める必要がある。
この時、試験全体でA、B、C、Dの4つがほぼ同数になるように配慮する人が多いのではないだろうか。たとえば20問の試験だったら、A、B、C、Dが5問ずつになるように配慮する。ただし、これを絶対条件にしてしまうと、1問だけ分からない場合は自動的に答えが決まってしまうため、多少のばらつきを許す。
しかし、正解個数のバランスを取るのは案外難しいと感じている人が多いようだ。
実は、もっと簡単で効果的な方法がある。選択肢を50音順やアルファベット順に並べてしまうのだ。
たとえば、こんな具合である。
問: TC2Pとは何の略か
- A: Tokyo Can Cam Program
- B: Tokyo Cheer Cheer Party
- C: Transmission Central Control Protocol
- D: Transport Control to Peer
正解はAの「Tokyo Cheer Cheer Party (トーキョーチアチアパーティ)」である。
その他の選択肢は適当に単語を並べただけなので、何の意味もない。そのため、この並び順を時間をかけて考えるのはナンセンスである。そこで、アルファベット順に並べ替えてみたのが例題である。試験全体で正解選択肢のばらつきが出たとしても(たとえば全部Aであっても)、機械的な並べ替えをしているのであれば「偶然」と言い張れる。
●「間違った選択肢」の作り方
4者択一の場合、「間違った選択肢」を3つ作る必要がある。これが結構難しい。多くの出題者は、受験者を混乱させるため、もとい、正確に記憶しているかどうかを確かめるために、似たような選択肢を作る。
たとえばこんな具合である(読みが同じものが多いため、文字コード順にソートした)。
問: 路上ライブからスタートして、2012年に武道館単独コンサートを成功させた女性シンガーは誰か
- A: 官崎奈穂子
- B: 宮崎菜穂子
- C: 宮崎奈緒子
- D: 宮崎奈穂子
正解はDの「宮崎奈穂子」である。
選択肢をよく見ると、Aのみが官崎で、残りが宮崎である。「紛らわしい選択肢を作りたい」という出題者の意図を考えると、正解は「宮崎」であると予想できる。
また、選択肢には「奈穂子」という名前のみ2つあり、残りは異なる名前であることから、正解は「奈穂子」であると予想できる。
似たような選択肢を提示することで、正確な記憶力を問うのは良い方法だ。しかし、重複を探すことで唯一の選択肢が導けるのは、あまり良い出題ではない。
ちなみに、「トーキョーチアチアパーティ」はアイドルグループで、新曲「進め! フレッシュマン」には、「通常版」「タイプA」「タイプB」「タイプC」の4種類がある。そして、「タイプC」のカップリング曲「好き...好き。」の作詞作曲が宮崎奈穂子である。
さらに余談だが「トーキョーチアチアパーティ」のイベントに宮崎奈穂子が出演したとき、司会者が「宮崎ナオコさんです」と紹介すると、「こんにちは、宮崎ナホコです」とさりげなく訂正していておかしかった。
●即興クイズの選択肢
イベントなどで、即興のクイズを作ることもあるだろう。この時は、選択肢をあらかじめ作っておくわけにいかないので、特別な注意がある。ついさっき面白い出来事があったので、紹介しよう。
畔地留似(あぜちるい)という女優がいる。現在、BSフジのテレビ番組「ワッチミー! TV×TV」のイメージキャラクターを決めるサバイバル型オーディション「ワッチミーナ2015」に参加中である(「身体コンプレックスを長所にする」で紹介した町宮亜子さんは「ワッチミーナ2014」の敢闘賞受賞者だ)。なお「ワッチミーナ2014」「ワッチミーナ2015」ともに、オフィスで見るにはあまりふさわしい画面とは思えないので注意して欲しい。
彼女がインターネットライブ番組で、自分の衣装についてのクイズを出した。
私の衣装はなんでしょう。
A(無言)白
B花柄
C(無言)赤
お分かりだろうか。正解は「花柄」である。彼女に花柄のイメージはなかったのだが、「B」と即答したら驚かれた。
まず、最初から正解を言うのは心理的に抵抗がある。さらに、Aと言ってから白と言うまでの無言の間は、何にしようか考えていたと思われる。Bのあとに間がないのはそれが正解だから。Cのあとの間も考えていたからである。だから、正解は明らかにBである。
このように、無言の時間は相手に対して情報を与えることになるので、即興で問題を作る時は選択肢を全部考えてから一気に言った方が良い。可能であれば、機械的なルールで並べ替えるともっとよい。
●まとめ
以下の内容に注意して、問題の選択肢を作るとよい。
- 並び順は機械的に
- 似たものをグループ化することで唯一の選択肢にならないように
- 即興の出題は、回答群を全部考えてから