Writing② E-raterの研究

TOEFLのWritingは、人間と機械がそれぞれ採点する仕組みを採用している。

機械の採点なのだから、一定の評価基準は存在するはずである。自分が機械自動採点サービスのfindscore(http://www.findscore.com/write/selecttopic.php?topictype=TOEFL)というサイトでエッセイの内容とスコアを検証したところ、以下のいずれかの方法が、機械の採点を満点にする効率的な道であるとの仮説を得た。

仮説1 330語以上、異語率50%以上60%以下、1文平均16字以上22字以下、難語(youとかtheとか以外)14%以上、転換語(firstとかhoweverとか)10以上 (左から順に重要な要素)

仮説2 500語以上、異語率42%以上

TOEFLにとどまらず、ライティングのテストにおけるスコアリングを研究している方は日本にもいらっしゃる。こうした論文を読むと、ある程度、TOEFLのライティングの採点アルゴリズムが見えてくる。論文によって多少の差があるが、典型的なものとしては、あるHPに公開されている論文から参照した以下を見ていただきたい。

– (1) 総語数 (token)  9
– (2) 異語数 (type)  8.5
– (3) 異語率 (TTR)  4
– (4) 平均単語長 (MWL) 3.2  
– (5) 平均文長 (MLS)  4
– (6) 助動詞の頻度 (Modal) 1.8 
– (7) 冠詞の頻度 (Article)  2.5
– (8) 代名詞の頻度 (Pronoun) 3 
– (9) 等位接続詞の頻度 (Coordinate)  3.5
– (10) 従属接続詞の頻度 (Subordinate)  3
– (11) 関係詞の頻度 (Relative)  2.5
– (12) 受動態の頻度 (Passive) 3

上の序列は、上から順に機械採点での寄与度が大きく、その寄与度が右端の数字で表されていることを意味している。

すなわち、一番重要なのは、文字数、同じくらい重要なのが異語数である。これを咀嚼すれば、

「コピペしても良いのでとにかく文字数を増やす」ことと「文字数は多くないが、とにかく語彙を増やすことを心がける」はどちらも点数を上げる戦略としては正しいことになる。

これを踏まえると、巷で、「とりあえず500字書けば機械で満点がもらえる」と言っている方の論理は、一定程度合理的な手法をとっていることが分かる。更に検証したところ、以下のバランスで書くことで、機会採点で満点をとれることが分かった。(ただし、あくまでfindscoreというサイトでの採点であることに留意が必要。)

文字数・異語率:500字・42%、450字・45%、420字・47%、400字・48%、350字・51%。330字・52%、300字・55%

なお、全く関係ない文章書くと減点される可能性があるので、お題に関連のある言葉(お題の文章をコピペでも良いかも)を1度は使う方がよいと思われた。また、異語率と文字数の関係を勘案すれば、仮に1文25字の中に6~7字以上(1文全体の25%超くらい)の異語を入れられるのであれば、文字数を増やした方が良い。つまり、コピペで25文字の文章を追加し、その中で6~7字のパラフレーズができるのであれば、書いた方が点数の寄与度は高いということである。

機械採点についていえばcorroborative とかsubstantiateとか、必ずしも難解な単語を使う必要はない。そうではなく、異語率を上げる観点から、簡単でもいいから色々な単語を用いることが重要なのだ。一つの方法として、具体例を多く書く(必然的に固有名詞が増えるので異語率が増える)ことがあげられるだろう。

 

また、もう一つ発見したことがある。それは、実はこのfindscoreで添削を試すと、独学受験生に大変評判であるwebtoeflを含めた多くの添削サービス会社のサンプルエッセイは満点をとれないことである。もちろん、あくまでfindscoreによる採点なので、TOEFLでは満点をとれるかもしれないが、恐らく、webtoefl等のサンプルエッセイは、やや異語数が少なく、また、文字数もそこまで多くないことから、機械採点的な満点にはならないのではないかと考えられた。

以上から、機械採点で満点をとるための方針としては、「コピペをできるだけせずに異なる言葉を用いて語数を多くするとともに、等位接続詞で結んで一文をできるだけ長くする。文法のエラーはそこまで気にしなくていい(寄与度が低い)」ということ。その中で文の構造や内容を意識するということ。自分は、「総語数350語以上、異語数180語以上」を目標として勉強していた。実は異語数を増やすより総語数を増やすほうが簡単なのだが、異語数を増やすことを意識したほうが、自分の語彙力が向上すると思ったからである。

 

正直、様々な人のTOEFL勉強法を調べたが、こうした視点から取り組まれている方は一人も見たことがない。このため、上記の方法が点数向上に資するかは分からないが、特に独学の方が、いわゆる満点の答案のレベル感を知る上では参考になるのではないかと思う。

 

 

(参考文献)

小林雄一郎・金丸敏幸 (2012) 「パターン認識を用いた課題英作文䛾自動評価䛾試み」 『電子情報通信学会技術研究報告』 vol.112, no.3 (pp. 37-42).

https://www.ets.org/erater/about

http://www.rd.dnc.ac.jp/~tunenori/doc/231_p17_24.pdf

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.105.427&rep=rep1&type=pdf

http://www.ets.org/toefl/research/topics/scoring/

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中