« IEEE/WIC/ACM WI'2012 参加メモ(2日目) Social Networks and Ubiquitous Intelligence | トップページ | 国際会議WWW2012論文感想その2 (Flickrデータによる気象予測) »

国際会議WWW2012論文感想その1 (QAサイトにおける過去の回答の提示)

Anna Shtok, Gideon Dror, Yoelle Maarek, Idan Szpektor: Learning from the past: answering new questions with past answers, Proc. ACM WWW'12 (the 21st international conference on World Wide Web), pp. 759-768, 2012.
 
Yahoo! Answer (日本サービスはYahoo!知恵袋)などのQAサイトにおいて,新たな質問に対して類似質問を探し出し,そのベストアンサーを回答として提示する方式を提案している.
 
このような研究は過去にも多く行われている.例えば,過去質問-新規質問間の類似度や,新規質問-過去回答間の類似度を用いている.また,類似した回答同士(回答Aと回答B)は,その質問ペア(回答Aに対する質問Aと回答Bに対する質問B)も類似していることを示す研究がある.これが分かると,質問中に欠落した語彙を補完することができる.
 
この研究も,過去の回答との類似度を計算するが,その計算においていろいろ工夫している.この研究では最初に過去の質問と新たな質問のタイトルからベクトル空間モデルで類似度を計算し,類似度が閾値より大きいものを回答候補とする.
 
次にその回答候補から絞り込みを行う.次に示す95個の特徴量を使って,分類器にかける.分類器は,メジャーなものを試しており,Random Forest(複数の決定木のブースティング),ロジスティック回帰,SVM,Naive Bayesである.
 
特徴量は,表層的統計量(IDFや?マークの数など),タイトルや本文の類似度,LDAによるトピック分布の類似性,構文解析の結果(WHタイプ,名詞や動詞の数など),クエリの曖昧性(クエリに対する回答の多様性),クエリフィードバック(2つのクエリの類似性から得られた回答候補の共起性)を使っている.
 
オフラインの実験では,Amazon Mechanical Turkを使った正解データで評価.80%ほどの精度を出していることを示している.
 
なんといってもこの論文の売りはオンラインの実験.システムが自動抽出した回答を,実際にYahoo! Answerに投稿し,質問者の反応を見ている.すると,質問者のほとんどは,ロボットからの回答だとほとんど気づかなかったことを示している.また,システムからの回答は,第一回答者になっており,一般ユーザのベストアンサー率と比較すると,倍以上ロボットの回答をベストアンサーとする結果を出している.
 
オフラインの実験では,やや実験のやり方に疑問があったが,このオンラインの実験結果は,極めて価値の高いものである.IBMのWatsonと並び,人工知能が人間の質問への回答に使えるレベルに来ていることを示している.

|

« IEEE/WIC/ACM WI'2012 参加メモ(2日目) Social Networks and Ubiquitous Intelligence | トップページ | 国際会議WWW2012論文感想その2 (Flickrデータによる気象予測) »

Web研究」カテゴリの記事