« ACM RecSys2010 勉強会のノート(セッション2) | トップページ | ACM RecSys2010 勉強会のノート(セッション5) »

ACM RecSys2010 勉強会のノート(セッション4)

国際会議ACM Recommender Systems 2010 (RecSys 2010)の勉強会のノートです.
論文紹介は,論文タイトル下の発表者がされ,下記は私が書いたノートです.
最も私が興味を持っているセッションです.ただ,一番興味深かったのは,私が担当した4-4の論文です.それ以外の論文は,私の事前の期待値に比べると,いまいちでした.4-4は推薦リストの大きさと満足度を比べております.ネタ的には,経営心理学の分野では多いようなのですが,やはり情報推薦の分野では初めての試みで面白いと思います.

Session 4: Beyond prediction accuracy
4-1 Performance of Recommender Algorithms on Top‐N Recommendation Tasks
  神嶌敏弘(産業技術総合研究所)
行列分解はRMSEを最小化する
 上位N位のアイテムを提示するときの性能は?
MovieLensとNetfぃxデータで実験
データを大量の評価がなされるショートヘッドと残りのロングテールに分ける
評価:5段階評価で評価5を適合アイテムと想定し精度・再現率を算出

非個人化手法
近接法 Sarwar型
行列分解 AsySVD, SVD++, PureSVD

RMSE(2乗平均平方根誤差)を最小化しないPureSVD, NNCosNgbrは良い
個人化のないtopPopは全体ではまあまあだが,ロングテールではだめ.

潜在変数が少ない方が全体では良いが,ロングテールはだめ.

PureSVD 中立的な値で欠損値を埋めてSVDするだけのシンプルな手法だが,Top-Nでの性能は非常に良いせっかく疎なデータなら,そのデータだけに適用すれば良いのでは?

4-2 On the Stability of Recommendation Algorithms
  Ta Son Tung(立命大)
安定性:学習データが増えても,一貫して同じような予測結果を返すシステムは安定性の高いシステム

(下記推薦手法を比較)
アイテム平均
アイテム平均
Item-based CF
User-based CF
Matrix Factorization

安定性に影響を及ぼす要因
・Data Sparsity
・Number of new ratings added
・New Rating Distribution
・Data Normalization

4-3 Optimizing Multiple Objectives in Collaborative Filtering
  伊藤ゆかり(同志社大)
アイテムの有用性:
popular嗜好度が高いユーザにはpopularityが高いアイテムを
popular嗜好度が低いユーザにはpopularityが低いアイテムを
推薦
推薦に直接関係しない外的要因の埋め込み手法
在庫??
実験
MovieLens data set
ユーザサイド:ベースラインで22位だったアイテムを高ランクにできた
システムサイド:在庫しか考えない推薦よりも,提案手法ははるかに効率的に不良在庫を解消できた

研究のやりたいことっていったい何?いまいちよく分からん.

4-4 Understanding choice overload in recommender systems
  土方嘉徳(阪大)
以下,私が担当した論文ですので,詳しく書いております.段落冒頭の数字は,節番号と段落番号に対応しております.
1-2
推薦リストが大きくなりすぎると,たとえ良い質の高いアイテムばかり推薦していたとしても,情報洪水の問題を軽減できたとしても,新たに選択過多(choice overload)に陥ってしまう.
1-3
大きいアイテム集合よりも,より小さいアイテム集合から選択する方が満足することも文献[5, 7, 18]で知られている.choice overloadの問題は,推薦システムを対象にしてはいないが,文献[3, 5, 13, 15, 14, 18]で研究されている.しかし,推薦システムにおいて,上記の問題及び現象は研究されてはいない.
1-4
この研究では,Web上での映画推薦においてchoice overloadについて調べる.推薦リストのサイズと質を様々に変えてみる.実験後の質問によって推薦の魅力,選択の難しさ,選んだアイテムの満足度を調べる.さらに,意思決定の時間,情報探索も調べ,どのような時にchoice overloadが発生するかを調べる.

2-1-1
文献[7]がchoice overloadの最初の研究.人々はより多いchoice setに惹かれるが,実際にはchoice difficultyが増し,満足度が下がることを示している.
2-1-2
choiceが多いと,心理的にはその多さからくる利益が,全ての候補と比較しないといけないというコスト,(もっとアイテムがあると考えて)選択すると後悔するかもしれないという不安,多くの候補から選択するならより質の高いアイテムを選択できるという期待に負けてしまう[文献 2, 16, 17].

2-2-1
choice overloadはchoice set の中のアイテムにほとんど魅力に差がない時にも発生する[文献 1, 3].
2-2-2
これまでのchoice overloadの研究は,choice setの中に興味の高いものから低いものまでさまざまなアイテムが混じっていた.推薦システムは,質の高いアイテムのみ推薦し,これまでの知見とは異なる可能性がある.
2-2-3
アイテムが魅力的でも,比較するのが難しければ,choice overloadは大きくなる[文献 14].
choice overloadはアイテムセットのエントロピーが増えれば増える[文献 3].アイテムセットのエントロピーは,アイテムの数,アイテムの属性の数,属性におけるアイテムのばらつきなどで計算される.
2-2-4
情報推薦では,パーソナライズドされたアイテムが提示される.小さい推薦リストでも良いアイテムが含まれている.大きい推薦リストでも良いアイテムが含まれているが,魅力の似た(魅力の高い)アイテムばかりではあるが,属性はそれよりは多様で,よりchoice overloadが発生するかもしれない.したがって,本研究では情報推薦での推薦リストにおけるchoice overloadについて調べる.

2-3
ユーザ満足には,2つの要素が影響している.一つは,ユーザはより大きくて多様で魅力的なアイテムセットを受けたいと考える.もう一つは,大きいアイテム集合は,choice diffcultyを増やしてしまうことである.
これを調べるため,著者らは推薦リストのサイズと質を変化させて調べている.ベースラインは,5つのアイテムから成る小さい推薦セット.推薦リストのサイズの影響を調べるために,20個のアイテムから成る大きい推薦セット.推薦リストの質の影響を調べるために,20個のアイテムのうち上位5個はTop-5を提示し,下位15位は,さらに低いランクからサンプル的に取り出して並べたものを提示する.実験後の質問によって推薦の魅力,選択の難しさ,選んだアイテムの満足度を調べる.また,アイテムの多様性についても尋ねる.また推薦における経験度合いも計測する.さらに,意思決定の時間,情報探索も調べ,どのような時にchoice overloadが発生するかを調べる.

3
MovieLens datasetで実験(6040 users 3900 movies).Matrix Factozation algorithmで推薦.5-cross validationで実験.1被験者1条件で実験.
3-1
Baseline: Top-5の推薦リスト
Top-20: Top-20の推薦リスト
Lin-20: Top-5の推薦リスト+下位99, 199, 299位...と並べて表示したもの
3-2
被験者に推薦の準備として10個のアイテムにratingを付けさせた.
半分のユーザには予測推薦スコアを提示し,もう半分のユーザには提示しなかった.
ユーザは見たい映画を1つ選ぶ.実験参加者には3ユーロ支払った.174人が参加.タスクを不完全に実行した
被験者や,実験時間があまりに短い参加者は取り除いた.

3-4
29個の質問を7段階で尋ねた.

4.
推薦セットの魅力,choice difficulty, 選択アイテムへの満足度との相互作用を解析するために,Structural Equation Model(SEM)(共分散構造分析)がデータに適用された.共分散構造分析は、潜在変数間の因果関係を表す構造方程式モデルと、観測変数間の関係を表わす測定方程式モデルを、誤差変数を入れて結合したものである。共分散構造分析には 1) 構成概念間の因果関係を分析できる 2) モデルに学習機能がある 3) 双方向の因果関係を扱 うことができる 4) 因果関係を直接効果と間接効果に分解することができる、などの特徴がある。

図2がその結果である.有意な関係に矢印を付けている.カイ二乗検定の結果,良いモデルを示している.
仮説通り,また過去の文献通り,アイテムの魅力は満足度にpositiveな影響を与え,choice difficultyにnegativeな影響を与えている.アイテムの魅力そのものは,推薦セットのアイテムの多様性に強くpositiveな影響を受けている.

図2(一番上の実験条件の比較は無視して)では,choice overloadが起こったかどうかは分からない.そこで,各操作が満足度に与える影響を調査した.Top-20やLin-20がTop-5に比べてユーザ満足度に良い影響を与えるのか悪い影響を与えるのかは分からなかった(図3).このことから推薦セットを長くすることはユーザ満足度に影響を与えないことが分かった.

各操作はユーザ満足度に影響を与えないが,これは推薦の質とchoice difficultyのトレードオフが起因しているように思われた.この仮説を検証するために,各操作の主観概念への影響を調べた.Top-5とTop-20,Top-5とLin-20を比較した.Top-5に比べてTop-20は推薦リストの多様性とchoice difficultyにpositiveな影響を与えていた.Top-5に比べて,Top-20は推薦リストの多様性を高め,そのことが推薦の魅力を増していた.しかし,choice difficultyを上げてしまったために,満足度はTop-5と変わらなかった.

Lin-20はTop5よりも推薦リストの多様性にpositiveな影響を与えていた.逆に推薦リストの魅力にはnegativeな影響を与えていた.しかし,興味深いことにLin-20はchoice difficultyには直接には影響を与えていなかった.しかし,positiveな残留効果(推薦リストの質やchoice difficultyに対する制御感)を与えていた.この残留効果は,6位以下の下位のアイテムを見ることによって満足度が向上したことを意味するものと思われる.質問では,ユーザの専門性(経験)も聞いていたが,専門性(経験)は推薦セットの多様性や魅力にpositiveな影響を与えていた.専門性(経験)があれば,choice difficultyは下がるようだ.
http://eow.alc.co.jp/prone/UTF-8/#
4.2
Top-20では,41%のユーザは上位5位からアイテムを選択していたのに対し,Lin-20では,74%のユーザは上位5位からアイテムを選択していた.Top-20のmedian rankは8.5で,Lin-20は3.0で有意差があった.Top-20は,下位のアイテムも調べる必要があり,これは調査に対しての労力につながる.
図5は,各順位のアイテムの選択回数と,調べるのに要した時間である.Top-20はLin-20よりも,回数も時間も大きくなっていることが分かる.ANOVA(分散分析)を行ったところ有意性が確かめられている.

5.
我々の結果は,choice overloadは推薦セットの魅力とchoice difficultyに依存していることが分かる(何で言えるの?).
結果をまとめると,Top-5は多様性は限られるが,選びやすかった.Top-20は多様性は増すが,選びにくかった.Lin-20は,多様性は増し,選びやすくはなったが,質が落ちた.ということになる.結果として,どの条件でも満足度は同じになった.behavioral measurementによりTop-20はLin-20に比べてchoiceのコストがかかることが分かった.
どのぐらいのサイズの推薦リストが良いかはこの結果からは分からず,今後の課題である.しかし7ぐらいが一番良いのではないかと推測している.ユーザ満足度は推薦の正確さだけに依存するわけではない[文献 6, 11, 12].
今後は,意思決定のステージを考慮したり,ユーザのexperienceを考慮するなど,心理的な面からアイテムの選択に関する研究をすべきであろう.

===

ACM RecSys2010 勉強会ノート目次

http://e-biz.cocolog-nifty.com/blog/2010/12/acm-recsys201-1.html

ACM RecSys2010 勉強会 公式HP
http://qwik.jp/recsys-study/

ACM RecSys2010 公式HP
http://recsys.acm.org/2010/

 

|

« ACM RecSys2010 勉強会のノート(セッション2) | トップページ | ACM RecSys2010 勉強会のノート(セッション5) »

Web研究」カテゴリの記事

学会」カテゴリの記事