[分析1]: 言語的特徴量とsemantic variationの関係

人の言語使用における単語の意味の揺らぎの解明に向けて#1#.!��*4�!� !�$!� � %�‡� /'��‡

, , . ,- ,†)�#�#���‡)�#� ������

モデル主タスク 補助タスクビール[Acc.(%)]

醸造所[Acc.(%)]

スタイル[Acc.(%)]

アルコール度数[RMSE]

ベースライン 0.08 1.51 6.19 2.321---- / ---- 15.74 n/a n/a n/aMTL/ ---- 16.16 19.98 49.00 1.428---- /PRS 16.69 n/a n/a n/aMTL/PRS 17.56 20.81 49.78 1.406

上位20単語 ery bready ark slight floral toasty

tangy updated citrusy soft deepmainly grassy aroma doughydissipating grass ot great earthy

下位20単語 reminds cask batch oil reminded beyond

canned conditioned double abv hope horse oats rye brewery blueberry blueberries maple bells old

[分析2]: semantic variationの値で単語をソート

Proposal

RELU RELURELU RELU

arg max arg max arg max

主タスク

[データセット]: ratebeer データセット[MuCauley+, 13]を加工評価文書 2,695,615 (訓練/開発/評価用に評価者ごと8:1:1に分割)評価対象 ビール (109,912種) 評価者 100レビュー以上した3,670人属性 醸造所, スタイル, アルコール度数[ベースライン]: 訓練データ中の最頻ラベルを選択[提案手法]: 以下の組み合わせからなる4通り

・マルチタスク学習による事前学習の有無 (MTL or ----)・評価者固有パラメタのFine-Tuningの有無 (PRS or ----)

補助タスク

1. 評価者を同一視し，評価対象の属性推定とのマルチタスク学習で事前学習・評価対象推定という超多クラス問題の学習不安定の軽減

2. 主タスクのみで個人適応の単語分散表現をFine-Tuning・主タスクのみでFine-Tuningすることで選択バイアスの混入を抑止・評価者数に比例するパラメタ増大によるメモリ使用量の爆発を回避

評価者固有の行列 評価者によらない事前学習済み単語分散表現

Experiments

Analysis: 個人で意味が異なるのはどんな単語？

評価対象推定タスクがより良く解けていることから個人適応の単語分散表現は単語の意味の揺らぎを考慮していると考えられる

[分析対象]: 機能語を除く3割以上の評価者が使用した単語[意味の揺らぎ度合いを評価する提案尺度]: semantic variation

1

|U(wi)|!

uj∈U(wi)

(1− cos(eujwi, ewi))

五感に関連する単語と形容詞が強い意味の揺らぎを持つ・上位単語中の五感関連の単語と形容詞には低頻度語も含まれる

例) floral, doughy, dissipating

マルチタスク学習(事前学習)とFine-Tuningに基づく評価対象推定タスクを介した個人適応の単語分散表現獲得手法

評価対象の推定実験を通して個人適応の単語分散表現が単語の意味の揺らぎを考慮できているかを確認

…

[前提]: 分散表現が単語の意味の揺らぎを考慮できていれば評価者によらず評価文書から評価対象をうまく推定できるはず

個人差を考慮するための単語分散表現獲得手法[Li+,16]は意味の揺らぎと出力 (ラベル) のバイアスを合わせてモデル化

Problem

・注釈バイアス: 注釈者のラベル付けの偏り例) 評判分析でどの商品にも極端な評価をつける

・選択バイアス: 書き手の恣意的な入力選択による出力の偏り例) 評判分析で特定メーカーの高評価商品ばかりレビュー

Approach: 単語の意味の揺らぎのみを考慮した個人適応の単語分散表現を獲得・評価文書から評価対象を推定するタスクを介して個人適応の単語分散表現を学習!出力ラベルのバイアスの影響を受けず，単語の意味の揺らぎのみを獲得可能

評価対象・注釈者が存在しない: !注釈バイアス・評価者ごとに各評価対象は最大一つ: !選択バイアス

・人は異なる意味で同じ単語を使ったり，逆に同じ意味で異なる単語を使ったりする

"日常生活で話した言葉の意図が他人にうまく伝わらない"計算機で言語処理タスクを解く際に性能が低下する

Motivation意味の揺らぎ (単語の意味の個人差) を分析したい

Cold

Yellow

Cold

Gold

$%℉'(℉≠

評価文書This beer has high drinkability ��

eujwi

<latexit sha1_base64="wil07PffMt5sodU9PSFlQLFu4wc=">AAAC33ichVFNSxVhFH4cK+324dU2QZvByw1DuJwRQREEsU2LFnr1egWvDTPTq705X8y89/oxzFpwEe0iWhW0iPb9gNz4B1r4D4pWZdCmRWc+IFS0M8y85zznec48L8cOXRkrouM+rf/K1WsDg9crN27euj1UHR5ZiYNu5IiWE7hBtGpbsXClL1pKKleshpGwPNsVbXvrYdZv90QUy8BfVruhWPesTV9uSMdSDJnVTsf2EpE+Sbrm89RMtk2Z6pX6rN5RYkdFXtIUj1vpWEZqczsj6YWi4I7nlV22Hujjp7pmtUYNykM/nxhlUkMZC0H1Ezp4igAOuvAg4ENx7sJCzM8aDBBCxtaRMBZxJvO+QIoKa7vMEsywGN3i7yZXayXqc53NjHO1w39x+Y1YqaNOX+gDndARfaRv9OfCWUk+I/Oyy6ddaEVoDh3cXfr9X5XHp8Kzf6pLPStsYDr3Ktl7mCPZLZxC39t7dbI006wn9+kdfWf/b+mYDvkGfu+X835RNN9c4sdmL9l6jLPLOJ+sTDQMahiLk7W5+XJRg7iHUYzxNqYwh0dYQIunf8ZX/MBPzdL2tRfay4Kq9ZWaOzgV2uu/sLq2Ww==</latexit><latexit sha1_base64="wil07PffMt5sodU9PSFlQLFu4wc=">AAAC33ichVFNSxVhFH4cK+324dU2QZvByw1DuJwRQREEsU2LFnr1egWvDTPTq705X8y89/oxzFpwEe0iWhW0iPb9gNz4B1r4D4pWZdCmRWc+IFS0M8y85zznec48L8cOXRkrouM+rf/K1WsDg9crN27euj1UHR5ZiYNu5IiWE7hBtGpbsXClL1pKKleshpGwPNsVbXvrYdZv90QUy8BfVruhWPesTV9uSMdSDJnVTsf2EpE+Sbrm89RMtk2Z6pX6rN5RYkdFXtIUj1vpWEZqczsj6YWi4I7nlV22Hujjp7pmtUYNykM/nxhlUkMZC0H1Ezp4igAOuvAg4ENx7sJCzM8aDBBCxtaRMBZxJvO+QIoKa7vMEsywGN3i7yZXayXqc53NjHO1w39x+Y1YqaNOX+gDndARfaRv9OfCWUk+I/Oyy6ddaEVoDh3cXfr9X5XHp8Kzf6pLPStsYDr3Ktl7mCPZLZxC39t7dbI006wn9+kdfWf/b+mYDvkGfu+X835RNN9c4sdmL9l6jLPLOJ+sTDQMahiLk7W5+XJRg7iHUYzxNqYwh0dYQIunf8ZX/MBPzdL2tRfay4Kq9ZWaOzgV2uu/sLq2Ww==</latexit><latexit sha1_base64="wil07PffMt5sodU9PSFlQLFu4wc=">AAAC33ichVFNSxVhFH4cK+324dU2QZvByw1DuJwRQREEsU2LFnr1egWvDTPTq705X8y89/oxzFpwEe0iWhW0iPb9gNz4B1r4D4pWZdCmRWc+IFS0M8y85zznec48L8cOXRkrouM+rf/K1WsDg9crN27euj1UHR5ZiYNu5IiWE7hBtGpbsXClL1pKKleshpGwPNsVbXvrYdZv90QUy8BfVruhWPesTV9uSMdSDJnVTsf2EpE+Sbrm89RMtk2Z6pX6rN5RYkdFXtIUj1vpWEZqczsj6YWi4I7nlV22Hujjp7pmtUYNykM/nxhlUkMZC0H1Ezp4igAOuvAg4ENx7sJCzM8aDBBCxtaRMBZxJvO+QIoKa7vMEsywGN3i7yZXayXqc53NjHO1w39x+Y1YqaNOX+gDndARfaRv9OfCWUk+I/Oyy6ddaEVoDh3cXfr9X5XHp8Kzf6pLPStsYDr3Ktl7mCPZLZxC39t7dbI006wn9+kdfWf/b+mYDvkGfu+X835RNN9c4sdmL9l6jLPLOJ+sTDQMahiLk7W5+XJRg7iHUYzxNqYwh0dYQIunf8ZX/MBPzdL2tRfay4Kq9ZWaOzgV2uu/sLq2Ww==</latexit><latexit sha1_base64="wil07PffMt5sodU9PSFlQLFu4wc=">AAAC33ichVFNSxVhFH4cK+324dU2QZvByw1DuJwRQREEsU2LFnr1egWvDTPTq705X8y89/oxzFpwEe0iWhW0iPb9gNz4B1r4D4pWZdCmRWc+IFS0M8y85zznec48L8cOXRkrouM+rf/K1WsDg9crN27euj1UHR5ZiYNu5IiWE7hBtGpbsXClL1pKKleshpGwPNsVbXvrYdZv90QUy8BfVruhWPesTV9uSMdSDJnVTsf2EpE+Sbrm89RMtk2Z6pX6rN5RYkdFXtIUj1vpWEZqczsj6YWi4I7nlV22Hujjp7pmtUYNykM/nxhlUkMZC0H1Ezp4igAOuvAg4ENx7sJCzM8aDBBCxtaRMBZxJvO+QIoKa7vMEsywGN3i7yZXayXqc53NjHO1w39x+Y1YqaNOX+gDndARfaRv9OfCWUk+I/Oyy6ddaEVoDh3cXfr9X5XHp8Kzf6pLPStsYDr3Ktl7mCPZLZxC39t7dbI006wn9+kdfWf/b+mYDvkGfu+X835RNN9c4sdmL9l6jLPLOJ+sTDQMahiLk7W5+XJRg7iHUYzxNqYwh0dYQIunf8ZX/MBPzdL2tRfay4Kq9ZWaOzgV2uu/sLq2Ww==</latexit>

ewi<latexit sha1_base64="1Tw3Qq7j2zJO/YljKE/dnOLSS4w=">AAADBnichVFNS9xQFL1JazuOtjO2G6Wb0CFlijDcSEERBGk3Llzo6DiCM4Ykfepz8kXyZqwNWXUj/gEXrlroogjuWreCm/4BF/4E6dKCGxe9+QCZSu0Nybv33HNuzuOavs1DgXghyQ8eDjx6XBgsDg0/eVoqjzxbCb1uYLGG5dlesGoaIbO5yxqCC5ut+gEzHNNmTbPzLuk3eywIuecui12ftR1j0+Ub3DIEQXr5k9oynYjF61FX3471aEfnsVJUZ5SWYB9E4ER1Nt+IqwmpSe2EpGSKjDueVmbeeq2M93WLal/V8shK4jTK4BzXyxWsYRrK3UTLkwrkseCVf0AL3oMHFnTBAQYuCMptMCCkZw00QPAJa0NEWEAZT/sMYiiStkssRgyD0A59N6lay1GX6mRmmKot+otNb0BKBVQ8x294hT/xCC/x5p+zonRG4mWXTjPTMl8v7Y8uXf9X5dApYOtWda9nARswlXrl5N1PkeQWVqbvfTy4Wpquq9Er/IK/yP9nvMAzuoHb+219XWT1w3v8mOQlWY/29zLuJisTNQ1r2uKbyuzbfFEFeAEvoUrbmIRZmIMFaND0S6kkjUpj8p58LH+XTzKqLOWa59AX8ukf1LjENg==</latexit><latexit sha1_base64="1Tw3Qq7j2zJO/YljKE/dnOLSS4w=">AAADBnichVFNS9xQFL1JazuOtjO2G6Wb0CFlijDcSEERBGk3Llzo6DiCM4Ykfepz8kXyZqwNWXUj/gEXrlroogjuWreCm/4BF/4E6dKCGxe9+QCZSu0Nybv33HNuzuOavs1DgXghyQ8eDjx6XBgsDg0/eVoqjzxbCb1uYLGG5dlesGoaIbO5yxqCC5ut+gEzHNNmTbPzLuk3eywIuecui12ftR1j0+Ub3DIEQXr5k9oynYjF61FX3471aEfnsVJUZ5SWYB9E4ER1Nt+IqwmpSe2EpGSKjDueVmbeeq2M93WLal/V8shK4jTK4BzXyxWsYRrK3UTLkwrkseCVf0AL3oMHFnTBAQYuCMptMCCkZw00QPAJa0NEWEAZT/sMYiiStkssRgyD0A59N6lay1GX6mRmmKot+otNb0BKBVQ8x294hT/xCC/x5p+zonRG4mWXTjPTMl8v7Y8uXf9X5dApYOtWda9nARswlXrl5N1PkeQWVqbvfTy4Wpquq9Er/IK/yP9nvMAzuoHb+219XWT1w3v8mOQlWY/29zLuJisTNQ1r2uKbyuzbfFEFeAEvoUrbmIRZmIMFaND0S6kkjUpj8p58LH+XTzKqLOWa59AX8ukf1LjENg==</latexit><latexit sha1_base64="1Tw3Qq7j2zJO/YljKE/dnOLSS4w=">AAADBnichVFNS9xQFL1JazuOtjO2G6Wb0CFlijDcSEERBGk3Llzo6DiCM4Ykfepz8kXyZqwNWXUj/gEXrlroogjuWreCm/4BF/4E6dKCGxe9+QCZSu0Nybv33HNuzuOavs1DgXghyQ8eDjx6XBgsDg0/eVoqjzxbCb1uYLGG5dlesGoaIbO5yxqCC5ut+gEzHNNmTbPzLuk3eywIuecui12ftR1j0+Ub3DIEQXr5k9oynYjF61FX3471aEfnsVJUZ5SWYB9E4ER1Nt+IqwmpSe2EpGSKjDueVmbeeq2M93WLal/V8shK4jTK4BzXyxWsYRrK3UTLkwrkseCVf0AL3oMHFnTBAQYuCMptMCCkZw00QPAJa0NEWEAZT/sMYiiStkssRgyD0A59N6lay1GX6mRmmKot+otNb0BKBVQ8x294hT/xCC/x5p+zonRG4mWXTjPTMl8v7Y8uXf9X5dApYOtWda9nARswlXrl5N1PkeQWVqbvfTy4Wpquq9Er/IK/yP9nvMAzuoHb+219XWT1w3v8mOQlWY/29zLuJisTNQ1r2uKbyuzbfFEFeAEvoUrbmIRZmIMFaND0S6kkjUpj8p58LH+XTzKqLOWa59AX8ukf1LjENg==</latexit><latexit sha1_base64="1Tw3Qq7j2zJO/YljKE/dnOLSS4w=">AAADBnichVFNS9xQFL1JazuOtjO2G6Wb0CFlijDcSEERBGk3Llzo6DiCM4Ykfepz8kXyZqwNWXUj/gEXrlroogjuWreCm/4BF/4E6dKCGxe9+QCZSu0Nybv33HNuzuOavs1DgXghyQ8eDjx6XBgsDg0/eVoqjzxbCb1uYLGG5dlesGoaIbO5yxqCC5ut+gEzHNNmTbPzLuk3eywIuecui12ftR1j0+Ub3DIEQXr5k9oynYjF61FX3471aEfnsVJUZ5SWYB9E4ER1Nt+IqwmpSe2EpGSKjDueVmbeeq2M93WLal/V8shK4jTK4BzXyxWsYRrK3UTLkwrkseCVf0AL3oMHFnTBAQYuCMptMCCkZw00QPAJa0NEWEAZT/sMYiiStkssRgyD0A59N6lay1GX6mRmmKot+otNb0BKBVQ8x294hT/xCC/x5p+zonRG4mWXTjPTMl8v7Y8uXf9X5dApYOtWda9nARswlXrl5N1PkeQWVqbvfTy4Wpquq9Er/IK/yP9nvMAzuoHb+219XWT1w3v8mOQlWY/29zLuJisTNQ1r2uKbyuzbfFEFeAEvoUrbmIRZmIMFaND0S6kkjUpj8p58LH+XTzKqLOWa59AX8ukf1LjENg==</latexit>

U(wi)<latexit sha1_base64="NWpSiaw4n6fYx0g+oVdwK3k+Des=">AAADF3ichVHNS9xQEJ9EW+3a1q1eCr0ElxS3wjIRwSIIYi8eethdu+6Ca0MSn/bVfJG8XT9C/gHPBRFPLfRQvHv1IBSvPfTgnyAeFQqlh04+pKxSnZD3Zn4zv5nfY0zf5qFAPJPkvv4HDwcGHxWGHj95Olx8NrIUep3AYg3Ls72gZRohs7nLGoILm7X8gBmOabOmufEmyTe7LAi5574T2z5bcYx1l69xyxAE6cVPatt0Iha/jzr6x1iPNnUeKwV1VmkLtiUCJ6qzt414PClqUjopUjJGVjuRRmaeKisTPdmCeiPySEsiNcrw68T1MJpEcVkvlrCCqSm3HS13SpBb1SseQRtWwQMLOuAAAxcE+TYYENK3DBog+IStQERYQB5P8wxiKBC3Q1WMKgxCN+hcp2g5R12Kk55hyrZoik1/QEwFVPyJ3/AST/EQz/HPf3tFaY9EyzbdZsZlvj68+3zx170sh24BH/6x7tQsYA1ep1o5afdTJHmFlfG7O3uXizN1NXqJX/CC9H/GMzyhF7jdK+trjdUP7tBjkpaY1qPdXMZtZ2myomFFq02V5ubzRQ3CCxiDcdrGNMzBAlShQd1/S4pUll7J+/Kx/F0+zUplKeeMQo/JP/4CuGfK7A==</latexit><latexit sha1_base64="NWpSiaw4n6fYx0g+oVdwK3k+Des=">AAADF3ichVHNS9xQEJ9EW+3a1q1eCr0ElxS3wjIRwSIIYi8eethdu+6Ca0MSn/bVfJG8XT9C/gHPBRFPLfRQvHv1IBSvPfTgnyAeFQqlh04+pKxSnZD3Zn4zv5nfY0zf5qFAPJPkvv4HDwcGHxWGHj95Olx8NrIUep3AYg3Ls72gZRohs7nLGoILm7X8gBmOabOmufEmyTe7LAi5574T2z5bcYx1l69xyxAE6cVPatt0Iha/jzr6x1iPNnUeKwV1VmkLtiUCJ6qzt414PClqUjopUjJGVjuRRmaeKisTPdmCeiPySEsiNcrw68T1MJpEcVkvlrCCqSm3HS13SpBb1SseQRtWwQMLOuAAAxcE+TYYENK3DBog+IStQERYQB5P8wxiKBC3Q1WMKgxCN+hcp2g5R12Kk55hyrZoik1/QEwFVPyJ3/AST/EQz/HPf3tFaY9EyzbdZsZlvj68+3zx170sh24BH/6x7tQsYA1ep1o5afdTJHmFlfG7O3uXizN1NXqJX/CC9H/GMzyhF7jdK+trjdUP7tBjkpaY1qPdXMZtZ2myomFFq02V5ubzRQ3CCxiDcdrGNMzBAlShQd1/S4pUll7J+/Kx/F0+zUplKeeMQo/JP/4CuGfK7A==</latexit><latexit sha1_base64="NWpSiaw4n6fYx0g+oVdwK3k+Des=">AAADF3ichVHNS9xQEJ9EW+3a1q1eCr0ElxS3wjIRwSIIYi8eethdu+6Ca0MSn/bVfJG8XT9C/gHPBRFPLfRQvHv1IBSvPfTgnyAeFQqlh04+pKxSnZD3Zn4zv5nfY0zf5qFAPJPkvv4HDwcGHxWGHj95Olx8NrIUep3AYg3Ls72gZRohs7nLGoILm7X8gBmOabOmufEmyTe7LAi5574T2z5bcYx1l69xyxAE6cVPatt0Iha/jzr6x1iPNnUeKwV1VmkLtiUCJ6qzt414PClqUjopUjJGVjuRRmaeKisTPdmCeiPySEsiNcrw68T1MJpEcVkvlrCCqSm3HS13SpBb1SseQRtWwQMLOuAAAxcE+TYYENK3DBog+IStQERYQB5P8wxiKBC3Q1WMKgxCN+hcp2g5R12Kk55hyrZoik1/QEwFVPyJ3/AST/EQz/HPf3tFaY9EyzbdZsZlvj68+3zx170sh24BH/6x7tQsYA1ep1o5afdTJHmFlfG7O3uXizN1NXqJX/CC9H/GMzyhF7jdK+trjdUP7tBjkpaY1qPdXMZtZ2myomFFq02V5ubzRQ3CCxiDcdrGNMzBAlShQd1/S4pUll7J+/Kx/F0+zUplKeeMQo/JP/4CuGfK7A==</latexit><latexit sha1_base64="NWpSiaw4n6fYx0g+oVdwK3k+Des=">AAADF3ichVHNS9xQEJ9EW+3a1q1eCr0ElxS3wjIRwSIIYi8eethdu+6Ca0MSn/bVfJG8XT9C/gHPBRFPLfRQvHv1IBSvPfTgnyAeFQqlh04+pKxSnZD3Zn4zv5nfY0zf5qFAPJPkvv4HDwcGHxWGHj95Olx8NrIUep3AYg3Ls72gZRohs7nLGoILm7X8gBmOabOmufEmyTe7LAi5574T2z5bcYx1l69xyxAE6cVPatt0Iha/jzr6x1iPNnUeKwV1VmkLtiUCJ6qzt414PClqUjopUjJGVjuRRmaeKisTPdmCeiPySEsiNcrw68T1MJpEcVkvlrCCqSm3HS13SpBb1SseQRtWwQMLOuAAAxcE+TYYENK3DBog+IStQERYQB5P8wxiKBC3Q1WMKgxCN+hcp2g5R12Kk55hyrZoik1/QEwFVPyJ3/AST/EQz/HPf3tFaY9EyzbdZsZlvj68+3zx170sh24BH/6x7tQsYA1ep1o5afdTJHmFlfG7O3uXizN1NXqJX/CC9H/GMzyhF7jdK+trjdUP7tBjkpaY1qPdXMZtZ2myomFFq02V5ubzRQ3CCxiDcdrGNMzBAlShQd1/S4pUll7J+/Kx/F0+zUplKeeMQo/JP/4CuGfK7A==</latexit>

:単語*+を使用した評価者数:評価者,-の単語*+の分散表現:単語*+の分散表現集合./01 の評価者平均

Analysis: 単語間関係単語 ”bready (パンっぽい)”と類似する単語の二次元表現(PCA)

単語クラスタ間での交わり・異なる単語で同じ意味を表す

new

"単語の意味の揺らぎのみを分析することができない

意味の揺らぎを考慮した

個人適応の単語分散表現

FFNN

Softmax

評価文書 High alcohol and finish評価者ID

Bi-LSTM

FFNN

Softmax

�� �"� ��� �����(�

IPA 6.9

…

FFNNFFNN

Softmax

・高頻度語ほど個人間で単語の意味が揺らぐ・ビールドメインでは個人の感覚/経験に依存する感覚表現が頻出・語義数と単語の意味の揺らぎには相関がない・ドメインの狭さが実際に現れる語義を制限通時的/地理的な要因で意味が変化する単語の特徴を分析した[Hamilton+,13; Tredici+, 17]らの報告と異なる

Summary・単語の意味の個人差を分析するために評価対象推定タスクを介した個人適応の単語分散表現の獲得手法を提案した・個人適応の分散表現が評価対象の推定に有効であることを確認した・五感に関連する単語および形容詞の意味の揺らぎが強いことを明らかにした

（WordNetの語義数）

����-0.07

（単語の頻度）

����0.43

grainy (��)

bready (�����)

doughy (�����)

toasty (�������)

biscuity (�� �����)crackery

(��������)

grassy (����)

NAACL 2019CICLing 2019��23-�+,0&

意味の揺らぎの考慮: 単語分散表現を個人に適応させることで意味に個人差のある単語は埋め込み先が揺らぎそうでない単語は大きく動かないことを期待する