パブロフ vs レスポンデント道具的 vs オペラント

連合学習理論 vs 徹底行動主義科学としての行動主義ネタとしての条件反射制御法

原井宏明

このレクチャーの目的

• パブロフ復活

–興奮条件づけ/制止条件づけ

• 外制止，脱制止，内制止，拮抗条件づけ

• なぜ制止条件づけは消去されたのか

–伝統的学習心理学vsスキナー・徹底的行動主義

• 反応しない（行動しない）は行動ではない

• 生体内部の媒介過程は不要

• レスコーラ・ワーグナーは認知的だ

呪文を覚えよう

• OR 定位反応（おや何だ反射）

• CER 条件性情動反応

• PREE 部分強化消去抵抗

• 二次・高次条件づけ

• 嫌悪条件づけ・欲求条件づけ– Aversive / Appetitive

• 行動の二重機能性

• 自動反応形成（Auto-Shaping, Sign-Tracking)

Partial-Reinforcement Extinction Effect

平井慎二 曰く

• しかしながら，上記したように学習理論では，行動を誤って各機能に意味があると考えて分解し，自律神経の反射と動作の反射を取り上げ，それらをそれぞれレスポンデント条件付けとオペラント条件付けと呼び，このレスポンデント条件付けの部分だけにパヴロフ学説が留まると規定し，すでに時代遅れになっているようにも聞こえる古典的条件付けという呼び名も与えたのである。(p24)

あなたはどっち？

SR派

• 古典的条件づけ

• パヴロフ条件づけ

• 道具的条件づけ

• 連合説・接近説– SS連合，SR連合

• 細胞内・脳内メカニズム– 海馬，扁桃体

スキナリアン

• レスポンデント条件づけ

• オペラント条件づけ

• 行動随伴性

• 行動選択

伝統的学習心理とスキナー

• S-R心理学– Rの前にそれを縛るSがある Rはヒモつき

• スキナーの特徴– 非理論的立場，ハルのようなS-R的な発想がない。

– オペラントという言葉で：生活体の行動の特徴は外からの刺激を待たなくても自然に自発するところに最大の特徴がある

– 自発性を表すのにオペラント「働きかける」という意味合いをもつ語を用いた

– 生活体が自由な環境の中でさまざまなオペラント行動を自発しているうちに，それが報酬などの良い結果に出会い，そのことによってそのオペラントの自発頻度が上昇する

• オペラントはハル派のいうRとは違う– 共通の環境変化をもたらす行動のクラス– ハル派の場合には右手反応と左手反応は別– スキナーは同じ効果をもたらす行動であれば同じオペラントクラス

認知・行動療法学会も

• 第3の波などと言って応用行動分析学に乗っている内に，SR派のことを等閑視

• SR派，接近説，強化説

–パブロフ

–ハル:SR連合主義トールマン:目的論的行動主義

• しかし

–ガルシア

–レスコーラ・ワーグナー:

レスポンデント条件づけの汎用性

唾と引きつり

情動条件づけ

記憶条件づけ

免疫条件づけ

薬物条件づけ

価値条件づけ

道徳反応因果判断・随伴性判断

頭の柔軟体操

• 二人のペアで瞬目反射条件づけ

– CS そばに寄る，声，光

– US 目に息を吹きかける

• レスポンデント/オペラントの分類？

–嚥下反射，腸の蠕動はいつも古典的条件づけ？

–プチプチつぶし行動，皮膚摘み取り行動はいつもオペラント条件づけ？

KWAを体験してみよう

• 私は今，おしっこが出ない

• 私は今，咳が出ない

• 私は今，唾がでない

倫理・道徳

• モラル反応

–嫌悪と怒りの組み合わせ

–共感・平等・同情の反対

セックスについて

• Consummatory Behavior 完了行動

–摂食，獲得，生殖などの獲得のゴールがはっきりしていて，本能的な行動

• 咀嚼，嚥下，交尾，排泄，授乳など本能的で種に特有な定型的行動がある

• 阻害されることで，その手前のAppetitive Behaviorが活性化

フェーズ4刺激フリー回避・逃避

フェーズ1刺激＋or刺激ーAppetitive

フェーズ3Aversion嫌悪

フェーズ2Consummatory

興奮そわそわ 落ち着き

参考 Ball 2008 How useful is the appetitive and consummatorydistinction for our understanding of the neuroendocrine control of sexual behavior?

条件反射制御法

この試みの当初の方法は，患者が覚醒剤ではない物質で水溶液を作り，その後に著者が患者に生理的食塩水を静脈注射するものであった。偽であることを伝えて，患者に，覚醒剤に見立てた可溶性の白い結晶を小さなチャック付きポリエチレン袋に入れたものを渡し，また，針のない1ccの注射器，白い結晶をすくうスプーンとして斜めに切ったストロ一等も渡した。患者は白い結晶を溶解し，その溶液を注射器内に吸い上げ，その注射器を目の前に置いた。続いて，著者が別の注射器につめていた生理的食塩水を患者の静脈に注射した。この初の疑似覚醒剤静脈注射を受けた患者は，一瞬にして顔面に玉の汗を吹き出し，口の周囲をなめ回し，快感が生じたことをうれしそうに著者に告げたのであった。

全ては随伴性

渇望

輪ゴムぱっちん（思考停止法），KWA？

KWA

使用

制止条件づけ

隠蔽Masking• 強い音と弱い光を同時に与えてから餌を呈示するという複合条件づけの方法で空腹のイヌを訓練

• その後音CSと光CSを別々にテスト– 音CSに対しては大きなCR(唾液分泌)– 光CSはほとんどCRを誘発しなかった

• しかし，音CSも光CSも，それぞれ別個に餌と対呈示して訓練した場合には，大きなCRを引き起こすように条件づけることができた。

• パヴロフの考え– 強いCSは弱いCSを隠蔽し，弱いCSと

USとの連合形成を阻害すると考えた。

• 強いCSは弱いCSを一方的に隠蔽する

阻止 Blocking• 音と光の複合刺激を電撃USと対呈示した

• その後，音CSまたは光CSへの反応をテスト– いずれの場合にもCR (恐怖反応)

• しかし• このような複合条件づけ前に音と光のどちらか一方を電撃と対呈示しておく

• 複合条件づけ後に行われたテストで，残る一方へのCRはほとんどみられなかった。

• 最初に条件づけられたCSが別のCSの条件づけを阻止

隠蔽・阻止の意義

• CSとUSを対呈示しでも，必ずしもCSがCRを誘発するようにならない

• CSがUSの到来をどれだけ確実に信号できるかによって条件づけの大きさが決まる

連合学習理論の進歩

• 認知的学習理論 Rescorla-Wagnerモデル–隠蔽や阻止といった現象を説明するための理論

–ある特定のUSが条件づけを形成し，維持する効力は一定である

– このUSの効力をめぐって複数のCSが競合する

–古典的条件づけのさまざまな現象を説明できる

–それまで発見されていなかった現象の存在を指摘するなどの功績

• 過剰予期効果（Overlearning)

過剰予期効果

1. 音CSと光CSをそれぞれ単独にUSと対呈示する訓練

2. それぞれのCSについて学習が完了

3. 2つのCSを同時にUSと対呈示する複合条件づけ

4. 2つのCSを別々にテスト– 各CSが誘発するCRは複合条件づけ前に比べて減少する

• レスコーラ=ワグナー・モデルによれば– 複合条件づけ開始時に2つのCSが予測するUS量は実際に呈示されるUS量の2倍という過剰予期の状況となる

– 従って2つのCSをあわせて適切なUS量となるように各CSに対するCRは弱くなるはずだ

古典的条件づけの随伴性空間

正の随伴性

負の随伴性

パブロフ オペラント

パブロフ オペラント

条件制止子かどうかのテスト

• 制止条件づけは観察不能– 「おまじない」が欲求を制止しているかどうか？

• 遅滞テスト– このCSをUSと対呈示することで条件興奮を獲得させてみよう– もし制止子ならば– まったく新しいCSを用いる場合よりも，条件興奮の獲得が遅れる

• 加算テスト– このCSと条件興奮子のCSを同時に複合呈示– もし制止子ならば

– 条件制止と条件興奮の加算が生じ，条件興奮子を単独で呈示したときよりも観察されるCRが少なくなる

– この減少の程度は条件興奮子と新奇刺激を複合呈示した場合(外制止)よりも大きい

Robert A. Rescorla

連合学習理論の先端

• 古典的条件づけは「動物が周囲の環境から得た情報の価値をどう判断し行動するか」という情報処理のメカニズムの一つ–刺激淘汰

• 人間の推理判断のような複雑な認知プロセスも古典的条件づけで説明できる

• パヴロフは条件反射を「中枢神経系のもっとも高次な活動」と呼んだ。それが認められる時代がきた

US価値変化法

• 古典的条件づけで学習されるのはSS連合かS-R連合か？• 条件づけを形成した後にUSの価値を変化させる手続き• 条件づけがS-R連合にもとづくものであれば， (図5-1の太い矢印)，条件づけ形成後にUSの価値を変化させてもCRには影響がないはず

• S-S連合が学習されていれば(図5-1の点線)， CS→「USイメージ」→CRという経路の中継点であるUSの価値変化によってCRの大きさが変わるはず

• ヒリアードとドムヤン(1995) の実験結果は， S-S連合を支持している。まず，オスウズラに丸木(CS) を見せてからメスウズラ(US) と交尾させる。これを繰り返すと，丸木への接近反応(CR)が獲得された。次に，このオスウズラを別の4匹のメスと次々交尾させることで，USの魅力を弱めた(価値低減)。最後に， CSを呈示してテストすると，USの価値を低減しなかった場合よりも， CRが小さかったのである。

かなり難しいテスト1

• 条件性制止と条件性抑制の違いを述べよ

– Conditioned Inhibition vs. Conditioned Suppression

• 学習理論の神スレッド

– http://yasai.2ch.net/psycho/kako/968/968644163.dat

テストの確認 以下の誤りを正せ

– 心理学辞典 1999 有斐閣の項目

• 条件性制止（ジョウケンセイセイシ）– conditioned inhibition

• ある行動の生起頻度の低減（抑制）が，ある条件刺激によって引き起こされるようになること。たとえば恐怖の条件づけ実験において，生体の摂食・摂水行動が，電撃を無条件刺激として条件づけが成立した条件刺激（音など）によって抑制を受けること。この反応抑制を定量化することによって恐怖の程度を客観的に数値化することができる。

• 関連語： 反応制止 内制止• 執筆者： 神村栄一

平井理論と学習理論

• 平井の考え方は？

– ひとつで正しい

• 学習理論は？

– リサーチプログラム

– パブロフからワトソン，ハル，トールマン，

スキナー，レスコーラまで

• 間違いを指摘する

– 柘植秀臣条件反射とはなにか 1982

• 正しい答えは教えない

学習理論

• 刺激淘汰 • 行動淘汰

• ハーンスタイン・マッチング理論

あなたはどんな随伴性空間に自分を晒しているのか？

• どんな刺激と刺激がペアリングされている？

• どんな情動が？– 喜怒哀楽– 嫌悪・後悔

• 学会で会う人に• 臨床で会う人に• 家で会う人に• 一人の時に• スケジュールは？

• どんな行動と結果がペアリングされている？

• 行動– 移動，摂食，生殖– 探索，闘争，獲得

• 結果– 注目・獲得– 回避・感覚

• 学会，臨床，家• 他人・人• スケジュールは？

私個人は？

• とても感謝しています

• 私は良い質問を頂きました

–調べ行動は自動反応形成・刺激性制御

• 私は良いオーディエンスを持っています

–説明行動は随伴性制御

参考文献

コンパクトで絵図もあって読みやすい用語の正確さ一番

学習理論の歴史的発展が一望できる。研究者の人柄も分かって読み物として面白い

スキナー（が悪いわけではないが）のために制止条件づけが隠蔽された事情がわかる

凄い。ラットの因果推論もわかる。でも，Mackintoshモデル・Pearce‐Hallモデル・SOP理論・コンパレータ仮説・時間的符

合化仮説なんて読まされた後の読後感は「自分の頭はラット並？覚えてない」

当然英語で一流の分担執筆者• 行動経済学• 行動慣性• 行動システム• 文脈条件づけ• ルール支配行動• 消去→新奇行動