Mentre Pavlov conduceva i suoi studi, contemporaneamente, negli Stati Uniti, Edward Lee Thorndike, conduceva studi sui gatti che l’avrebbero condotto alla scoperta del condizionamento operante ed avrebbero aperto la strada allo studio della psicologia dell’apprendimento.
Thorndike (1911) utilizzava per i suoi esperimenti una gabbia, detta problem-box o gabbia
problema (Figura 7) all’interno della quale, venivano collocati dei gatti affamati. I soggetti posti
nella gabbia, potevano osservare, esternamente ad essa, la presenza di cibo. La gabbia era chiusa mediante un chiavistello che poteva essere aperto dall’interno grazie ad un meccanismo semplice come una leva o una cordicella.
Figura 7: problem-box utilizzata da Thorndike (7).
L’animale posto nella gabbia emetteva una gamma di risposte casuali e non coordinate atte a permettergli di raggiungere il cibo. La maggior parte delle volte tali risposte non erano in grado di permettergli il raggiungimento di tale finalità; a volte però accadeva che, per pura casualità, il soggetto azionasse il meccanismo di apertura della gabbia e di conseguenza fosse in grado di raggiungere il cibo. Quando si verificava tale evenienza, lo sperimentatore lasciava il gatto libero di mangiare il cibo e poi ricollocava l’individuo all’interno della gabbia così che la procedura venisse ripetuta.
Grazie a questo esperimento, Thorndike (1911), poté osservare che i soggetti apprendevano a risolvere il problema per mezzo di “tentativi ed errori”: vale a dire emettendo una serie casuale di riposte fintanto che non veniva emessa quella adeguata alla soluzione del problema stesso. Inoltre, fu possibile osservare che, l’intervallo di tempo trascorso tra l’introduzione del soggetto in gabbia e l’emissione della risposta adeguata, tendeva a diminuire al crescere del numero di esperienze ricompensate.
Tutte queste osservazioni condussero Thorndike (1911) a formulare la “legge dell’effetto” che recita quanto segue:
“ delle varie risposte emesse in una determinata situazione, quelle che vengono accompagnate o immediatamente seguite da una soddisfazione per l’animale saranno, a parità di ogni altra condizione, collegate più stabilmente a quella situazione cosicché, quando essa si presenterà nuovamente, avranno maggior possibilità di essere nuovamente emesse; quelle invece che vengono accompagnate o immediatamente seguite da un fastidio per l’animale verranno, a parità di ogni altra condizione, indebolite nel loro legame con la situazione cosicché, quando essa si presenterà nuovamente, avranno minor probabilità di essere emesse. Tanto maggiori saranno la soddisfazione o il fastidio, tanto maggiori saranno il rafforzamento o l’indebolimento del legame.”. (Thorndike
1911)
La legge in questione può essere analizzata dal punto di vista empirico e dal punto di vista teorico:
- legge empirica rinforzare una risposta in presenza di un particolare stimolo ha la capacità
di aumentare la probabilità che lo stimolo medesimo evochi la risposta stessa;
- legge teorica o “principio del rinforzo S-R” ha lo scopo di fornire una spiegazione
teorica della legge dell’effetto, affermando che la probabilità di ottenere la risposta, aumenta in conseguenza al fatto che il rinforzo renda più forte il legame tra stimolo e risposta stessa. Accettare la legge empirica non implica che debba esserlo anche la legge teorica.
Thorndike decise poi di dedicarsi a studi di psicologia applicata, che soppiantarono quelli che aveva condotto sino a quel momento sull’apprendimento, in compenso altri studiosi del tempo si occuparono dell’apprendimento animale e tra questi merita di essere ricordato Skinner.
Skinner (1938) eseguì studi analoghi a quelli eseguiti da Thorndike, ma utilizzando condizioni sperimentali molto più affidabili dal punto di vista dei risultati e del controllo sperimentale. Si servì della Skinner-box (Figura 8): una gabbia dotata di un dispositivo che permetteva al soggetto in studio, di ottenere un rinforzo (Rf) solitamente cibo, acqua o l’evitamento di un evento spiacevole (scossa elettrica), in conseguenza all’azionamento di un apposito meccanismo quale una leva o un pulsante.
Figura 8: Skinner-box per lo studio del condizionamento operante nel ratto (8).
Ogni volta in cui il soggetto in studio (ratto) premeva la leva presente nella scatola, l’alimentatore esterno lasciava cadere un bocconcino di cibo in una vaschetta collocata nelle vicinanze della leva stessa. Il meccanismo che una volta azionato permetteva la dispensazione del rinforzo, venne definito opernadum, mentre operante, è il termine con il quale venne definita la risposta che aziona l’operandum.
Importante anche definire il significato del termine rinforzo (Rf), con il quale si intende qualsiasi evento in grado di modificare, in senso positivo o negativo, la probabilità di emissione della risposta a cui fa seguito.
Per quel che attiene la procedura sperimentale applicata: un soggetto, ratto o piccione, veniva mantenuto a digiuno per un certo numero di ore e successivamente, veniva collocato all’interno della Skinner-box, qui l’animale era libero di muoversi. Muovendosi all’interno della gabbia, prima o poi il soggetto sperimentale, azionava il meccanismo in grado di provocare la presentazione del rinforzo. A quel punto la probabilità che, la risposta temporalmente più vicina al rinforzo (e quindi maggiormente collegata ad esso), potesse ripresentarsi nuovamente, aumentava per la legge dell’effetto.
Già dopo il primo rinforzo, il comportamento dell’animale aveva la tendenza a polarizzarsi verso l’operandum e questo portava il ratto a premere nuovamente la leva in tempi relativamente brevi provocando nuovamente la comparsa del rinforzo (cibo) che, contribuiva a rafforzare ulteriormente la risposta. Tutto ciò rendeva ancora più probabile il manifestarsi dell’abbassamento della leva rispetto ad altre risposte possibili. Quindi, si assisteva ad un aumento della frequenza della risposta. Il ratto, metteva in atto la risposta in tempi sempre più rapidi finché, ad un certo punto si raggiungeva un stabilizzazione dipendente da alcuni fattori:
- le caratteristiche individuali del soggetto in studio; - lo stato motivazionale del soggetto;
Altre situazione sperimentali sono state utilizzate per lo studio del condizionamento operante. Meritano di essere menzionati i labirinti e la Shuttle-box. Tra i labirinti più utilizzati, quello a T semplice, costituito da un percorso sopraelevato a presentante la forma di una T maiuscola (Figura 9). Il soggetto in studio, veniva posto all’estremità del braccio verticale della T in una gabbia di
partenza o Starting-box, aveva la possibilità di percorrere il braccio verticale della T, fino al
raggiungimento della biforcazione con il braccio orizzontale che veniva definito punto di scelta o
Choice point: a questo punto il soggetto poteva decidere se dirigersi a destra o a sinistra verso
postazioni definite gabbie-meta o goal-box. All’interno di una delle due goal-box, il soggetto poteva trovare una ricompensa.
Figura 9: labirinto a T.
Il soggetto in studio, mantenuto a digiuno per un certo periodo di tempo e privo di qualsiasi esperienza precedente, dopo aver percorso il braccio verticale della T, ed una volta giunto al punto di scelta, presentava la stessa probabilità di scegliere di andare verso sinistra o verso destra. Nel caso avesse trovato del cibo nella goal-box situata ad ognuna delle estremità del braccio orizzontale della T, nelle prove successive, sarebbe stato più probabile si indirizzasse nella direzione che precedentemente gli aveva consentito di ottenere un rinforzo alimentare.
La Shuttle-box è costituita da una gabbia suddivisa in due scompartimenti uguali che possono essere contraddistinti da stimoli discriminativi differenti (Figura 10).
Figura 10: Shuttle-box (10).
Il soggetto, collocato in uno dei due scompartimenti, divisi da un tramezzo, presentante un piccolo passaggio, doveva apprendere a spostarsi nell’altro scompartimento della gabbia, in seguito alla comparsa di un determinato stimolo. Nel caso non eseguisse tale comportamento in un tempo adeguato, riceveva una scossa elettrica dal pavimento della gabbia, costituito da aste metalliche elettrificate.
Ciò che differenzia il condizionamento operante dal condizionamento classico è il fatto che, nel primo, il soggetto, è libero di mostrare una vasta gamma di comportamenti (risposte) che non siano già stati prestabiliti dallo sperimentatore e che non possiedono nessun legame precedente con il rinforzo. Solamente attraverso il rinforzo differenziale di una sola tra le risposte emesse casualmente dal soggetto, si può provocare una modificazione del comportamento del soggetto stesso.
Per favorire la comparsa di una risposta è possibile utilizzare due tipi di rinforzo:
-rinforzo positivo che è rappresentato da un evento la cui apparizione favorisce la probabilità che venga emessa una certa risposta che lo precede;
-rinforzo negativo è rappresentato da un evento la cui scomparsa aumenta la probabilità che venga emessa una certa risposta che lo ha preceduto.
Altro elemento da considerare sono le punizioni, le quali sono eventi che portano alla diminuzione della probabilità di emissione di una certa risposta che le precede.
Il condizionamento operante può essere ottenuto seguendo due modalità di azione: la prima più lenta e meno controllabile dal punto di vista sperimentale perché sotto l’azione di parecchie variabili, non viene quasi mai applicata e si basa sull’attesa che il soggetto in esame, emetta casualmente il comportamento sperato e riceva conseguentemente alla sua emissione un rinforzo.
La seconda modalità definita “modellaggio per approssimazioni successive” o Shaping, è rappresentata da una tecnica che permette di ottenere un apprendimento più rapido e che consiste nel rinforzare approssimazioni successive alla risposta che ci si prefigge di ottenere.
In pratica come si procede: il soggetto preso in esame per lo studio, viene lasciato a digiuno per qualche ora, a quel punto viene posizionato all’interno della gabbia e gli si lascia un po’ di tempo per ambientarsi alla situazione sperimentale. Ogni volta che il soggetto si avvicina al distributore di cibo, lo sperimentatore lo rinforza. Tale rinforzo, inizialmente, non sarà collegato ad una risposta specifica, ma solo alla vicinanza del soggetto al distributore di cibo. Per la legge dell’effetto, l’individuo apprende rapidamente che in una determinata zona della gabbia, riceve una ricompensa e quindi tende a stazionare maggiormente in tale zona. Una volta che questa risposta di orientamento verso l’alimentatore risulterà assodata (si parla di “addestramento al distributore” o
Magazine training), lo sperimentatore non rinforzerà più tale risposta, ma dispenserà il cibo, e
quindi il premio, solamente quando il soggetto di studio, presenterà una risposta che si avvicina a quella desiderata, anche se inizialmente l’approssimazione potrà essere piuttosto lontana. Quindi inizialmente potrà essere sufficiente che il soggetto si avvicini alla leva da premere, o addirittura si orienti solamente verso la zona della gabbia in cui la leva è collocata, poi sarà sufficiente che la annusi o la sfiori, poi che la tocchi con una qualsiasi parte del corpo, e così di seguito, fino ad arrivare ad una risposta sempre più precisa che permetterà di ottenere la risposta desiderata.
Lo shaping consente di plasmare il comportamento di un individuo nel modo desiderato in maniera graduale, la condizione perché ciò possa verificarsi è che tale comportamento appartenga al repertorio comportamentale del soggetto, infatti, per poter rinforzare tale risposta, è necessario che l’individuo la emetta spontaneamente anche se inizialmente in forma rudimentale; in poche parole deve possedere una frequenza di base detta “livello operante”. A questo punto, attraverso lo
shaping, sarà possibile modellare tale risposta ed ottenerne delle parzialmente nuove che, però,
saranno una derivazione di quella emessa in origine.
Anche quando si parla di condizionamento operante, è possibile osservare fenomeni quali la generalizzazione, la discriminazione e l’estinzione proprio come nel condizionamento classico. In particolare, l’estinzione si osserva quando non esiste più correlazione tra la risposta condizionata ed il rinforzo, ciò conduce ad una progressiva riduzione della forza del condizionamento. Sono due le modalità che consentono di fare una valutazione della forza di un condizionamento operante, tali modalità risultano sostanzialmente equivalenti e prevedono:
- la misurazione della frequenza della risposta condizionata;
- la resistenza all’estinzione valutabile in numero di risposte non rinforzate necessarie affinché il soggetto, torni ad una frequenza di risposta minima pressoché equivalente a quella presentata dal soggetto stesso prima del condizionamento.
La presentazione di una ricompensa ad un soggetto aumenta la probabilità che la risposta operante che lo ha preceduto si ripresenti, inoltre pone tale risposta sotto controllo degli stimoli ambientali presenti nel momento stesso in cui il rinforzo compare. Nel caso in cui tali stimoli ambientali, si presentino con una certa costanza, saranno in grado di acquisire un controllo sul comportamento
che sarà da mettere in stretta relazione con la loro salienza e la loro capacità predittiva nei confronti del rinforzo. Gli stimoli in questione prendono il nome di “stimoli discriminativi” la loro caratteristica, è quella di rendere più probabili le risposte, visto che sono stati associati precedentemente al rinforzo, ma non di determinarle direttamente.
Quando uno stimolo viene generalizzato ad altri stimoli che hanno caratteristiche comuni con il primo, si è soliti parlare di “generalizzazione dello stimolo” e si parla di “generalizzazione delle
risposte” quando, il rinforzo di un processo di condizionamento operante, conduce ad un aumento
non solo della risposta da noi desiderata, ma anche di tutte le risposte simili ad essa.
È possibile stabilire dei “gradienti di generalizzazione” che sono in grado di fornirci indicazioni a proposito dell’entità di generalizzazione dello stimolo. Per eseguire la misurazione, una certa risposta, viene rinforzata per parecchio tempo in presenza di un certo stimolo, successivamente, la presentazione della ricompensa, viene interrotta e si procede alla misurazione delle riposte in presenza dello stimolo originario oppure in presenza di stimoli che mostrino differenti gradi di somiglianza con esso (Poli e Prato Previde, 1994).
Per quel che attiene alla discriminazione si può dire che si verifica quando un soggetto è in grado di comportarsi diversamente di fronte a due stimoli diversi. Il gradiente di generalizzazione evidenzia la presenza di una discriminazione nella misura in cui il soggetto risponde con frequenza diversa a seconda dello stimolo che gli viene presentato. In fase iniziale la discriminazione risulta alquanto imprecisa infatti, il soggetto ha la tendenza ha rispondere, anche se in maniera diversa, ai vari stimoli che gli vengono presentati e non ad uno solamente. La discriminazione può essere appresa mediante due modalità:
- discriminazione sequenziale: gli stimoli vengono presentati in sequenza ed il soggetto dovrà imparare ad emettere una particolare risposta in presenza di uno di questi e ad emetterne una differente o a non emetterne nessuna, in presenza dell’altro;
- discriminazione simultanea: in cui gli stimoli vengono presentati al soggetto contemporaneamente e sarà quest’ultimo a scegliere tra le alternative possibili.
I due fenomeni di generalizzazione e discriminazione, vengono raggruppati tra gli stimoli di
controllo o comunque fanno parte di quello che viene definito “controllo degli stimoli”, in cui,
questi hanno la funzione di controllare il comportamento.
Anche nel condizionamento operante, è possibile ottenere dei condizionamenti di ordine superiore o rinforzi secondari, proprio come nel condizionamento classico. Questi tipi di condizionamento, consentono l’apprendimento di catene comportamentali complesse. La caratteristica dei rinforzi secondari, è quella di non soddisfare lo stato motivazionale del soggetto, bensì di essere in relazione, grazie ad un’associazione precedente, con il rinforzo primario. In altre parole, il rinforzo condizionato, è rappresentato da uno stimolo neutro che è stato ripetutamente associato ad un rinforzo primario oppure anch’esso condizionato; quindi, il potere del rinforzo condizionato, deriva dal rinforzo primario che il soggetto riceve in sua presenza. I rinforzi condizionati agiscono come stimoli discriminativi per il rinforzo primario.
- valutazione della durata il rinforzo condizionato perde di efficacia se non viene, almeno occasionalmente, seguito dal rinforzo primario al quale è legato;
- valutazione della potenza sussistono differenze per ciò che attiene l’efficacia dei vari rinforzi condizionati.
Occorre aggiungere che i rinforzi condizionati strumentali, sono più stabili ed efficaci dei loro corrispondenti pavloviani e ciò permette la loro applicazione nell’apprendimento di catene comportamentali più lunghe e complesse (Poli e Prato Previde, 1994).
Il condizionamento operante è stato studiato anche negli invertebrati utilizzando Skinner-box modificate; è stato possibile indagare il comportamento di scelta del nettare delle api (Sokolowske e Abramson, 2010).
2.8.1 Differenze tra condizionamento classico e condizionamento operante
Nel condizionamento classico:
- si assiste ad un’associazione tra due stimoli;
- la risposta condizionata è costituita da una risposta passiva dell’organismo, vale a dire che non si ha una risposta cosciente da parte del soggetto.
Nel condizionamento operante:
- si ha l’associazione tra una risposta ed un rinforzo;
- in questo caso, il soggetto presenta una risposta intenzionale, l’individuo è quindi attivo ed agisce sull’ambiente esterno che lo circonda (Poli e Prato Previde, 1994).