IOA (Interobserver Agreement): cos'è e come si calcola in ABA

Che cosa misura davvero l'IOA

L’IOA misura la corrispondenza tra due osservatori. La procedura classica richiede che entrambi osservino la stessa sessione, nello stesso momento, con la stessa definizione operativa e senza influenzarsi a vicenda. Se i due dati coincidono, il gruppo ha maggiore fiducia che le variazioni del grafico non siano prodotte soltanto da differenze nello stile di registrazione. Se non coincidono, il problema può trovarsi nella definizione, nella formazione, nella complessità del comportamento, nella distrazione, nella formula scelta o nel contesto di osservazione.

Questo non significa che l’IOA sia una garanzia assoluta. Lerman e colleghi hanno mostrato che l’accuratezza dell’osservatore può essere influenzata dai feedback, dalle conseguenze sociali, dalle aspettative e dall’ambiguità degli esempi. In termini pratici, un operatore può diventare più permissivo, più severo o più sensibile a certi dettagli in base a ciò che crede sia desiderato. L’IOA intercetta una parte del problema, ma non sostituisce definizioni chiare, esempi e non esempi, formazione con feedback e, quando possibile, il confronto con un criterio di riferimento.

Baer, Wolf e Risley hanno definito l’analisi del comportamento applicata come una disciplina che deve essere comportamentale, analitica e tecnologica. Applicato all’IOA, questo significa tre cose semplici: misurare eventi osservabili, collegare i dati alle decisioni e descrivere la procedura in modo che un altro professionista possa replicarla. Un IOA descritto soltanto come «buono» non è tecnologico; un IOA documentato con la formula, il campione, la definizione, gli osservatori e il risultato è molto più difendibile.

Prima della formula: definizione operativa e indipendenza

La domanda più importante non è «Qual è la percentuale?», ma «I due osservatori stavano misurando la stessa cosa?». Una buona definizione operativa indica la topografia, l’inizio, la fine, le inclusioni, le esclusioni e i casi ambigui. «Aggressività» non basta; «contatto fisico rapido della mano, del piede o di un oggetto impugnato con il corpo di un’altra persona, con una forza sufficiente a produrre un arretramento, una vocalizzazione di dolore o l’interruzione dell’attività» è già più misurabile. Servono poi esempi e non esempi: spingere una sedia vuota, toccare il braccio per richiamare l’attenzione, urtare un compagno in fila o lanciare un oggetto verso il muro.

L’indipendenza è altrettanto importante. Gli osservatori non dovrebbero parlarsi, confrontare i fogli, mostrare i timer o correggersi mentre la sessione è in corso. Se un adulto chiede all’altro «Hai contato questo?», il dato finale può sembrare più alto, ma si tratta di un accordo contaminato. La discussione clinica viene dopo: prima si registra, poi si calcola e infine si analizzano i disaccordi.

Un buon controllo IOA non cerca una percentuale rassicurante. Cerca un sistema di misura che continui a funzionare quando il comportamento è veloce, raro, ambiguo o emotivamente carico.

Le formule principali, senza trasformarle in ricette

La formula dipende dal tipo di dato. Mudford, Taylor e Martin hanno mostrato che negli studi con registrazione continua vengono usati diversi algoritmi, tra cui accordo esatto, block-by-block e time-window analysis. Mudford, Martin, Hui e Taylor hanno poi confrontato questi algoritmi rispetto all'accuratezza e hanno evidenziato un punto cruciale: nessuna formula e perfetta in ogni condizione. Alcune possono gonfiare l'accordo quando i comportamenti sono rari; altre diventano troppo severe con frequenze molto alte; altre ancora dipendono dalla finestra temporale scelta.

Total count IOA

L’IOA basato sul conteggio totale si calcola dividendo il conteggio minore per quello maggiore e moltiplicando per 100. Se un osservatore conta 9 episodi e l’altro 12, il risultato è il 75%. È rapido, intuitivo e utile come controllo iniziale sui conteggi di frequenza. Il limite è evidente: i due osservatori potrebbero non aver contato gli stessi eventi. Se A registra i primi nove episodi e B gli ultimi dodici, il conteggio totale produce comunque una percentuale, ma non conferma l’allineamento temporale.

Trial-by-trial o interval-by-interval IOA

Quando ci sono prove discrete, opportunità chiare o intervalli definiti, la formula più leggibile è il numero di accordi diviso per la somma di accordi e disaccordi, moltiplicato per 100. Funziona bene per i programmi DTT, le prove di comunicazione, le risposte corrette o errate e le liste di controllo in cui ogni opportunità è delimitata. Il valore clinico aumenta se il gruppo definisce prima che cosa conti come accordo: stessa risposta indipendente, stesso livello di prompt, stessa latenza entro un criterio o stessa classificazione dell’errore.

Exact count per interval

Nel conteggio esatto per intervallo, la sessione viene divisa in intervalli e gli osservatori sono in accordo soltanto se registrano lo stesso numero di eventi in quell’intervallo. È più rigoroso del conteggio totale, perché controlla anche la distribuzione degli eventi nel tempo. Può però diventare molto rigido quando gli eventi sono frequenti o cadono vicino al confine tra due intervalli.

Proportional o block-by-block agreement

Nel block-by-block, per ogni intervallo si divide il numero minore per il maggiore e poi si media il risultato sugli intervalli. Rolider, Iwata e Bullock hanno confrontato indici come total, interval, exact e proportional reliability e hanno mostrato che la distribuzione e il tasso di risposta influenzano molto il risultato. La loro analisi rende prudente l'uso di percentuali aggregate: la formula deve essere scelta pensando al comportamento reale, non alla comodita del calcolo.

Time-window analysis

L’analisi con finestra temporale considera concordante un evento registrato da entrambi entro una finestra prestabilita, per esempio di più o meno tre o cinque secondi. È utile quando il momento dell’evento è importante, ma la finestra va dichiarata in anticipo. Una finestra troppo ampia può tollerare errori clinicamente rilevanti; una finestra troppo stretta può penalizzare differenze minime nella pressione del tasto o nella scrittura.

Come scegliere la formula nel lavoro reale

Per un gruppo clinico, la scelta può partire da quattro domande. Prima: il comportamento è discreto o continuo? Seconda: il momento dell’evento conta per la decisione? Terza: la frequenza è bassa, media o alta? Quarta: la decisione è a basso rischio o ad alto impatto? Se stai controllando rapidamente un target secondario, il conteggio totale può essere sufficiente per capire se serva un approfondimento. Se stai decidendo se un comportamento problema sia diminuito dopo una modifica del piano, servono formule più sensibili alla distribuzione degli eventi.

Anche la soglia va trattata con maturità clinica. I valori intorno all’80% sono spesso usati come riferimento minimo nella pratica e nella letteratura, ma non sono un lasciapassare automatico. Un 82% relativo a un comportamento lieve e stabile può essere accettabile; un 82% relativo a un’aggressività grave, a procedure di sicurezza o alla fedeltà di un piano complesso può richiedere una revisione immediata. La domanda non è soltanto «Sopra o sotto la soglia?», ma «Questa misura è abbastanza affidabile per la decisione che sto per prendere?».

Audit dei 10 minuti prima di calcolare

Prima di aprire il calcolatore, il supervisore può fare un controllo rapidissimo. Primo: la definizione operativa include l’inizio, la fine, gli esempi e i non esempi? Secondo: i due osservatori hanno ricevuto la stessa formazione e lo stesso modulo? Terzo: la sessione scelta rappresenta davvero il programma oppure è troppo facile? Quarto: la formula è stata decisa prima della raccolta? Quinto: gli osservatori resteranno indipendenti fino alla fine? Sesto: il gruppo sa che cosa farà se l’IOA risulta basso?

Questo controllo evita due errori frequenti. Il primo consiste nell’eseguire il calcolo dopo aver guardato i dati, scegliendo la formula che produce il numero più elegante. Il secondo consiste nel trasformare l’IOA in un controllo punitivo sull’operatore. L’obiettivo non è colpevolizzare, ma migliorare il sistema. Se due operatori divergono, il dato indica che la definizione, la formazione o la procedura di raccolta hanno bisogno di una revisione.

IOA, accuratezza e strumenti digitali

Gli strumenti digitali aiutano, ma non eliminano il problema. Virues-Ortega e colleghi hanno confrontato l’osservazione con carta e matita e i sistemi computerizzati, mostrando che gli osservatori formati possono raggiungere un’elevata accuratezza con metodi diversi, ma anche che la difficoltà della sessione e il numero di eventi influenzano la precisione. In pratica, un’app ben progettata riduce gli errori di calcolo, archiviazione e rappresentazione grafica, ma non sostituisce le definizioni, la formazione e un’osservazione attenta.

Per questo il calcolatore IOA dovrebbe essere usato come ultimo passaggio di una catena più lunga. Prima c’è il comportamento da definire, poi il campione da scegliere, la sessione da osservare e infine la formula da applicare. Soltanto a quel punto la percentuale ha senso. Un calcolatore non deve far sembrare scientifico un dato fragile; deve rendere meno fragile un processo già impostato correttamente.

Non dimenticare la procedural fidelity

Un errore molto comune consiste nel calcolare l’IOA soltanto sul comportamento del bambino e ignorare l’accordo relativo alla procedura dell’adulto. Ma se un programma non funziona, il gruppo deve sapere se l’intervento sia inefficace oppure non sia stato applicato come previsto. Essig, Rotta e Poling hanno documentato una forte asimmetria: negli articoli ABA recenti, l’IOA relativo al comportamento dei partecipanti è riportato molto più spesso dell’IOA sulla fedeltà procedurale. Questo è un punto fondamentale per la pratica: un piano può sembrare fallire perché la fedeltà è misurata male o non è misurata affatto.

St. Peter e colleghi aggiungono un’altra cautela: riassumere la fedeltà soltanto con una percentuale può nascondere dettagli importanti. Se una procedura richiede molte risposte dell’adulto, i tassi di errore e quelli di applicazione corretta possono raccontare più della sola percentuale globale. Per un gruppo Academy di riferimento, quindi, l’IOA non è separato dalla fedeltà procedurale: i due controlli si rafforzano a vicenda.

Vignetta clinica

Il Contesto

In un centro pomeridiano, un bambino di sette anni lavora sulle richieste funzionali durante il gioco condiviso. Il grafico mostra un calo improvviso delle richieste indipendenti e un aumento delle risposte promptate. L’operatrice principale sostiene che il bambino sia più stanco; la supervisora nota invece che, nelle ultime settimane, i dati sono stati raccolti da due persone diverse.

L'Intervento

Il team organizza una co-osservazione di 20 minuti. Prima della sessione riscrive la definizione di "richiesta indipendente": vocalizzazione, gesto o selezione AAC entro cinque secondi dalla motivazione evidente, senza prompt verbale o fisico. Vengono aggiunti tre non esempi, tra cui ecolalia dopo modello e risposta dopo domanda diretta. Gli osservatori raccolgono dati indipendenti e calcolano trial-by-trial IOA su 18 opportunita.

L'Esito

L'IOA iniziale e 67%. I disaccordi riguardano quasi tutti le risposte dopo prompt gestuale lieve: una persona le segnava indipendenti, l'altra promptate. Dopo training con esempi video e nuova co-osservazione, l'IOA sale a 89%. Il grafico successivo mostra che il presunto calo non era solo stanchezza: era un cambiamento nel modo di classificare il prompt. Il team decide quindi di correggere i dati recenti, aggiornare il manuale operativo e programmare un controllo IOA anche sulla fidelity del prompting.

FAQ