IOA (Interobserver Agreement): cos'è e come si calcola in ABA

Che cosa misura davvero l'IOA

L'IOA misura la corrispondenza tra due osservatori. La procedura classica richiede che entrambi osservino la stessa sessione, nello stesso tempo, con la stessa definizione operativa e senza influenzarsi a vicenda. Se i due dati coincidono, il team ha maggiore fiducia che le variazioni del grafico non siano prodotte soltanto da differenze nello stile di registrazione. Se non coincidono, il problema puo essere nella definizione, nel training, nella complessita del comportamento, nella distrazione, nella formula scelta o nel contesto di osservazione.

Questo non significa che l'IOA sia una garanzia assoluta. Lerman e colleghi hanno mostrato che l'accuratezza dell'osservatore puo essere influenzata da feedback, conseguenze sociali, aspettative e ambiguita degli esempi. In termini pratici: un operatore puo diventare piu permissivo, piu severo o piu sensibile a certi dettagli in base a cio che crede sia desiderato. L'IOA intercetta una parte del problema, ma non sostituisce definizioni chiare, esempi e non esempi, training con feedback e, quando possibile, confronto con un criterio di riferimento.

Baer, Wolf e Risley hanno definito l'analisi del comportamento applicata come una disciplina che deve essere comportamentale, analitica e tecnologica. Applicato all'IOA, questo vuol dire tre cose semplici: misuriamo eventi osservabili, colleghiamo i dati alle decisioni e descriviamo la procedura in modo che un altro professionista possa replicarla. Un IOA scritto come "buono" non e tecnologico; un IOA scritto con formula, campione, definizione, osservatori e risultato e molto piu difendibile.

Prima della formula: definizione operativa e indipendenza

La domanda piu importante non e "quanto viene la percentuale?", ma "i due osservatori stavano misurando la stessa cosa?". Una definizione operativa buona indica topografia, inizio, fine, inclusioni, esclusioni e casi ambigui. "Aggressivita" non basta; "contatto fisico rapido della mano, del piede o di un oggetto impugnato con il corpo di un'altra persona, con forza sufficiente a produrre arretramento, vocalizzazione di dolore o interruzione dell'attivita" e gia piu misurabile. Poi servono esempi e non esempi: spingere una sedia vuota, toccare il braccio per richiamare attenzione, urtare un compagno in fila, lanciare un oggetto verso il muro.

L'indipendenza e altrettanto importante. Gli osservatori non dovrebbero parlarsi, confrontare fogli, mostrare timer o correggersi mentre la sessione e in corso. Se un adulto chiede all'altro "questo lo hai contato?", il dato finale puo sembrare piu alto, ma e un accordo contaminato. La discussione clinica viene dopo: prima si registra, poi si calcola, poi si analizzano i disaccordi.

Un buon controllo IOA non cerca una percentuale rassicurante. Cerca un sistema di misura che continui a funzionare quando il comportamento e veloce, raro, ambiguo o emotivamente carico.

Le formule principali, senza trasformarle in ricette

La formula dipende dal tipo di dato. Mudford, Taylor e Martin hanno mostrato che negli studi con registrazione continua vengono usati diversi algoritmi, tra cui accordo esatto, block-by-block e time-window analysis. Mudford, Martin, Hui e Taylor hanno poi confrontato questi algoritmi rispetto all'accuratezza e hanno evidenziato un punto cruciale: nessuna formula e perfetta in ogni condizione. Alcune possono gonfiare l'accordo quando i comportamenti sono rari; altre diventano troppo severe con frequenze molto alte; altre ancora dipendono dalla finestra temporale scelta.

Total count IOA

Il total count IOA si calcola dividendo il conteggio minore per il conteggio maggiore e moltiplicando per 100. Se un osservatore conta 9 episodi e l'altro 12, il risultato e 75%. E rapido, intuitivo e utile come screening iniziale su conteggi di frequenza. Il limite e evidente: i due osservatori potrebbero non aver contato gli stessi eventi. Se A registra i primi nove episodi e B gli ultimi dodici, il total count produce comunque una percentuale, ma non conferma l'allineamento temporale.

Trial-by-trial o interval-by-interval IOA

Quando ci sono prove discrete, opportunita chiare o intervalli definiti, la formula piu leggibile e accordi diviso accordi piu disaccordi, moltiplicato per 100. Funziona bene per programmi DTT, prove di comunicazione, risposte corrette/errate e checklist in cui ogni opportunita e delimitata. Il valore clinico aumenta se il team definisce prima cosa conta come accordo: stessa risposta indipendente, stesso livello di prompt, stessa latenza entro un criterio, stessa classificazione di errore.

Exact count per interval

Nell'exact count per interval, la sessione viene divisa in intervalli e gli osservatori sono in accordo solo se registrano lo stesso numero di eventi in quell'intervallo. E piu severo del total count, perche controlla anche la distribuzione degli eventi nel tempo. Puo pero diventare molto rigido quando gli eventi sono frequenti o cadono vicino al confine tra due intervalli.

Proportional o block-by-block agreement

Nel block-by-block, per ogni intervallo si divide il numero minore per il maggiore e poi si media il risultato sugli intervalli. Rolider, Iwata e Bullock hanno confrontato indici come total, interval, exact e proportional reliability e hanno mostrato che la distribuzione e il tasso di risposta influenzano molto il risultato. La loro analisi rende prudente l'uso di percentuali aggregate: la formula deve essere scelta pensando al comportamento reale, non alla comodita del calcolo.

Time-window analysis

La time-window analysis considera accordo un evento registrato da entrambi entro una finestra temporale prestabilita, per esempio piu o meno tre o cinque secondi. E utile quando il timing e importante, ma va dichiarata prima. Una finestra troppo larga puo perdonare errori clinicamente rilevanti; una finestra troppo stretta puo punire differenze minime di pressione del tasto o scrittura.

Come scegliere la formula nel lavoro reale

Per un team clinico, la scelta puo partire da quattro domande. Prima: il comportamento e discreto o continuo? Seconda: il tempo dell'evento conta per la decisione? Terza: la frequenza e bassa, media o alta? Quarta: la decisione e a basso rischio o ad alto impatto? Se stai controllando in modo rapido un target secondario, il total count puo essere sufficiente per capire se serve approfondire. Se stai decidendo se un comportamento problema e diminuito dopo una modifica del piano, servono formule piu sensibili alla distribuzione degli eventi.

Anche la soglia va trattata con maturita clinica. Valori intorno all'80% sono spesso usati come riferimento minimo nella pratica e nella letteratura, ma non sono un lasciapassare automatico. Un 82% su un comportamento lieve e stabile puo essere accettabile; un 82% su aggressivita grave, procedure di sicurezza o fidelity di un piano complesso puo richiedere revisione immediata. La domanda non e solo "sopra o sotto soglia?", ma "questa misura e abbastanza affidabile per la decisione che sto per prendere?".

Audit dei 10 minuti prima di calcolare

Prima di aprire il calcolatore, il supervisore puo fare un controllo rapidissimo. Uno: la definizione operativa include inizio, fine, esempi e non esempi? Due: i due osservatori hanno ricevuto lo stesso training e lo stesso modulo? Tre: la sessione scelta rappresenta davvero il programma, o e una sessione troppo facile? Quattro: la formula e stata decisa prima della raccolta? Cinque: gli osservatori resteranno indipendenti fino alla fine? Sei: il team sa cosa fara se l'IOA risulta basso?

Questo audit evita due errori frequenti. Il primo e calcolare dopo aver guardato i dati, scegliendo la formula che produce il numero piu elegante. Il secondo e trasformare l'IOA in un controllo punitivo sull'operatore. L'obiettivo non e colpevolizzare: e migliorare il sistema. Se due operatori divergono, il dato sta dicendo che la definizione, il training o la procedura di raccolta hanno bisogno di manutenzione.

IOA, accuratezza e strumenti digitali

Gli strumenti digitali aiutano, ma non eliminano il problema. Virues-Ortega e colleghi hanno confrontato osservazione carta-matita e sistemi computerizzati, mostrando che osservatori formati possono raggiungere alta accuratezza con diversi metodi, ma anche che la difficolta della sessione e il numero di eventi influenzano la precisione. In pratica, una app ben progettata riduce errori di calcolo, archiviazione e grafico; non sostituisce definizioni, training e osservazione attenta.

Per questo il calcolatore IOA dovrebbe essere usato come ultimo passaggio di una catena piu lunga. Prima c'e il comportamento da definire, poi il campione da scegliere, poi la sessione da osservare, poi la formula da applicare. Solo a quel punto la percentuale ha senso. Un calcolatore non deve far sembrare scientifico un dato fragile; deve rendere meno fragile un processo gia impostato bene.

Non dimenticare la procedural fidelity

Un errore molto comune e calcolare IOA solo sul comportamento del bambino e ignorare l'accordo sulla procedura dell'adulto. Ma se un programma non funziona, il team deve sapere se l'intervento e inefficace o se non e stato implementato come previsto. Essig, Rotta e Poling hanno documentato una forte asimmetria: negli articoli ABA recenti, l'IOA per il comportamento dei partecipanti e riportato molto piu spesso dell'IOA sulla procedural fidelity. Questo e un punto enorme per la pratica: un piano puo sembrare fallire perche la fidelity e misurata male o non e misurata affatto.

St. Peter e colleghi aggiungono un'altra cautela: riassumere la fidelity solo come percentuale puo nascondere dettagli importanti. Se una procedura richiede molte risposte dell'adulto, tassi di errori e tassi di implementazione corretta possono raccontare piu della sola percentuale globale. Per un team Academy gold standard, quindi, l'IOA non vive separato dalla fidelity: i due controlli si rafforzano a vicenda.

Vignetta clinica

Il Contesto

In un centro pomeridiano, un bambino di sette anni lavora su richieste funzionali durante gioco condiviso. Il grafico mostra un calo improvviso delle richieste indipendenti e un aumento delle risposte promptate. L'operatrice principale sostiene che il bambino e piu stanco; la supervisora nota invece che i dati sono stati raccolti da due persone diverse nelle ultime settimane.

L'Intervento

Il team organizza una co-osservazione di 20 minuti. Prima della sessione riscrive la definizione di "richiesta indipendente": vocalizzazione, gesto o selezione AAC entro cinque secondi dalla motivazione evidente, senza prompt verbale o fisico. Vengono aggiunti tre non esempi, tra cui ecolalia dopo modello e risposta dopo domanda diretta. Gli osservatori raccolgono dati indipendenti e calcolano trial-by-trial IOA su 18 opportunita.

L'Esito

L'IOA iniziale e 67%. I disaccordi riguardano quasi tutti le risposte dopo prompt gestuale lieve: una persona le segnava indipendenti, l'altra promptate. Dopo training con esempi video e nuova co-osservazione, l'IOA sale a 89%. Il grafico successivo mostra che il presunto calo non era solo stanchezza: era un cambiamento nel modo di classificare il prompt. Il team decide quindi di correggere i dati recenti, aggiornare il manuale operativo e programmare un controllo IOA anche sulla fidelity del prompting.

FAQ