..Janet

..Cannon

.......Kandel

......Edelman

Clérambault

.....Freud

....Lacan

...Lebovici

....Klein

...Jung

...Bion

	Le site des recherches sur les psychothérapies psychodynamiques

Fidélité inter-juges

(Brigitte 13 07) - Pour ce qui est de l'évaluation de la fidélité inter-juge, si nous nous référons à Cialdella dans son séminaire à ce sujet datant de 1992, "aucune mesure de fidélité inter-juges n'est possible sans un certain nombre de patients (au moins une dizaine). Des désaccords apparemment importants pour un patient donné peuvent disparaître complètement pour un autre et vice-versa (des accords apparemment parfaits pour un patient donné peuvent ne pas s'observer avec la majorité des autres patients étudiés)..."
Un premier niveau de réponse peut donc être que nous ne sommes pas en mesure de donner une mesure de fidélité inter-juge pour le moment étant donné le type de conception de l'étude. Toute mesure statistique ne pourra être effectuée que lorsqu'un nombre suffisant de patients seront rentrés dans l'étude.
Mais :
- Nous avons utilisé uniquement des mesures qui ont été éprouvées dans des études antérieures quant à leur validité et leur fiabilité. Pour éviter cet écueil, nous n'avons pas créé aucune mesure spécifique à notre étude.
- Nous avons minimisé ce risque par le fait que les chercheurs-praticiens ne travaillaient pas auparavant ensemble et malgré cela une concordance inter-juge s'est retrouvée. (bon alors là c'est un peu faible et j'ai retrouvé qu'une partie où j'avais calculé pour le PQS de mlle D à un an, nous arrivions à 70% des réponses identiques ou quasi-identiques et 30% différentes. Mais je crois en lisant toujours Cialdella que mon mode de calcul n'a aucune valeur )
- Ce risque a aussi été minimisé par la rigueur du protocole rédigé à l'avance (sur le recueil des données, sur le mode de passation de l'instrument). Le matériel clinique a été commun par l'utilisation de bandes audio. Et il y avait deux "juges" en plus du clinicien. Cialdlella : "Toutefois, l'évaluation de la fidélité inter-juges ne peut pas s'improviser, et nécessite un dispositif expérimental minimum, comportant une matériel clinique commun (bande vidéo ou entretien en commun), portant sur plusieurs patients. Deux juges ou plus s'attachent alors à évaluer de façon indépendante les phénomènes cliniques d'intérêt."... Il continue en disant que la fidélité inter-juge peut être améliorer par une pratique de cotation de plusieurs bandes, discutées avec un psychiatre-sénior (ce que nous avons un peu commencé avec les groupes de pairs et que nous devrions faire avec la formation au PQS)

Je pense qu'il ne faut pas se tromper de problème. Il y a la question de la fidélité inter juges pour constituer un questionnaire (ce qui n'est pas notre problème, puisque nous travaillons avec des questionnaires validés) et celle de ce que cela donne en pratique à partir d'un instrument validé quand plusieurs personnes l'utilisent (ce qui est notre problème). Comment sommes-nous arrivés à nos scores "moyens" dans les différentes cotations ?
- je crois que nous avons été confrontés à 3 types de situations (vous me corrigez si vous le voyez autrement) :
. nos score étaient identiques à 1 point près : nous avons fait la moyenne
. nos scores étaient à l'opposé : dans 9 cas sur 10, c'était parce que nous avions mal lu l'énoncé et que nous l'avions compris à l'envers : nous étions d'accord sur le fond et il fallait rectifier, ce qui a été fait sans problèmes
- nos score différaient de + d'un point, voir étaient différents au niveau du signe (à mon avis cela représentait peut-être 10% des cas, et tu vas le retrouver Brigitte, nous avons fait une discussion argumentée, à partir du corpus, et nous sommes tombés pratiquement toujours d'accord, la décision revenant à la majorité s'il y avait disensus.
. nous avons fait une petit rapport à chaque fois et les cotations initiales ont été conservées.
. reste le cas que nous avons rencontré avec plus de participants l'autre fois et où deux tendances se sont exprimées qui constituaient chacune une moyenne. Nous avons pris la décision de relever la différence, avec l'idée que la tendance se préciserait ultérieurement. (Jean-Michel)

Synthèse écart cotation PQS 1 an Melle D

28% des cotations relèvent d'un écart moyen (0,44) entre cotateurs équivalent à 0 à 1/9 point de différence = 0,9
61% des cotations relèvent d'un écart moyen (0,44 - 0,67 - 0,89) entre cotateurs équivalent à 0 à 2/9 points de différence = 1,8
24% des cotations relèvent d'un écart moyen (1,11 - 1,33) entre cotateurs équivalent à 0 à 3/9 points de différence = 2,7
15% des cotations relèvent d'un écart moyen (1-56 - 2,44) entre cotateurs équivalent à plus de 4 points de différence = 3,6/9

4% des cotations relèvent un écart nulle entre les cotateurs
24% des cotations relèvent un écart moyen (0,44) équivalent à 1/9 entre les cotateurs = 2 cotateurs au moins ont un score équivalent
15% des cotations relèvent un écart moyen (0,67) = les 3 cotateurs ont un score de différence entre eux de 1 à 2 points (1-2/9)
18% des cotations relèvent un écart moyen (0,89) équivalent à 2/9 entre les cotateurs = 2 cotateurs au moins ont un score équivalent
17% des cotations relèvent un écart moyen (1,11) = les 3 cotateurs ont un score de différence entre eux de 1 à 3 points (1-2-3/9)
7% des cotations relèvent un écart moyen (1,33) équivalent à 3/9 entre les cotateurs = 2 cotateurs au moins ont un score équivalent
3% des cotations relèvent un écart moyen (1,56) = les 3 cotateurs ont un score de différence entre eux de 1 à 4 points (1-4/9)
6% des cotations relèvent un écart moyen (1,78) équivalent à 4/9 entre les cotateurs = 2 cotateurs au moins ont un score équivalent
3% des cotations relèvent un écart moyen (2) = les 3 cotateurs ont un score de différence entre eux de 1 à 5 points (1-5/9)
2% des cotations relèvent un écart moyen (2,22) = les 3 cotateurs ont un score de différence entre eux de 2 à 6 points (2-6/9)
1% des cotations relèvent un écart moyen (2,44) = les 3 cotateurs ont un score de différence entre eux de 3 à 7 points (3-7/9)

(Monique)

J'ai plusieurs question bêtes :
1) à partir des écart-types de chacune des réponses du pqs, par exemple, comment fait-on pour calculer une valeur globale de l'accord ? Cela permettrait aussi de suivre la progression d'une passation à l'autre.
[Xavier Briffault] on peut prendre la moyenne des écarts, c'est légal, puisque ce sont des écarts indépendants. Pour l'écart moyen, la moyenne va varier entre 0 (si tout le monde dit tout le temps pareil) et l'amplitude divisée par 2 si les réponses sont distribuées aux deux bouts de l'intervalle (c'est à dire entre 0 et 50 donc pour les variables de l'ESM).
2) quel serait le bon chiffre ?
[Xavier Briffault] 0 c'est le mieux, le max c'est le pire. entre les deux c'est de moins en moins bon au fur et à mesure que ça monte. J'imagine que le cut-off devrait être à une valeur suffisamment basse pour que les différences de cotations ne soient pas significatives d'un point de vue clinique. Vu que tu disais dans un précédent mail que c'était différent selon l'endroit ou on se trouve dans l'échelle (c'est à dire qu'un écart moyen de 5 ne vaut pas la même chose selon qu'on est aux alentours de 30 au de 80), je pense qu'il faut construire une fonction spécifique à chaque instrument pour dire si l'écart est cliniquement significatif. ça n'est pas très simple mais ça doit pouvoir se faire.
3) je n'ai pas bien compris comment on va déterminer notre 1 et 0
[Xavier Briffault] tu divises tout par la valeur maximum de l'échelle. C'est à dire si on a 65, 56, 34 sur une échelle qui va de 0 à 100, ça donne 0.65, 0.56, 0.34, et le 0 est pour la valeur 0, et le 1 pour la valeur 100.
tout cela devient un peu obsessionnel, je suis d'accord.

Je viens également de repenser que nous avions précisé des règles de cotation par exemple entre 0 et -4 ; en effet, je vois une cotation avec un écart-type important qui correspond à une question "simple" : Il y a discussion sur l'établissement du programme des heures, ou des honoraires , c'est en principe oui ou non, or cela a été coté -3 par deux juges et 0 par le troisième : je viens d'aller vérifier les recommandations pour la cotation et tout le monde aurait dû coter -3 (ou du moins dans le négatif, ce qui est large "placer vers non caractéristique").

(JMT 2007) - Cette histoire d'écart type commence à m'amuser. On pourrait en faire une sorte de signal d'attention quand il atteint une certaine valeur.
La valeur que j'ai trouvée la plus forte (en simulant) est -4 +4 et +4 pour le PQS qui donne un EC à 4,62
Pour Mlle D, la moyenne de la première étape de cotation est 1,26, ce qui donnerait 0,27 (1,26 : 4, 62) ? sur une échelle de 0 à 1 ?

Pour le PQS, il ne va pas tellement s'agir d'écart clinique, mais d'écart aux recommandations de codage (ex : Coter neutre si aucune référence n’est faite aux interruptions du traitement ni à sa fin" alors qu'il est prévu une cotation négative pour l'implicite : vacances "mentionnées" dans la conversation) et aux usages de codage (ex : on cote dans les 3 ou 4 ce qui caractérise une psychothérapie et aurait a priori une réponse binaire : ex "Les rêves et les fantasmes du patient sont discutés" (avec quand même si une modulation si c'est non "- Placer vers non caractéristique s’il y a peu ou pas de discussion de rêves ou de fantasmes durant la séance". ou encore "Le thérapeute se comporte de manière professorale (didactique)"), d'écart "stratégique" pour respecter les quotas associés à chaque nombre, et finalement d'écart à l'appréciation des variables thérapeute, patient et leur interaction. Il faut rappeler que la décision se fait à partir du corpus. Si un élément de décision n'est pas directement ou contextuellement dans le corpus, il n'est pas pris en compte. On peut remarquer à partir de la cotation de Mlle D que ce n'est pas le thérapeute qui a le dernier mot sur des cotations très divergentes !

Pour le 1 et 0, OK pour l'ESM, mais pour le PQS, on a une distribution entre -4 et +4. D'ailleurs, j'imagine qu'ils (Ablon et Jones) ont du réfléchir à ces questions … (Monique et Brigitte ?)

Dernière mise à jour : 20/07/06 info@techniques-psychotherapiques.org