TP05 - L’evaluation des tests diagnostiques

Pour indications utiles à résoudre les travaux pratiques accédez: Instructions et Interpretations.   

Le but et l'utilité du laboratoire

  • Réaliser le protocole de recherche d'une étude diagnostique ou de dépistage (screening)
  • Analyser les données et présenter les résultats obtenus
  • Interprétation statistique et clinique des résultats obtenus

Notions d'introduction

Le but de l'évaluation d'un test de diagnostic est de déterminer dans quelle mesure une nouvelle méthode de diagnostic peut être utilisée dans la pratique médicale actuelle et aussi de determiner la capacite diagnostique par rapport aux méthodes existantes. Une meilleure méthode de diagnostic impliquera implicitement un traitement plus précis de la pathologie d'intérêt. Nous appellerons la qualité ou la précision d'un test sa précision.

Indicateurs d'exactitude diagnostique: Se (Sensibilité), Sp (Spécificité), VPP (Valeur Positive Prédictive), VPN (Valeur Négative Prédictive), +LR, (Rapport de vraisemblance Positif), -LR (Rapport de vraisemblance Négative).

Partant du principe que tout nouveau test de diagnostic sera comparé à un test déjà utilisé en pratique médicale, les patients inscrits à l'étude seront testés avec les deux tests, en prenant comme référence un «test de référence» ou «étalon-or». On peut apres creer un tableau de contingence 2 × 2 entre les deux tests, qui comprendra les fréquences absolues des résultats des tests, comme indiqué dans le tableau 1.

Tableau 1. Indicateurs diagnostiques dans le tableau de contingence 2×2

Malade

(Test standard+)

Sans maladie

(Test standard-)

Total

Nouveau test+

VP (a)

FP (b)

VP+FP (a+b)

→ VPP = AP/(AP+FP)

Nouveau test-

FN (c)

VN (d)

FN+VP (c+d)

→ VPN = AN/(AN+FN)

Total

VP+FN (a+c)

FP+VN (b+d)

n (a+b+c+d)

Se=VP/(VP +FN)

Sp=VN/(VN+FP)

Val glob test=(VP+VN)/n

ou:

VP (Vrai Positif) = nombre de patients malades ayant le nouveau test positif - noté par a

FP (Faux Positif) = nombre de patients sans maladie qui ont le nouveau test positif - noté b

FN (Faux Negatif) = nombre de patients malades ayant eu le nouveau test négatif - noté c

VN (Vrai négatif) = nombre de patients sans maladie qui ont le nouveau test négatif - noté d.

Sur la base de ce tableau de contingence, nous pouvons calculer les indicateurs pour le nouveau test de diagnostic. Pour tout indicateur statistique on peut calculer un intervalle de confiance qui estime la probabilité de 95% que le vrai indicateur se trouve dans la population cible.

La prévalence = (VP + FN) / (VP + FN + FP + VN) = (a+c)/n est le pourcentage des malades dans la population.

  • Sensibilité (Se) = a/(a+c)

est la probabilité d'un sujet malade d’avoir un résultat positif au nouveau test diagnostique, ou la proportion des sujets avec un test positif parmi les sujets malades.

  • Spécificité (Sp) = d/(b+d)

est la probabilité d'un sujet non-malade d’avoir un résultat négatif en utilisant le nouveau test diagnostique, ou la proportion des sujets avec un test négatif parmi les non malades.

  • Valeur prédictive positive(VPP) = a/(a+b)

est le pourcentage des sujets malades parmi ceux avec un test positif. Il montre probabilité d'un sujet qui a été testé positif en utilisant le nouveau test diagnostique d’avoir la maladie testé.

  • Valeur prédictive négative (VPN) = d/(c+d)

Est la proportion des sujets sans maladie parmi ceux avec le nouveau test negatif. Il montre la probabilite d’un patient avec le test negatif de ne pas avoir la maladie.

  • Précision (valeur globale du test) = (a+d)/n

L'exactitude est la capacité d'un test à identifier correctement les sujets malades et les sujets sans maladie. Il devrait être aussi élevé que possible pour rendre le test aussi bon que possible.

  • RVP (rapport de vraisemblance positif; en anglais: LR+= Positive Likelihood Ratio) = Se/(1-Sp) 

RVP montre la probabilité que le nouveau test sera positif pour ceux qui sont malades par rapport à ceux qui ne sont pas malades.

  • RVN (rapport de probabilité négatif; en anglais: LR+= Negative Likelihood Ratio) = (1-Se)/Sp

RPP montre la probabilité que le nouveau test soit négatif pour ceux qui sont malades par rapport à ceux qui ne sont pas malades.

Pour les indicateurs et l'intervalle de confiance associé, vous pouvez utiliser le lien http://statpages.org/ctab2x2.html

D'autres indicateurs utiles dans la pratique médicale sont:

  • Probabilité pré-test = probabilité que le sujet soit malade avant d'appliquer le nouveau test de diagnostic. Il peut etre la prévalence de la maladie ou une certaine probabilité que vous pouvez avoir en tant que médecin, après l'histoire du patient et l'examen clinique.
  • La probabilité post-test (calculée en utilisant le nomogramme Fagan) = la probabilité que le patient soit malade si le résultat de nouveau test est positif (on doit utiliser LR +) ou la probabilité que le patient soit malad en cas de résultat négatif nouveau test (on doit utiliser LR-).

Pour calculer la probabilité post-test, nous pouvons utiliser le nomogramme Fagan, en connaissant la probabilité pré-test, le résultat du test pour notre patient et le rapport de vraisemblance positif / négatif du test. En joignant les points respectifs à l'axe de du rapport de vraisemblance, nous obtenons la probabilité post-test.

fagan

Fig. 1 Nomogramme Fagan pour une pathologie avec une prévalence de 20%, LR + = 5 et LR- = 0,1. Si un sujet a un résultat positif dans le nouveau test, sa probabilite d'avoir la pathologie d'intérêt est de 55% (la ligne rouge sur le graphique). Si un sujet a un résultat négatif au nouveau test, sa probabilite de présenter la pathologie d'intérêt est égale à 1,8% (la ligne bleue pointillée sur le graphique).

Il existe des applications en ligne qui peuvent être utilisées pour obtenir les valeurs illustrées dans la figure 1 pour n'importe quel sujet (http://araw.mede.uic.edu/cgi-bin/testcalc.pl, utilisez la troisième table). Dans la ressource ci-dessus, dans le champ ”prévalence” on doit ecrire la prévalence de la maladie ou la probabilité de la maladie avant d'appliquer le nouveau test de diagnostic, puis les valeurs calculées de LR +, LR-, respective la taille totale de l'échantillon - le nombre total de sujets (si nous ne le connaissons pas , alors l'intervalle de confiance ne peut pas être calculé).

 

  • Interprétation clinique:

Sensibilité, spécificité, valeur globale du test:

Un indicateur de diagnostic comme Se, Sp, proche de 100% signifie une haute qualité de diagnostic (comme sugestion: valeur 80% - qualité diagnostique faible, 80-90% - qualité diagnostique modérée, > 90% qualité diagnostique élevée - certaines situations exigent des valeurs proches de 100% - par exemple, un test de dépistage du VIH. Un indicateur de diagnostic proche de 50% (mais supérieur à 50%) signifie quasiment aucune qualité de diagnostic.

Selon votre intérêt, vous pouvez choisir le test le plus approprié pour le diagnostic de précision ou pour le dépistage. Pour le diagnostic d'une pathologie, nous choisirons le test avec la plus haute spécificité. Évidemment, outre l'exactitude du test, nous devons prendre en compte d'autres paramètres (préférences du patient, coût, etc.). Pour un test de dépistage (screening), nous choisirons le test avec la plus haute sensibilité.

Les rapports de vraisemblance:

À titre indicatif, certaines valeurs de LR peuvent entraîner plus ou moins de changements dans la probabilité post-test. Ainsi les valeurs LR dans les gammes:

  • LR+>10 ou LR-0,1 conduisent à des changements importants et souvent concluants dans la probabilité d'un diagnostic.
  • LR + entre 5 et 10 ou LR- entre 0,1 et 0,2 conduit à des changements modérés et utiles de la probabilité pré-test dans la probabilité post-test
  • LR + entre 2 et 5 ou LR - entre 0,2 et 0,5 amène de petits changements, mais parfois des probabilités significatives
  • LR + entre 1 et 2 ou LR - entre 0,5 et 1 conduisent à de faibles changements de probabilité, et rarement importants.

Ratio de probabilité:

 LR +> 10 ou LR- 0.1.

Exemple d'étude diagnostiques:

Utilisation de l'échographie dans le diagnostic de l'appendicite infantile

Dans une étude diagnostique, Binkovitz LA et al. Ont évalué l'exactitude de l'échographie dans le diagnostic de l'appendicite aiguë chez les enfants.

Binkovitz LA, Unsdorfer KM, Thapa P, Kolbe AB, Hull NC, Zingula SN, et al. Pediatric appendiceal ultrasound: accuracy, determinacy and clinical outcomes. Pediatr Radiol. 2015;45(13):1934-44.

Source de l'article:

https://link.springer.com/article/10.1007/s00247-015-3432-7

Définitions des termes utilisés dans l'étude:

  • L'appendicite est l'inflammation de l'appendice, étant l'une des causes les plus fréquentes de douleurs abdominales chez les enfants et nécessitant une intervention chirurgicale. Appendicite se manifeste cliniquement par des douleurs épigastriques, qui localise alors la fosse iliaque droite (FID), accompagnée de nausées, des vomissements, de la fièvre, l'anorexie.
  • Appendicectomie = Retrait de l'appendice par procédure chirurgicale..

Informations théoriques:

  • Diagnostic clinique, paraclinique et d'imagerie.
  • L'échographie est une méthode d'examen par imagerie ultrasonore pour évaluer les organes parenchimateus abdominaux. Il ne sont pas irradiants, ils ont un durée courte et sont très précis dans le diagnostic de l'appendicite, mais cela dépend de l'expérience de l'examinateur.
  • D'autres méthodes de diagnostic de l'appendicite infantile peuvent être:
    • tomodensitometrie (CT) – avec irradiation, dure plus loungue que l’ecographie, a une plus grande précision que l’ecographie et dépend moins de l'expérience de l'examinateur.
    • L’imagerie par résonance magnétique (IRM) - est non irradiante, elle dure beaucoup, elle a une précision plus élevée qu'aux l’ecographie et dépend moins de l'expérience de l'examinateur.
    • Leucocytose> 10500 dans le contexte clinique est hautement suggestive pour le diagnostic.
    • Histopathologie - est la méthode de certitude pour le diagnostic de l'appendicite par la visualisation microscopique du tissu inflammatoire à l'appendice chirurgicalement excisé

Scénario d'étude - Exemple:

Binkovitz et al. a mené une étude sur les enfants qui sont allés à la clinique Mayo de Rochester (Etats-Unis) entre Janvier 2010 et Juin 2014, et ils ont passé en revue les facteurs qui peuvent influencer la précision de l’ecographie dans le diagnostic d'appendicite aiguë chez les enfants et d'évaluer les conséquences des résultats imprécis d’ecographie sur les sujets.

Les critères d'inclusion dans l'étude étaient: les enfants de moins de 18 ans qui avaient un syndrome abdominal douloureux et qui ont subi un examen d’ecographie; l'existence des mots «appendix» ou «appendicite» dans les dossiers des patients.

Les critères d'exclusion étaient les suivants: enfants ayant reçu une appendicectomie ou un tomodensitometrie avant l’ecographie; les enfants qui avaient un ecographie dans un établissement autre que Mayo Clinic Rochester; les enfants qui n'ont pas eu d'appendicectomie et n'ont pas été suivis en progression.

L'étude a ete porté sur un groupe de 572 patients avec une ecographie nette (le patient a eu un diagnostique certaine de la presence ou l’absence d’appendicite).

Un deuxième groupe de patients avec échographie incertaine / peu claire a également été analysé - 218 patients (27,6%) ont été inclus.

Protocole d'étude

1. Objet et objectifs de l'étude

Le but de l'étude était d'évaluer certains facteurs qui peuvent influencer la précision de l’ecographie dans le diagnostic de l'appendicite aiguë de l'enfance et d'évaluer les conséquences des résultats imprécis de l’ecographie sur les sujets

Objectifs de l'étude:

(1) Évaluer l'impact des facteurs liés au patient (sexe, âge, IMC, durée des symptômes) ou du système (temps de présentation au médecin ou à l'année d'examen) sur l'exactitude de l'échographie pédiatrique;

(2) L'évaluation de l'influence des études échographiques avec des résultats incertains dans le suivi des patients, par des examens CT et le taux de chirurgies négatives;

(3) Présenter des stratégies pour réduire le taux d'incertitude de l'échocardiographie et augmenter la précision.

2. Domaine de recherche: evaluation d’un approche

3. Type d'étude:

  • Selon les objectifs de l'étude: étude analytique
  • Selon les résultats: étude observationnelle

4. Population accesible et échantillon d'étude

Population accesible :

Mayo Clinic Rochester (Echographie ) entre janvier 2010 et juin 2014

Échantillon de l'étude:

Critères d'inclusion

Les enfants de moins de 18 ans qui avaient les mots «appendice» ou «appendicite» dans le rapport d'examen abdominal américain ont été sélectionnés.

Critères d'exclusion

Les enfants avec une appendicectomie ou CT avant l’ecographie ont été exclus; les enfants qui avaient un ecographie dans un établissement autre que Mayo Clinic Rochester; les enfants qui n'ont pas eu d'appendicectomie et n'ont pas été suivis en progression.

Taille de l'échantillon:

790 examens: groupe 1 - 572 patients avec un diagnostic échographique clair et groupe 2 - 218 patients avec une échographie trouble / floue.

5. Collection des donnees

  • Selon la population étudiée: Échantillonnage convenable ou consecutive (il n’est pas bien precise)
  • Selon la durée de la collecte des données: rétrospective longitudinale.
  • en fonction de la manière dont le ou les groupes de sujets: un group des sujets (tous les patients présentant le syndrome de la douleur abdominale).

Remarque: Types d'échantillonnage probabiliste

  • Échantillonnage aléatoire simple: chaque élément de la population a la même chance d'être inclus dans l'échantillon.
  • Échantillonnage aléatoire systématique: suppose un choix aléatoire d'un numéro de départ (étape), à partir duquel l'ajout d'une taille fixe donnera une unité (élément) de l'échantillon.
  • Échantillonnage aléatoire stratifié: consiste à diviser la population de recherche en couches selon certaines caractéristiques (gènes, groupes d'âge) pour soustraire de façon aléatoire des sous-échantillons (groupes) proportionnels à la taille de chaque couche, groupes qui sont ensuite combinés pour obtenir un seul échantillon.
  • Échantillonnage aléatoire en grappes (angl. cluster): La population de recherche est divisée en grappes et un certain nombre de groupes sont choisis au hasard, toutes les unités (éléments) incluses.

Remarque: Types d'échantillonnage sans sondage

  • Échantillonnage pratique. Les sujets sont choisis par le chercheur car il est facile d'obtenir des données (Ex. Patients disponibles, bénévoles - étudiants, médecins, ...)
  • Échantillonnage consecutif. Tous les sujets qui se presentent consecutifs à un médecin ou dans un service médical.

Méthode diagnostique d'intérêt:

- l’ecographie est la méthode d'examen d'imagerie qui utilise des ultrasons pour l'évaluation des organes intra-abdominaux parenchymateuses. L’ecographie n’est pas irradiant, a un courte durée et il est très précis dans le diagnostic de l'appendicite, mais cela dépend de l'expérience de l'examinateur.

- Des ultrasons ont été réalisés pendant les heures de routine par l'un des 50 médecins ayant une compétence en échographie abdominale et examinés par un radiologue. En dehors des heures de travail, des échographies ont été faites par l'un des quatre radiologues, avec au moins 20 ans d'expérience dans l’ecographie. Le protocole n'a pas été modifié tout au long de l'étude.

Le Test standard utilisé:

- Le test standard utilisé était l'examen histopathologique. C'est la visualisation microscopique du tissu appendiculaire et la confirmation de la certitude de l'appendicite.

- Nous ne savons pas qui a fait le test standard, n'est pas mentionné; nous pouvons seulement supposer que cela a été fait par l'anatomopathologiste.

Est-ce que le médecin qui a fait le test d’ecographie et celui qui a fait le test standard connaissait le résultat du test précédent?

- Non mentionné, mais on peut supposer que le médecin qui a effectué l'échographie ne pas connue avant anatomopathologique (ils ont exclus es enfants avec une appendicectomie ou CT avant l’ecographie ont été exclus). Mais nous ne savons pas si l'anatomopathologiste connaissait les résultats des tests précédents.

6. Analyse statistique

Caractéristiques démographiques et cliniques des enfants:

Genre, Temps de l'échographie (pendant ou en dehors des heures de programme), Présence de douleur dans la fosse iliaque droit, Résultat de l'échographie, Résultat histopathologique: des variables qualitatives

Âge, taille, poids, indice de masse corporelle (IMC), durée du début des symptômes jusqu’a l’ecographie: variables quantitatives continues

Les variables qualitatives ont été décrites en utilisant les pourcentages, et les variables quantitatives ont été décrites a l’aide de la moyenne arithmétique ± écart-type.

Le test t (Student test) a été utilisé pour les variables quantitatives continues, le test du Chi2 ou le test exact de Fisher pour les variables qualitatives. Le seuil de signification statistique était p 0,05.

Évaluation de la performance diagnostique:

- Sensibilité, spécificité

- Valeur positive prédictive, valeur négative prédictive

- Prévalence, Précision, LR +, LR-

 

Résultats attendus Analyse de données et présentation

  1. Description de l'échantillon

Il y avait 790 test qui répondaient aux critères d'inclusion et d'exclusion, dont 452 filles (57%) et 338 garçons (43%).

L'âge moyen était de 10,4 ± 4,5 ans et l'IMC moyen de 19,8 ± 4,8.

La plupart des examens ont été effectués pendant les heures de de routine (581 ou 73%); 209 (27%) ont été effectuées en dehors de ces heures

Il y avait 146 cas d'appendicite aiguë, la prévalence totale étant de 18,5%.

Deux groupes ont été analysés:

- Groupe 1 - ceux avec des diagnostics échographique clairs (le patient a ou n'a pas d'appendicite)

- Groupe 2 - ceux avec un diagnostic échographique peu clair / peu clair

  1. L'association entre les echographies et l'examen histopathologique pour le groupe 1

 

Tableau 1: Tableau de contingence entre les résultats echographies (US) et l'examen histopathologique (HP) pour le groupe 1.

HP+

HP-

Total

US+

109

17

126

US-

6

440

446

Total

115

457

572

US + = ont été diagnostiqués avec une appendicite à ultrasons; US - = n'ont pas été diagnostiqués avec une appendicite échographique; HP + = avoir une appendicite, un fait certifié histopathologie; HP - = ne pas avoir d'appendicite.

Dans le groupe 1 étaient de 109 patients avec echographie et l'examen histopathologique positif, 440 des résultats négatifs dans les deux examens, 17 avec echographie positif et histopathologie negative et 6 avec echographie négative et histopathologie négatif négatif (Tableau 2).

Tableau 2. Distribution des scores d’echographie et diagnostic final

figtab2

  1. Calculs de l'indicateur du groupe 1:
  1. Prévalence = 115/572 = 0,20 - 20% des patients du groupe 1 avaient une appendicite.
  2. Se = 109/115 = 0,94 - 94% des patients atteints d'appendicite dans le groupe 1 avaient des résultats positifs aux Echographie .
  3. Sp = 440/457 = 0,96 - 96% des patients sans appendicite dans le groupe 1 avaient des Echographie négatifs.
  4. VPP = 109/126 = 0,86 - 86% de ceux avec des Echographie positifs avaient une appendicite.
  5. VPN = 440/446 = 0,98 - 98% de ceux qui avaient des US négatifs n'avaient pas d'appendicite.
  6. LR + = 0,94 / (1-.96) = 25,47- probabilité que les patients ont une échographie positive est 25.47 fois supérieurs à ceux exempts de la maladie.
  7. LR = (1 à 0,94) / 0,96 = 0,05, la probabilité que les patients ont un examen échographique négatif est 0,05 fois plus élevé que ceux indemnes de la maladie.
  8. Précision = (109 + 440) / 572 = 0,96 - 96% des patients ont été correctement diagnostiqués.

Interprétation des données. Discussions

1. Interpréter les résultats statistiquement

Se = 0,94 => 94% des patients. La probabilité qu'un patient qui a une appendicite a un echographie positive est de 94%.

Sp = 0,94 => 96% des patients. La probabilité qu'un patient qui n'a pas d'appendicite a un echographie négatif est de 96%.

VPP = 0,86. La probabilité qu'un patient positif a l’echographie  a une appendicite est de 86%.

VPN = 0,98. La probabilité qu'un patient négatif a l’echographie n'ait pas d'appendicite est de 98%.

2. Interpréter les résultats d'un point de vue clinique

La sensibilité et la spécificité sont> 90%, de sorte que les echographie  ont une haute qualité diagnostique.

  • • LR +> 10 et LR- 0,1, ce qui signifie que l'évaluation echographique conduira à des changements importants et souvent concluants dans la probabilité de diagnostiquer l'apéricicité
  • • L'examen aux Echographie est-il une méthode utile pour dépister (pour le screening) de l'appendicite chez les enfants?

- L'utilité clinique des Echographie  en tant que méthode de dépistage de l'appendicite est évaluée sur la base de la sensibilité, qui est très élevée, de sorte que les echographie  peuvent être utilisés dans le dépistage de l'appendicite.

  • • L'examen echographique est-il une méthode utile dans le diagnostic de l'appendicite infantile?

- L'utilité clinique de l’echographie  en tant que méthode de diagnostic de precision de l'appendicite est élevée, étant donné que la spécificité de l’echographie est élevée.

  • • Quelle est la probabilité qu'un enfant présentant un symptôme symptomatique de l'abdomen aigu et un résultat positif a l’echographie ait une appendicite?

- Pour une prévalence de ~ 20% et LR + de 25,4, sur un nombre total de 572 patients, la probabilité est de 86%.

  • • Quelle est la probabilite pour un enfant présentant une symptômatologie d’un abdomen aigu et un résultat négatif aux Echographie d'avoir une appendicite?

- Pour une prévalence de ~ 20% et de LR -0,05, sur un nombre total de 572 patients, la probabilité est d'environ 1%.

Conclusions de l'étude

La précision de l’echographie  était très élevée sans être influencée par des facteurs liés au patient ou par des facteurs liés au système ou au médecin.

Les médecins expérimentés peuvent définitivement diagnostiquer ou exclure l'appendicite chez ~ 70% des enfants, avec une précision de 96%.

Un diagnostic echographique abaisse sans doute l'utilisation de la tomographie par ordinateur et le taux de chirurgie négative.

À retenir

  • • Les études visant à évaluer un nouveau test diagnostique sont effectuées en référence à un test de diagnostic standard.
  • • Certains paramètres peuvent être calculés pour évaluer la qualité d'un nouveau test diagnostique.

• Selon l'intérêt, les tests peuvent être utilisés pour le diagnostic de precision de la maladie ou pour son dépistage.

TP 04 - activite pratique

Lu 190 fois