|
RAPPORT SPECIAL - Octobre 2001
In English
| [ Photo: Lisa Jacobs ]Le recomptage manuel : Vicki Doyle et Patrick Mbugua vérifient les fiches de pointage |
Vos données sont-elles à la hauteur ?
En collaboration avec une équipe d’auditeurs, le Kenya vient de faire vérifier l’exactitude de ses données sur la vaccination. Lisa Jacobs les a accompagnés et a écouté les auditeurs comme les audités. En collaboration avec une équipe d’auditeurs, le Kenya vient de faire vérifier l’exactitude de ses données sur la vaccination. Lisa Jacobs les a accompagnés et a écouté les auditeurs comme les audités.
PATRICK Mbugua est l’infirmier responsable de la santé publique dans le district de Murang’a dans la partie centrale du Kenya. Il explique à Julia Njagi, le responsable de la formation sanitaire à Kangema, et à Stanley Kagwi, l’infirmier, pourquoi il est venu avec quelques visiteurs ce matin : ils sont là pour faire l’audit du système d’information de la formation sanitaire dans le cadre du test pilote d’un nouvel outil d’évaluation de l’exactitude des données nationales sur la vaccination. « Notre mission consiste à juger la qualité des données, du sommet à la base », explique M. Mbugua. « Vous voyez, s’il y a un problème à la base, il va se répercuter au niveau national. »
M. Mbugua est accompagné de deux personnes : Vicki Doyle, de Liverpool Associates in Tropical Health (LATH) une firme basée au Royaume-Uni appartenant à l’Ecole de Médicine Tropicale de Liverpool, qui dirige le consortium indépendant désigné par GAVI pour mener l’audit, et David Kiongo, le responsable national de l’information sur le Programme Etendu de Vaccination (PEV) au Kenya.
« Vous ne saviez donc pas que nous allions venir ? », demande Dr Akpala Kalu, le conseiller en vaccination du Bureau national de l’Organisation Mondiale de la Santé à Nairobi. Aujourd’hui, il se joint à l’équipe d’audit en tant qu’observateur. « Vous n’avez pas reçu le message annonçant notre visite ? », Dr Kalu sourit. « Je plaisante. » La visite inopinée fait partie de l’audit.
Des chiffres exacts pour une meilleure gestion
Pourquoi confronter les personnes de cette manière ? Quand les agents de santé doivent se battre pour pouvoir offrir un service minimal, l’archivage peut sembler être un des aspects les moins importants de leur travail. Comme le fait remarquer cet infirmier kenyan : « Des mères vous attendent, des enfants vous attendent, les soins curatifs vous attendent, les consultations prénatales vous attendent, les services de planification familiale vous attendent. Il est très difficile de revenir et de faire le pointage ! »
Cependant, tous les pays ont besoin de données exactes sur la vaccination afin que les responsables de la santé puissent rapidement détecter les tendances à la baisse ou à la hausse, mesurer leurs propres performances et allouer les ressources de manière efficace dans le but de protéger le plus grand nombre d’enfants des maladies meurtrières. L’expression « ce qui n’est pas mesuré ne peut être géré » est vraie pour la vaccination comme pour tout autre programme. Avec l’arrivée de GAVI et du Fonds mondial pour les vaccins, l’incitation à améliorer la qualité des données sur la vaccination est plus marquée.
Le Kenya a été l’un des premiers pays à bénéficier du financement de GAVI et du Fonds mondial pour les vaccins dans le cadre du système de « parts ». Ce système permet de donner des primes et des récompenses aux pays qui parviennent à augmenter leur couverture vaccinale. Au bout d’une année, le Conseil d’administration de GAVI doit décider combien sera alloué à chaque pays en fonction des chiffres rapportés sur le pourcentage de nourrissons ayant reçu trois doses du vaccin contre la diphtérie, le tétanos et la coqueluche (couverture DTC3). Pour chaque enfant vacciné de plus par rapport à l’année précédente, les parts augmentent. Seules les vaccinations rapportées peuvent être prises en compte. Si des vaccinations sont administrées dans les formations sanitaires mais ne sont pas rapportées, le pays peut se voir attribuer moins qu’il ne « mérite » d’un point de vue technique.
Le Conseil d’administration de GAVI doit également avoir l’assurance que les données sur la couverture vaccinale sont exactes. L’Audit de Qualité des Données (AQD) sur la vaccination a été conçu à cette fin et élaboré par des experts en information sanitaire à l’OMS et au Programme Bill et Melinda Gates de vaccins pour l’enfant (voir encadré 1).
|
1. Vous avez dit AQD ?
L’Audit de Qualité des Données évalue l’exactitude du système de rapportage sur la vaccination depuis la formation sanitaire jusqu’au niveau national en passant par les districts. A cette fin, quatre districts sont sélectionnés au hasard afin d’assurer une véritable représentativité, et six formations sanitaires sont choisies au sein de chaque district, soit un total de 24 formations sanitaires. Deux équipes, composées chacune d’un responsable national de la vaccination et d’un auditeur externe, se répartissent les districts et se font accompagner par un responsable de district lors de visites dans les formations sanitaires.
Les données au niveau de la formation sanitaire sont comparées à celles du district, puis les données des districts à celles rapportées au niveau national. En plus des vérifications de l’exactitude des chiffres, l’ensemble des aspects du système de rapportage sont passés en revue ; les auditeurs observent aussi le personnel pour s’assurer que leurs pratiques sont correctes. Les auditeurs donnent un feedback immédiat au personnel intervenant au niveau national, du district et de la formation sanitaire et lui suggèrent des moyens pratiques pour améliorer ses performances et son système de gestion de l’information.
Cet audit a fait l’objet d’un appel d’offres. GAVI a finalement attribué le contrat à un consortium dirigé par LATH en association avec Euro Health Group du Danemark et Deloitte and Touche Emerging Markets Group aux Etats-Unis. L’audit a d’abord été lancé à titre de test pilote de mai à septembre 2001 dans les huit pays qui ont le plus bénéficié d’aide pour le renforcement de leurs services de vaccination en 2000 et début 2001, à savoir la Côte d’Ivoire, le Kenya, le Libéria, le Mali, le Pakistan, le Rwanda, la Tanzanie et l’Ouganda.
Les premières indications provenant des sites pilotes ont révélé des problèmes dans la gestion des stocks. Une grande partie du personnel n’est pas formé de manière adéquate dans le maintien des fiches de stocks tandis que ces derniers ne font pas l’objet d’un suivi étroit. La cohérence des données entre les différents niveaux varie d’un pays à un autre, mais les cas de données discordantes sont de loin plus nombreux que les cas de données cohérentes. L’AQD a également mis en évidence le fait que les pays ayant adopté une approche intégrée pour la collecte de données, comme la Tanzanie ou l’Ouganda, connaissent des problèmes avec les systèmes de rapportage parallèles : les données du PEV sont rapportées deux fois et ne coïncident pas toujours.
Les leçons tirées des audits pilotes de cette année serviront de guide aux audits suivants et aideront GAVI à décider si l’AQD est un outil adéquat pour l’ajustement des fonds alloués aux pays par le Fonds mondial pour les vaccins. Les partenaires de GAVI étudieront l’expérience pilote de l’AQD à la fin du mois d’octobre et émettront alors des recommandations.
|
Si la principale tâche de cette mission d’audit est d’évaluer la qualité, l’exactitude et la plénitude des systèmes de rapportage sur la vaccination, l’AQD permet également de fournir un feedback au personnel de santé et de lui montrer de manière pratique comment améliorer la qualité des données. Cependant, certains s’interrogent sur le bien-fondé de l’importance accordée au rapportage dans des milieux où les ressources sont si faibles.
« Est-ce que vous investissez dans la qualité des données ou bien dans la réduction des maladies ? », demande Dr Kalu, le conseiller en vaccination du Bureau national de l’OMS à Nairobi. Pour d’autres travaillant dans le domaine de la vaccination en Afrique, il n’y a pas de conflit entre une bonne gestion de l’information et la lutte contre les maladies.
« A mon arrivée, j’étais assez cynique », confie Dr Doyle. Mais après avoir mené un AQD en Ouganda et au Kenya, elle a changé d’attitude. « Comme point de départ, c’est vraiment bien. Ça vous fait l’effet d’un réveil. » Un mauvais rapportage des vaccinations peut indiquer des problèmes plus fondamentaux dans le programme, qu’il s’agisse d’un manque de connaissances sur les règlements et les procédures, d’une insuffisance de supervision, ou d’une pénurie de personnel. Les auditeurs font aussi bien état de ces informations que des chiffres dans leurs rapports.
De plus, comme le fait remarquer Dr Doyle, les informations inexactes peuvent donner lieu à un gaspillage de ressources déjà rares. « Si la vaccination est sous-rapportée, les responsables risquent de dépenser l’argent dans des domaines où ce n’est pas nécessaire. » Par exemple, un district pourrait investir sans nécessité dans un effort de sensibilisation ou de mobilisation sociale au sein d’une certaine communauté parce que la couverture y est faible d’après les rapports alors que les enfants vaccinés n’ont, tout simplement, pas été comptés.
Le comptage dans les formations sanitaires
L’AQD commence au niveau de rapportage le plus élémentaire : la fiche de pointage. Les infirmiers utilisent une fiche de pointage qu’ils cochent chaque fois qu’ils ont administré un vaccin au cours d’une séance de vaccination, que celle-ci dure toute une journée, une matinée ou qu’il s’agisse d’une sortie dans la communauté.
Dans le cadre de l’AQD, Dr Doyle et M. Mbugua doivent recompter manuellement les fiches de pointages que la formation sanitaire a utilisées au cours de l’année précédente et vérifier le nombre de vaccinations administrées (DTC3, anti-rougeoleux, anti-tétanique pour les mères) au cours de cette année. Les résultats sont ensuite comparés aux données transmises par la formation sanitaire au district, puis les données des districts sont comparées aux rapports détenus par le ministère. Ce que les auditeurs cherchent, c’est la cohérence.
Où sont les fiches de pointage de Kangema pour l’année 2000 ? Personne n’a jamais demandé à les voir auparavant.
Après que les tiroirs de classement ont été fouillés deux fois, une pile de fiches de pointage plus ou moins chiffonnées finalement émerge : toutes les fiches de pointage de l’année 2000 y sont, à l’exception du mois de janvier. Dans de nombreuses autres formations sanitaires kenyanes visitées, aucune fiche de pointage n’a été retrouvée pour l’année 2000. Dans d’autres, elles ont été « recyclées » : certaines ont servi à tapisser les pèsebébés, d’autres ont été pliées en enveloppes pour emballer les médicaments de la pharmacie, d’autres encore ont été utilisées pour écrire les demandes d’analyse de laboratoire. Cela n’est sans doute pas surprenant, étant donné que le Kenya ne dispose pas, à l’heure actuelle, de directives officielles sur le traitement des fiches de pointage après transcription dans les rapports mensuels. « A présent, je pense que nous allons élaborer des directives », dit M. Kiongo, le responsable des informations du PEV.
Si la disparition des fiches de pointage constitue un problème plus grave au Kenya par rapport aux autres pays qui ont pris part au test pilote de l’AQD cette année, ce problème n’en est pas moins généralisé. On peut alors se demander pourquoi l’AQD se base sur celles-ci, si souvent manquantes. La raison est simple : « Il est difficile de faire des faux quand il s’agit des fiches de pointage », dit Dr Doyle. En d’autres termes, si les fiches de pointage sont encore bien raides et nouvelles, et qu’elles ont été remplies avec un même stylo (fait observé dans une formation sanitaire d’un autre pays participant), les auditeurs sauront tout de suite qu’il s’agit d’un faux.
Pendant que Dr Doyle et M. Mbugua recomptent les fiches de pointage, David Kiongo observe la séance de vaccination et évalue si les vaccinateurs administrent aux nourrissons le vaccin approprié, et s’ils marquent correctement la fiche de pointage et le carnet de santé de l’enfant. Un exercice de simulation a été prévu pour évaluer les performances dans les formations sanitaires où la vaccination n’est pas quotidienne.
L’AQD étudie également d’autres signes indiquant le bon fonctionnement du système d’information. Par exemple, est-ce que le tableau ou le diagramme montrant les taux de vaccination des enfants est affiché ? Est-ce qu’il y a eu une visite de supervision au cours des deux derniers mois et est-ce que les thèmes couverts ont été notés par écrit ? Ou encore, la formation sanitaire tient-elle un journal pour le suivi des stocks des différents vaccins ?
D’autres aspects du système sont également examinés. Par exemple, le premier responsable médical du district - et non le responsable du PEV - signe-t-il les rapports ? Si tel est le cas, cela signifie que la vaccination est intégrée au système médical au sens large. Est-ce que l’on utilise les meilleures estimations démographiques dans le calcul du dénominateur ? Et ainsi de suite.
La séance de feedback
La situation de Kangema est meilleure que celle d’autres formations sanitaires, bien que ses performances réelles ne se traduisent que par 57 pour cent de la vaccination DTC3 rapportée au niveau du district. Néanmoins, les auditeurs ont pu constater que des tableaux présentant les taux de couverture et d’abandon étaient affichés bien en vue, qu’il existait bien un journal de stocks, malgré un mois de retard dans la mise à jour, et que le système d’archivage était satisfaisant. « Vous faites du bon travail ici », déclare Dr Doyle.
Mais il reste des points à améliorer. « Vous devez savoir quelle est votre zone de couverture », dit Dr Doyle. « Sinon, comment pouvez-vous être sûrs que vous atteignez les objectifs ? » Il est tout aussi essentiel de bien suivre les stocks. « Le nouveau vaccin qui va arriver coûte très cher », explique Dr Doyle. « Il est très important de réduire le gaspillage et de bien gérer les stocks. » Elle ajoute une suggestion pratique : « Quand vous faites une entrée de stock, écrivez-la en rouge. Quand vous faites une sortie de stock, écrivez-la en bleu. »
David Kiongo annonce que les séances de vaccinations qu’il a observées étaient toutes correctes. Mais il y a quand même un problème : « Vous vaccinez dans la pièce où vous recevez les bébés malades. » Les clients en obstétrique, en consultation prénatale et en planification familiale viennent également dans cette pièce. « Il me semble qu’il y a une pièce de libre ici, toutes les pièces ne sont occupées », fait observer M. Kiongo. Peut-être serait-il possible de convertir une pièce au bout du couloir en salle de consultation externe pour les mères et les enfants.
M. Kiongo poursuit : « J’ai également remarqué une chose - même si ça ne rentre pas tout à fait dans le cadre de l’audit. J’ai vu votre responsable de la santé reboucher les aiguilles. » En rebouchant les aiguilles avant de les jeter, l’agent de santé risque de se piquer les doigts, et si le sang est infecté, de devenir lui-même infecté. M. Kiongo rappelle à l’équipe les bonnes règles de sécurité.
« Nous sommes capables de réaliser la plupart de ces choses. Et nous souhaitons le faire », déclare l’infirmier Kagwi, qui n’a cessé de prendre des notes durant la séance de feedback. « Merci d’être venu. Si vous revenez dans la province, vous pourriez peut-être venir voir où nous en sommes. »
Du côté de Bondo
Le personnel des formations sanitaires de Bondo est confronté à des défis plus grands que ceux de Murang’a. Bondo se situe dans la partie occidentale du Kenya, sur les rives du Lac Victoria. La région est l’une des plus pauvres du pays et les taux de vaccination sont faibles : si le taux de couverture en DTC3 atteint 85 pour cent dans le district de Murang’a, ce taux est, d’après les rapports, nettement en dessous de 50 pour cent à Bondo.
Sur les six formations sanitaires sélectionnées dans le district de Bondo, cinq n’ont pas de fiches de pointage à présenter aux auditeurs. La sixième formation sanitaire est l’hôpital de district et le personnel met trois heures pour mettre la main sur les fiches.
Au cours de la séance de feedback avec les responsables du district de Bondo, Max Moyo, l’auditeur de LATH, et Dr Amos Chweya, son homologue national en tant que responsable du contrôle de la vaccination, annoncent la couleur. « Nous sommes ici pour enquêter : est-ce que les données que nous recevons de vous sont identiques à celles qui proviennent des districts ? », commence Dr Chweya.
« Comme vous le verrez, la situation est un peu drôle - les chiffres que vous nous avez donnés diffèrent de ceux que nous avons trouvés dans les formations sanitaires, ainsi que de ceux que nous avons obtenus en comptant. »
De plus, aucune formation sanitaire ne tient un journal de stocks pour les vaccins. « C’est une faiblesse à l’échelle du pays - pas un problème propre à Bondo », déclare Dr Chweya. « Pour l’instant, nous ne connaissons pas le taux de gaspillage. » Ce problème est d’autant plus considérable que les nouveaux vaccins fournis par GAVI et le Fonds mondial pour les vaccins coûtent chers. « Le temps où les gens nous apportaient des vaccins quand nous en faisions la demande est révolu », prévient Dr Chweya.
M. Moyo fait remarquer qu’aucune des formations sanitaires ne possède d’objectifs de couverture vaccinale. « Si vous allez à Nairobi, vous devez tout d’abord savoir où Nairobi se trouve. Sinon, comment pouvez-vous savoir que vous y êtes arrivés ? »
Même accéder aux données se révèle difficile. Le responsable de l’information du district s’est absenté à cause d’une panne de voiture et personne d’autre ne sait où trouver les archives demandées. « Dans un bureau d’information, les informations doivent être disponibles même quand vous êtes absents », fait remarquer M. Moyo, un spécialiste des systèmes d’information. « De façon à ce que si le Parlement téléphone et vous demande votre taux de vaccination, n’importe lequel d’entre vous puisse accéder aux archives et trouver ces données. Autrement dit, « n’emportez pas les clés quand vous sortez ! », ajoute-t-il. « Désolé de dire les choses comme ça, mais c’est ce que je pense. »
« Nous ne sommes pas venus pour condamner », dit Dr Chweya, le responsable national du contrôle des vaccins.
Dr Francis Odira, le responsable médical du district, écoute calmement le feedback. « Je suis d’accord avec la plupart de vos conclusions. Elles ne sont pas exagérées », finit-il par dire. « La qualité de notre système d’information sanitaire a baissé. Nous en étions conscients, mais en étions encore à chercher les moyens d’améliorer les choses. »
Cependant, à son avis, les problèmes ne sauraient être résolus sans traiter auparavant du problème d’insuffisance de personnel. « La plupart des formations sanitaires n’ont qu’un seul infirmier - c’est la même personne qui voit les patients, enregistre les données, les synthétise et les dépose au district. Cette même personne doit encore collecter le paiement auprès des patients », insiste-t-il. La plupart des districts sanitaires du Kenya demandent aux patients de s’acquitter d’une participation financière pour les services de santé, y compris la vaccination. « Notre travail relève souvent de l’improvisation », ajoute Herbert Onyando, le responsable des archives et de l’information du district.
« Nous sommes bien conscients des contraintes », dit Dr Chweya. « Nous ne sommes pas venus pour condamner. Nous vous faisons simplement part des informations que nous avons récoltées auprès des gens, de ce qu’ils nous ont dit. » Il promet de rapporter le problème du manque de personnel au niveau national.
« Nous avons encore le temps d’améliorer nos données »
La dernière étape du travail des auditeurs consiste à présenter les résultats de leur audit au cours d’une réunion du Comité de coordination interagences. Dr Doyle et Dr Chweya se partagent la présentation. Dr Doyle présente les principaux résultats : un mauvais stockage de données, source d’inexactitudes dans les rapports à tous les niveaux ; la faiblesse des systèmes de suivi et d’analyse des performances dans le domaine de la vaccination ; le manque d’intégration dans le système d’informations sanitaires.
Tous ces problèmes ont contribué aux inexactitudes relevées dans le système de rapportage du Kenya : si la meilleure estimation de la couverture vaccinale fournie par le Kenya en 2000 était de 63 pour cent, l’AQD a permis de montrer que le taux de couverture rapporté par les administrations était de 51 pour cent.
Et Dr Chweya de dire à l’équipe du district de Bondo : « Quand GAVI reviendra pour le prochain audit, elle étudiera les données pour 2001. Nous avons encore le temps d’améliorer nos données. »
Lisa Jacobs
Pleins feux sur la vaccination - Octobre 2001 - Contenu
 |