DHCM fête cette année ses 10 ans d’existence, voici une belle occasion de faire un bilan du chemin parcouru ensemble en ce qui concerne l’évaluation externe.

Quelques chiffres

DHCM Claix a procédé à l’évaluation externe de 490 établissements et services du secteur social et médico-social – ESSMS – depuis le début de son activité en 2011 (habilitation Anesm n°H2009-07-017).
Avec ses représentants qui ont participé au développement de la méthodologie SEVE sms®, ce chiffre passe à plus de 600 évaluations externes.

Deux évaluateurs

85 % des évaluations externes

Un évaluateur

3,5 % des évaluations externes

Les experts-évaluateurs

49 experts-évaluateurs ont participé aux 490 évaluations externes gérées par DHCM Claix.
Certains ont une certification AFNOR ou un certificat de compétences auprès de l’ANDESI, d’autres possèdent un diplôme « Master 2 Management de la qualité et des risques ».

Une évaluation externe est dans la grande majorité des cas réalisée par un binôme d’experts-évaluateurs, l’un d’eux tenant le rôle de Référent Mission.
DHCM peut décider de mobiliser trois experts si l’évaluation externe est complexe, par exemple si plusieurs établissements doivent être évalués la même semaine.
Il arrive parfois qu’un expert-évaluateur intervienne seul, dans le cas d’un service de soins infirmiers à domicile (SSIAD), d’un service d’aide à domicile (SAD), ou d’un Logement-Foyer de taille modeste par exemple.

Tous nos experts-évaluateurs ont été formés à notre méthodologie et ont signé une charte dont les valeurs sont les suivantes :

Z

Professionnalisme

Z

Confidentialité

Z

Ethique

Z

Transparence

Z

Intégrité

Z

Responsabilité

Z

Compétence

Z

Indépendance

Le coût d’une évaluation externe

Le coût moyen d’une évaluation externe, tous types d’établissements et services confondus, est de 5 009 € HT. Ce tarif inclut tous les frais annexes tels que l’hébergement, le transport et la restauration, sauf pour les missions en Outre-Mer.
DHCM élabore de manière précise les devis à partir de plusieurs éléments : numéro FINESS (un par autorisation en principe), copie des arrêtés d’autorisation, nombre de sites et localisation, unités spécifiques de prise en charge, organigramme détaillé, autres établissements liés… Notre façon de procéder s’adapte au fonctionnement des établissements et services, par opposition à certains cabinets qui proposent des forfaits selon la taille de l’établissement ou du service.
Ainsi, nos devis s’adaptent aux attentes de nos clients. En effet, nous sommes en mesure de leur proposer une réunion de restitution des résultats de l’évaluation externe ou encore une synthèse des différentes évaluations externes, également appelée synthèse stratégique.

Le nombre d’évaluations externes par année

L’évolution du nombre d’évaluations externes réalisées chaque année par DHCM suit les délais règlementaires définis par les Autorités de Contrôle et de Tarification. En effet, de nombreux établissements et services devaient rendre leur rapport définitif d’évaluation externe avant le 31 décembre 2014. C’est pourquoi 34% des évaluations externes réalisées par DHCM l’ont été en 2014.

Par ailleurs, la répartition géographique des évaluations externes réalisées avec la méthodologie SEVE sms® est la suivante :

De nombreux établissements et services devront réaliser leur première évaluation externe dès 2017, notamment les services de protection des majeurs (MJPM), les services d’aide à la gestion du budget familial (MJAGBF) et les centres de soin, d’accompagnement et de prévention en addictologie (CSAPA), en fonction de leur autorisation d’ouverture.
D’autre part, les ESSMS ayant déjà réalisé une évaluation externe devront programmer leur seconde évaluation externe, sept ans après la première. Cela sera pour eux l’opportunité de faire le point sur le chemin parcouru et de mettre en lumière les pistes d’amélioration de la qualité à explorer.

Appropriation de l’évaluation externe par les ESSMS

DHCM envoie après l’édition du rapport définitif d’évaluation externe un questionnaire au responsable de l’ESSMS. Ceci permet de recueillir ses premières impressions « à chaud ». Un second questionnaire est envoyé 6 mois après le premier afin de voir si des actions ont été mises en place suite à l’évaluation externe.

En savoir plus sur notre méthodologie SEVE sms®

Nous avons analysé ces questionnaires et relevé les principaux éléments soulignés par les directeurs d’établissement ou de service (ESSMS).
Tout d’abord, les qualités des évaluateurs ont été mises en avant par les directeurs, et tout particulièrement la bienveillance dont ils ont fait preuve, leur discrétion ainsi que leur professionnalisme.
Dans le questionnaire 1, la plupart des directeurs a souligné la pertinence et l’intérêt de l’évaluation externe. Le questionnaire 2 confirme l’impact positif que l’évaluation externe a eu dans les établissements ou services. L’évaluation externe a permis selon les questionnaires de « démarrer une vraie politique de management par la qualité » ou encore « d’enrichir la démarche qualité ».
Une partie des ESSMS a indiqué que la durée de l’évaluation externe était trop courte. Une mission sur site plus longue augmenterait inévitablement le coût global de l’évaluation externe, ce qui parait difficilement envisageable dans la plupart des cas, étant donné le cadre financier contraint des établissements.
Par ailleurs, certains directeurs d’établissement n’ont pas suffisamment sollicité le cabinet et sont restés seuls face à leurs interrogations notamment lors de la phase de préparation de la mission, ce qui a pu avoir des répercussions sur la mission d’évaluation externe sur site.
Suite à l’évaluation externe, certains ESSMS ont fait appel à des prestataires extérieurs afin d’instaurer certains outils d’amélioration de la qualité. Ainsi, les directions d’ESSMS ont pour la plupart procédé à la réécriture du Projet d’Etablissement (action prévue ou réalisée) ou mis en conformité des documents obligatoires. D’autres ont mis en œuvre des actions de promotion de la bientraitance, créé des projets personnalisés pour les résidents ou des outils de traçabilité par exemple.

Satisfaction des organismes évalués

Ces éléments se basent sur l’analyse des questionnaires reçus par DHCM (questionnaires 1 et 2).

Questionnaire 1

Les organismes évalués ont noté DHCM, la notation allant de 1 (mauvais) à 5 (excellent) :

u

Les contacts avant la mission étaient-ils…
– suffisants : 4,00/5
– clairs : 4,00/5
– pertinents : 4,00/5
– proches de vos attentes : 4,00/5
– utiles, pratiques : 4,00/5

u

L’équipe se composait-elle d’évaluateurs…
– compétents : 4,20/5
– positifs : 4,20/5
– disponibles, à l’écoute : 4,20/5

u

L’organisation de la mission a-t-elle permis…
– de piloter la démarche : 4,00/5
– de limiter les perturbations fonctionnelles : 4,00/5
– d’optimiser les temps d’entretien : 3,90/5
– de formuler des observations critiques : 4,10/5
– de garantir l’objectivité du regard : 3,90/5

u

Les réunions de lancement et de clôture vous ont-elles semblé…
– utiles pour l’organisation de la mission : 4,20/5
– adaptées au groupe et à l’ESMS : 4,10/5
– adaptées à vos attentes : 4,10/5

u

Comment avez-vous apprécié…
– la composition pluridisciplinaire de l’équipe d’évaluateurs : 4,10/5
– la possibilité d’échanges : 4,30/5

u

Le rapport d’évaluation externe…
– vous semble-t-il cohérent avec la réunion de clôture : 4,20/5
– a-t-il été finalisé après de réels échanges contradictoires : 4,10/5
– vous a-t-il été transmis dans les délais prévus : 3,90/5

Soit une satisfaction globale supérieure à 4/5.
La cotation concernant les temps d’entretien s’accompagne de commentaires, regrettant que pour des raisons financières il n’ait pas été possible d’en augmenter le nombre ou la durée. Mais les contingences budgétaires sont une réalité !

Questionnaire 2

6 mois après l’édition du rapport définitif, les organismes évalués ont jugé les points suivants :

u

Le rapport a-t-il été utilisé par…
– le Conseil d’Administration : 3,60/5
– le CVS : 3,40/5
– l’Organisme Gestionnaire : 3,90/5
– l’équipe de Direction de l’ESMS : 4,00/5

u

Les recommandations émises dans le rapport final étaient-elles…
– adaptées : 3,90/5
– claires : 3,90/5
– pertinentes : 3,80/5
– suffisantes : 3,70/5
– utiles et transférables : 3,70/5

u

L’évaluation externe a-t-elle contribué…
– à la démarche qualité associative : 3,50/5
– à la démarche qualité de l’ESMS : 4,00/5
– à la guidance des équipes : 3,70/5
– à la révision du projet d’ESMS : 3,70/5

u

Le rapport final était-il…
– conforme à vos attentes : 3,80/5
– facile à lire, compréhensible : 4,00/5
– de présentation soignée : 4,10/5

Nous ne pouvons donner un résultat global, l’échantillon des retours n’étant pas suffisamment représentatif. Toutefois, nous avons été surpris par la faible utilisation par les Conseils d’Administration, ou pour la démarche qualité de l’organisme gestionnaire. Il y a encore du chemin à faire, notamment en matière de gouvernance associative, pour que les instances concernées s’approprient leur investissement…
A cet égard, nous vous proposer de consulter le guide de l’Anesm intitulé « ESSMS : Valorisez les résultats de vos évaluations ».

Depuis le début, DHCM a capitalisé sur les retours que ses clients ont bien voulu lui faire dans le but d’améliorer son offre de services.
Ajoutons que malgré le nombre de missions réalisées, aucun rapport produit par DHCM n’a fait l’objet de réserves d’une autorité de contrôle ou de tarification.
L’évaluation très positive de nos évaluations, réalisée dans le cadre de la démarche qualité interne du cabinet, nous conforte dans notre ligne de conduite, en ligne avec la Charte éthique et professionnelle évoquée plus haut.

Tous les chiffres mentionnés dans cet article ont été arrêtés au 30 juin 2016.

Julie BERNARD pour DHCM