Evaluation eines integrierten Medication Clinical Decision Support Systems im Rahmen der Meona-Einführung am Universitätsklinikum Erlangen

Abstract

Hintergrund und Ziele. Seit der Veröffentlichung von „To err is human“ ist das öffentliche Bewusstsein für Medikationsfehler (MF) stark gestiegen. Durch die Digitalisierung im Krankenhaus, u.a. durch die Einführung von Computerized Physician Or-der Entry (CPOE) und Clinical Decision Support Systemen (CDSS), können MF reduziert und die Arzneimitteltherapiesicherheit (AMTS) optimiert werden. Die Einführung kann aber auch mit Risiken wie Overalerting oder einer Nichtakzeptanz verbunden sein. Eine weitere Möglichkeit zur Optimierung der AMTS ist der Einsatz von Stationsapothekern. Ziel dieser Arbeit war es, die Implementierung eines integrierten Medication CDSS am Universitätsklinikum Erlangen (UKER) wissenschaftlich zu begleiten. Dazu wurde eine interprofessionelle Evaluation des kommerziellen Meona Medication CDSS vor Implementierung in die Routine durchgeführt (Publikation A), um die lokal anpassbare Konfiguration des CDSS bestehend aus einzelnen AMTS-Validatoren (z.B. Interaktionen) festzulegen. Daneben wurde die Konfiguration des CDSS an anderen Meona-Standorten vergleichend erfasst. Nach der Implementierung des lokal angepassten Medication CDSS wurde die Performance in der klinischen Praxis durch eine Strukturanalyse der angezeigten Warnmeldungen inkl. pharmazeutischer Validierung (Publikation B), sowie durch eine Ärzte-Befragung zur Akzeptanz von Meona bestimmt. Methoden und Design. Für die Evaluation des CDSS vor Implementierung (A) wurde eine interprofessionelle Arbeitsgruppe (Ärzte, Pflegekräfte, klinische Apotheker, IT-Experten) gegründet und ein vierstufiger Algorithmus entwickelt: (1) Generelle Evaluation, (2) technische und inhaltliche Validierung, (3) Entscheidung über die Aktivierung und ggf. (4) Auswahl des Aktivierungsmodus. Die detaillierte Validierung ab Schritt (2) wurde dabei exemplarisch für ausgewählte AMTS-Validatoren durchgeführt. Zusätzlich wurde eine elektronische Befragung aller universitärer Meona-Standorte in Deutschland durchgeführt, um deren Meona Konfiguration zu vergleichen. Für die Strukturanalyse (B) wurden prospektiv pseudonymisierte Daten von 160 Patienten (4 Fachrichtungen) verwendet. Es wurde die Anzahl und Art der in Meona angezeigten Warnmeldungen erfasst. Für alle schwerwiegenden Warnmeldungen und alle Doppelverordnungen wurde eine pharmazeutische Validierung im 4-Augen-Prinzip durchgeführt: Bestimmung (1) der inhaltlichen Angemessenheit und (2) der Patientenrelevanz. Bei patientenrelevanten Warnmeldungen sowie bei CDSS-unabhängig identifizierten MF wurde durch die Stationsapotheker interveniert und dies in ADKA-DokuPIK dokumentiert. Die interprofessionell entwickelte Befragung aller Ärzte des UKER enthielt 47 Fragen zur Evaluation von Meona als CPOE und CDSS sowie des Stationsapothekerservices und wurde mittels SoSci-Survey® durchgeführt. Ergebnisse und Beobachtungen. Durch die generelle Meona-CDSS-Evaluation (A) konnten einige Verbesserungen des CDSS (z.B. Filter für schwerwiegende Warnmeldungen) erreicht werden. Von 10 evaluierten AMTS-Validatoren wurden 3 aufgrund von Limitationen (z.B. technische Dysfunktionalität, fehlende Praxistauglichkeit der Hinweise) deaktiviert. Für die 7 aktivierten AMTS-Validatoren wurde 4-mal der „PUSH (&PULL) Modus“ und 3-mal ein neu entwickelter „only-PULL-Modus“ (passive on-demand Anzeige der Warnmeldungen nur im „Prüfen-Button“) verwendet. Die Befragung der Meona Standorte zeigte eine sehr heterogene Konfiguration des CDSS. Die Strukturanalyse (B) zeigte 1799 Warnmeldungen für 160 Patienten, wovon ein Drittel von Meona als schwerwiegend klassifiziert wurde. Die pharmazeutische Validierung ergab eine inhaltliche Angemessenheit der Warnmeldungen von 82,7% (535/647), wovon allerdings nur 19,6% (105/535) als patientenrelevant eingestuft wurden. Die Stationsapotheker dokumentierten 244 Interventionen, wobei CDSS-unabhängige Interventionen signifikant häufiger als CDSS-getriggerte Interventionen durchgeführt wurden (p"<"0,001). Der Akzeptanzgrad der Interventionen durch die Ärzte lag bei 92,2%. Die Ärzte-Befragung zeigte eine hohe Akzeptanz von Meona als CPOE. Die Evaluation des CDSS ergab, dass PUSH-Validatoren deutlich bekannter waren als only-PULL-Validatoren. Unabhängig vom Konfigurationsmodus wurden alle AMTS-Validatoren überwiegend mit den Noten „gut“ und „sehr gut“ bewertet. Die Möglichkeit Warnmeldungen on-demand im „Prüfen-Button“ aufzurufen, wurde von der Mehrheit der Befragten „weniger als 1x/Woche“ oder „nie“ genutzt. Schlussfolgerungen. Die interprofessionelle Evaluation zeigt durch die identifizierten Limitationen und erreichten Verbesserungen des CDSS, dass eine Evaluation vor der Implementierung unerlässlich ist. Trotz angepasstem CDSS wurden bei der pharmazeutischen Validierung nur circa 20% der Warnmeldungen als patientenrelevant bewertet, was auf ein Overalerting hinweist. Daher ist es unabdingbar, die angezeigten Warnmeldungen im klinischen Kontext erneut interprofessionell zu bewerten und weitere CDSS-Verbesserungen anzustreben. Die Nutzung des „Prüfen-Buttons“ sollte z.B. durch kontinuierliche Schulungen gesteigert werden. Die Ergebnisse unterstreichen die Notwendigkeit eines Einsatzes von Stationsapothekern oder anderen AMTS-Experten zur Optimierung der AMTS.

Alternate abstract:

Background and objectives. Since the publication of “To err is human”, public awareness for medication errors has markedly increased. Digitalization in hospitals, particularly through the implementation of computerized physician order entry (CPOE) and clinical decision support systems (CDSS), can reduce medication errors (ME) and thereby optimize medication safety. However, the introduction can also entail risks such as overalerting or non-acceptance. Another strategy for improving medication safety is the integration of clinical ward pharmacists in clinical routine. The aim of this study was to scientifically support the implementation of an integrated medication CDSS at Erlangen University Hospital (UKER). To this end, an interprofessional evaluation of the commercial Meona medication CDSS was conducted prior to implementation in routine (publication A) to determine the locally customizable configuration of the CDSS consisting of medication safety validators (e.g., interactions). In addition, the configuration of the CDSS at other Meona-sites was compared. After the implementation of the locally customized medication CDDS, the performance in clinical practice was determined by a structural analysis of the displayed CDSS-alerts including pharmaceutical validation (publication B) and a physician survey on the acceptance of Meona. Methods and design. For the evaluation of the CDSS prior to implementation (A) an interprofessional working group (physicians, nurses, clinical pharmacists, IT-experts) was established and a four-step evaluation algorithm was developed: (1) general evaluation, (2) technical and content-related validation, (3) decision on activation, and, if applicable (4) selection of the activation mode. The detailed validation from step (2) onward was carried out for selected medication safety validators. Moreover, an electronical survey across all German university Meona sites was conducted to compare their Meona configuration. For the structural analysis (B) pseudonymized data from 160 patients (4 medical departments) were prospectively utilized. Both the number and type of the CDSS-alerts displayed in Meona were recorded. A pharmaceutical validation was performed for all severe CDSS-alerts and all duplicate prescriptions using a four-eyes principle: Determining (1) content appropriateness and (2) the patient relevance. Patient relevant CDSS-alerts and CDSS independently identified ME were intervened by the clinical ward pharmacists and documented in ADKA DokuPIK. The interprofessionally developed survey of all physicians at UKER contained 47 questions to evaluate Meona as CPOE and CDSS as well as the clinical ward pharmacist service and was conducted using SoSci-Survey®. Results and observations. The general Meona-CDSS-evaluation (A) led to several improvements of the CDSS (e.g., filter for severe CDSS-alerts). Of 10 medication safety validators evaluated, 3 were deactivated due to limitations (e.g. technical dysfunctionality, lack of practical suitability of recommendations). For the 7 activated medication safety validators the „PUSH-(&PULL)-modus” was used four times and a newly developed “only-PULL-modus” (passive, on-demand display of CDSS-alerts only in the “check-button”) three times. The survey across the Meona sites revealed a highly heterogeneous configuration of the Medication CDSS. The structural analysis (B) recorded a total of 1799 CDSS-alerts for 160 patients, one third of which were classified as severe by Meona. The pharmaceutical validation revealed a content appropriateness of 82.7% (535/647) of the CDSS-alerts, of which only 19.6% (105/535) were rated as patient relevant by the clinical pharmacists. The clinical ward pharmacists documented 244 interventions, provided that CDSS-independent interventions were performed significantly more frequently than CDSS-triggered interventions (p"<"0.001). Acceptance rate of the interventions by the physicians was 92.2%. The physician survey showed a high acceptance of Meona as CPOE. The evaluation of the CDSS revealed, that PUSH-Validators were better known than Validators in the “only-PULL-modus”. Regardless of the configuration modus, all medication safety validators were predominantly rated with the grades “good” and “very good”. The option of invoking CDSS-alerts on-demand in the “check-button” was reported by the majority of respondents with “less than 1x/week” or “never”. Conclusions. The interprofessional evaluation demonstrated through identified limitations and achieved improvements of the CDSS, that an evaluation prior to implementation is essential. Despite the use of a customized CDSS only about 20% of the CDSS-alerts were rated as patient relevant by pharmaceutical validation, which indicates overalerting. Therefore, it is indispensable to re-evaluate the displayed CDSS-alerts interprofessionally in clinical practice and to strive for further CDSS improvements. The use of the “check-button” should be increased e.g. through continuous refreshing-trainings. The findings also emphasize the necessity of employing clinical ward pharmacists or other medication safety experts for optimizing medication safety.