Metodología
A continuación, y a fin de facilitar la comprensión del Estudio, incluimos un resumen, a modo de manual sobre la fase previa a la realización del Estudio Delphi, el desarrollo metodológico y los resultados obtenidos, en la elaboración del Indicador Sintético de Calidad.
La elaboración del ISC se sustenta en metodología cualitativa, para ello se ha llevado a cabo un estudio Delphi. El cuestionario inicial se elaboró de acuerdo con la siguiente metodología:
Análisis de fuentes de datos
Las fuentes de datos empleadas han sido entre otras las siguientes
Información aportada por la Fundación IDIS
Fases del estudio
El trabajo se ha estructurado en tres etapas, precedidas de una fase previa organizativa o de lanzamiento, y de una fase transversal de información y comunicación directa con panelistas.
Analisis y formulación
Durante esta etapa se llevaron a cabo las siguientes actuaciones:
Análisis de sistemas de calidad asistencial
De cada sistema de reconocimiento, certificación o acreditación de la calidad empleados en el sector sanitario, se extrajeron las principales características agrupadas en los apartados referidos en el cuadro que puede verse a continuación.
Modelo de ficha elaborada de cada sistema de acreditación.
SISTEMA DE CALIDAD | |
A1 | Tipo de Sistema de Calidad |
A2 | Características y requisitos de la agencia |
A3 | Métodos de evaluación empleados |
A4 | Componentes que monitoriza el sistema |
B1 | Política y estrategia para la implantación |
B2 | Alcance y % de los servicios |
B3 | Madurez del sistema |
Grupo de expertos
Los panelistas fueron identificados entre aquellos que cumplían los siguientes criterios:
C. AUTÓNOMA | ENTIDAD | NOMBRE | APELLIDOS |
Andalucía | Agencia de Calidad de Andalucía | Antonio | Torres Olivera |
Andalucía | Agencia de Calidad de Andalucía | Victor | Reyes Alcazar |
Aragón | Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) | José María | Abad Diez |
Madrid | Aliad | Julio | González Bedia |
Madrid | ASISA | Carlos | Zarco Alonso |
Canarias | Asociación Canaria de Calidad Asistencial
Asistencial (ACCA) |
Ángel | Hernández Borges |
Asturias | Asociación de Calidad Asistencial del Principado de Asturias(PASQAL) | Fernando | Vázquez Valdés |
Madrid | Asociación Española para la Calidad (AEC) | Enrique | González María |
Madrid | Asociación Madrileña de Calidad Asistencial (AMCA) | Susana | Lorenzo Martínez |
P. Vasco | Asociación Vasca para la Calidad Asistencial (AVCA-AKEB) | Alberto | Colina Alonso |
Cataluña | Fundación Avedis Donabedian (FAD) | Genís | Carrasco Gomez |
P.Vasco | Clínica Igualatorio Médico Quirúrgico (IMQ) Zorrotzaurre | Nicolás | Guerra Zaldúa |
Castilla-León | Complejo Asistencial de Salamanca | Paz | Rodríguez Perez |
Madrid | Subdirección General de Calidad. Consejería de Sanidad. | Alberto | Pardo Hernández |
Madrid | DNV GL | Carlos | Navarro Bilbao |
Valencia | ERESA Grupo Médico | Antonio | Mollá Bau |
Madrid | Fundación Ad Qualitem (FAQ) | Joaquín | Estévez Lucas |
Valencia | Fundación Avedis Donabedian (FAD) | Rosa | Suñol Salas |
La Rioja | Fundación Hospital Calahorra | Pelayo | Benito García |
Madrid | Grupo Hospitalario Quirón | Paloma | Leis García |
Madrid | Grupo Vithas | Ángel | Caicoya de Urzaiz |
Madrid | HM Hospitales | Celia | Moar Martinez |
Extremadura | Hospital San Pedro de Alcántara | Isabel | Tovar García |
Cantabria | Hospital Universitario Marqués de Valdecilla | Concepción | Fariñas Alvarez |
Madrid | Hospital de Guadarrama. | Rosa | Salazar de la Guerra |
Baleares | Servei de Salut de les Illes Balears | Carlos | Campillo Artrero |
Asturias | Hospital Monte Naranco | Alberto | Fernández León |
Madrid | Hospital Puerta de Hierro | Dolors | Montserrat Capella |
Madrid | IDC Salud | Celia | García Menéndez |
P.Vasco | InnovaSalud | Óscar | Moracho del Rio |
Cataluña | Instituto Catalán de Oncología | Jordi | Trelis i Navarro |
Madrid | Instituto Nacional de Gestión Sanitaria | Mª Antonia | Blanco Galán |
Madrid | NISA Hospitales | Mª Carmen | Abarca Torralba |
P.Vasco | Osakidetza | Susana | Candela Casado |
P.Vasco | Hospital Galdakoa-Usansolo | Santiago | Rabanal Retolaza |
Madrid | Sanitas | Luis | Delgado Cabezas |
Castilla-La Mancha | Servicio de Salud de Castilla-La Mancha | Jesús | Fernández Sanz |
Murcia | Servicio Murciano de Salud | José Manuel | Alcaraz Muñoz |
Andalucía | Sociedad Andaluza de Calidad Asistencial | Reyes | Álvarez – Ossorio García de Soria |
Cataluña | Sociedad Catalana de Calidad Asistencial | Ángel | Vidal Milla |
Castilla-La Mancha | Sociedad de Calidad Asistencial Castilla – La Mancha | Cesar | Llorente Parrado |
Andalucía | Sociedad Española de Calidad Asistencial | José Manuel | Martín Vázquez |
Andalucía | Sociedad Española de Calidad Asistencial | Emilio | Ignacio García |
Aragón | Sociedad Española de Calidad Asistencial | Pilar | Astier Peña |
Cataluña | Sociedad Española de Calidad Asistencial | Manel | Santiña Vila |
Galicia | Sociedad Gallega de Calidad Asistencial | Mercedes | Carreras Viñas |
Murcia | Sociedad Murciana de Calidad Asistencial | Rafael | Gomis Cebrián |
Valencia | Sociedad Valenciana de Calidad Asistencial (SOVCA) | Tomás | Quirós Morato |
Valencia | Universidad Miguel Hernández. | José Joaquín | Mira Solves |
Síntesis de mejores prácticas en calidad
Se elaboró una ficha como la del modelo anterior para cada uno de los sistemas de calidad que fueron considerados. Este análisis de cada Sistema de Calidad (SC en adelante) fue empleado en la confección del cuestionario inicial.
En un principio se iba a solicitar a los panelistas que otorgaran una puntuación directa a cada uno de los sistemas. Con posterioridad se produjo un cambio en el enfoque para evitar sesgos. En lugar de preguntar explícitamente por los diferentes SC, se consideró más pertinente utilizar las dimensiones o características que los definen.
Elaboración del cuestionario
La confección del cuestionario se fundamentó tanto en la revisión bibliográfica efectuada, como en la información extraída de cada modelo. Con carácter previo a su remisión, el instrumento fue testado por el equipo director del proyecto y por los expertos del grupo de refrendo. Con sus aportaciones se elaboró el cuestionario definitivo en formato Excel.
El cuestionario de la primera ronda fue de tipo semicerrado, para que los expertos pudieran realizar aportaciones.
El cuestionario constaba de dos apartados:
Método Delphi
Para llevar a cabo el estudio, se optó por un método Delphi. Este método integra aspectos de investigación cualitativa y cuantitativa. Permite ser aplicado sin necesidad de alcanzar representación significativa estadística, utilizando únicamente ésta para ponderar las opiniones.
El logro de los objetivos en la aplicación del método Delphi a un tema concreto, depende de dos cuestiones fundamentales que fueron cuidadas de forma preeminente en este estudio (Astigarraga E,2006):
Para la aplicación del método se siguieron las pautas que en la literatura se marcan como adecuadas para su correcto empleo (Helmer O, 1983; Landeta J, 2006; Gordon T, 2007):
Reclutamiento de participantes
La invitación a participar en el estudio se efectuó en dos fases:
Envío de cuestionarios
El tiempo para la realización del estudio se estimó, inicialmente, en tres meses. El tiempo transcurrido, entre la remisión del primer cuestionario y la recepción del segundo, fue de cincuenta y seis días, tal y como se muestra en la Tabla 2:
Fecha de Remisión | Fecha Límite | Último Panelista | |
1ª Ronda | 30 de Abril | 16 de Mayo | 25 de Mayo |
2ª Ronda | 11 de Junio | 17 de Junio | 26 de Junio |
Panelistas rezagados: 10 – 15 días se considera aceptable |
La bibliografía consultada califica el resultado como óptimo a aquellos estudios Delphi que emplean un tiempo inferior a dos meses. En la primera ronda se suelen conceder tres semanas para responder. En este estudio se acortó este periodo a dieciséis días, aunque en esas fechas acontecieron varios días festivos (primeros días de mayo).
Se ha contrastado la concepción inicial del estudio con los resultados alcanzados con la aplicación práctica del método, que se pueden sintetizar del modo siguiente:
La bibliografía establece en los estudios que emplean el método Delphi, una relación directa entre la tasa de los abandonos y los siguientes aspectos:
A mayor duración de tiempo, para cada uno de los dos aspectos mencionados, mayor número de expertos se retiran del estudio.
De los 51 panelistas identificados, 2 desistieron de participar (uno de ellos una vez que hubo recibido el cuestionario); de los 49 restantes, sólo 4 no devolvieron el cuestionario cumplimentado, con lo que el número de participantes asciende a 45 (91,84% de los panelistas participantes) en la primera ronda del Delphi.
En la Tabla 3 se recoge el número de panelistas que finalmente participaron y los que abandonaron el estudio en cada ronda.
Número de panelistas | ||
Panelistas que desisten | ||
Resumen de participantes en la primera y segunda ronda del Delphi |
Se incluye a continuación la Figura que sintetiza la comparación del planteamiento inicial del estudio con su desarrollo real, en términos de rondas, tasas de abandono y de respuesta planteadas y obtenidas, en cada una de las rondas.
Figura 4. Comparación del planteamiento inicial del estudio con su desarrollo real.
La tasa de respuestas obtenida fue superior al 90%. Esta tasa arroja una alta validez al estudio (Gordon T, 1993).
El número de atributos incluidos en cada una de las rondas, tanto para las áreas del apartado 1 como para el apartado 2, se recogen en la Tabla 5.
Parte | Área | Dimensión | Nº de Atributos Ronda 1 (S69) | Nº de Atributos Ronda 2 (S32) |
A
Marco Conceptual |
A1: Tipo de Sistema de Calidad (SC) | |||
A2: Características y Requisitos de la Agencia del SC | ||||
A3:Métodos de Evaluación que utiliza el SC | ||||
A4: Componentes que monitoriza el SC | ||||
B Marco Operativo |
B1:Política y estrategia para la implantación del SC | |||
B2:Alcance y % de servicios con SC | ||||
B3: Madurez del SC | ||||
Puntuación de los sistemas pre-seleccionados | 48 opciones, con cuestiones abiertas para que los panelistas pudiesen valorar sistemas adicionales por ellos propuestos. | Se incorporan únicamente aquellos puntuados por, al menos, 5 panelistas. | ||
Se descartan aquellos cuya presencia no se correspondía con los objetivos del estudio, quedando finalmente 34 opciones a valorar. | ||||
Tabla 5: Comparación del número de ítems incluidos en la primera y segunda ronda |
La diferencia entre ambas rondas generó una reducción de ítems.
En el Primer apartado no se incluyeron en la segunda ronda aquellos que en la primera habían alcanzado amplio consenso, tanto en los valores máximos como en los mínimos. El número de ítems disminuyó de los 69 iniciales a 32.
En el Segundo apartado del cuestionario, de los cuarenta y ocho sistemas que fueron evaluados en la primera ronda, solo se incorporaron a la segunda aquellos puntuados, al menos, por cinco panelistas. Además, se eliminaron aquellos que no representaban un sistema, sino una entidad acreditadora. Solo dos panelistas propusieron incorporar nuevos SC al apartado pero al no alcanzar un mínimo de 5 adhesiones, no fueron considerados.
Los resultados de este apartado fueron poco concluyentes, al reducirse la tasa de respuestas obtenidas con respecto a las valoraciones de las dimensiones y asignar más puntos a aquellos sistemas con los que estaban más familiarizados, tal y como se recoge en los resultados obtenidos en la primera ronda.
Tabulación y análisis de resultados
Explicación de los resultados alcanzados en la primera y segunda ronda
A partir de las valoraciones obtenidas de la importancia asignada por cada panelista a cada atributo, se realizó un análisis estadístico descriptivo. Se calcularon parámetros de posición (media, mediana y moda) y dispersión (rango intercuartílico, desviación típica y percentiles) para determinar la simetría y concentración de la distribución de la importancia concedida por los expertos alrededor de un valor medio, resultado de la puntuación otorgada a cada atributo.
En cada dimensión se segmentaron los atributos sobre la base del valor de la media y la mediana y la dispersión de las valoraciones. La mediana se consideró el valor determinante, aunque se tuvieron en cuenta todos ellos.
Como resultado de todo el proceso, se obtuvieron dos grupos de atributos en cada dimensión: aquellos en los que había consenso (bien por considerarse los más importantes o bien por considerarse los menos importantes) y aquellos en los que era preciso confirmar la importancia asignada en una segunda vuelta del estudio Delphi.
En la primera ronda, para determinar aquellos ítems el consenso, y si éste se alcanzó por ser de máxima o mínima relevancia, se empleó un código cromático de identificación que ha facilitado su interpretación.
En la Tabla 6 se recoge el código cromático empleado para agrupar los diferentes atributos según la valoración obtenida en la primera ronda:
COLOR | ATRIBUTOS |
Atributos con alto consenso en relación a su importancia alta | |
Atributos con alto consenso en relación a su importancia baja | |
Atributos a valorar en la segunda ronda con valores de media más alta | |
Atributos a valorar en la segunda ronda con valores de media más bajos | |
Tabla 6: Asignación de colores a los atributos según valoración obtenida |
Por tanto, en la segunda ronda:
Para favorecer la comprensión del método, en las tablas siguientes se recogen a modo de ejemplo, los resultados obtenidos para la primera dimensión (A1) del área A, del apartado 1, con el mismo formato que se emplea aquí para la dimensión A1 (Tipo de SC).
La Tabla 7 detalla los resultados estadísticos obtenidos en la primera ronda para la dimensión A1: Tipo de SC
Dimensión A. Área A1. Tipo de SC. Resultados Estadísticos de la 1ª ronda | ||||||||
IP1 | IP2 | IP3 | IP4 | IP5 | IP6 | IP7 | ||
N | Válidos | 44,00 | 44,00 | 44,00 | 44,00 | 44,00 | 42,00 | 42,00 |
Perdidos | 1,00 | 1,00 | 1,00 | 1,00 | 1,00 | 3,00 | 3,00 | |
Media | 6,59 | 3,71 | 8,43 | 4,30 | 7,71 | 7,19 | 6,86 | |
Mediana | 8,00 | 4,00 | 9,00 | 4,00 | 8,00 | 8,00 | 7,00 | |
Moda | 8,00 | 1,00 | 9,00 | 3,0a | 10,00 | 10,00 | 8,00 | |
Mínimo | 0,00 | 0,00 | 5,00 | 0,00 | 2,00 | 2,00 | 2,00 | |
Máximo | 10,00 | 7,00 | 10,00 | 9,00 | 10,00 | 10,00 | 10,00 | |
Percentiles | 10 | 1,50 | 1,00 | 6,00 | 1,50 | 4,50 | 4,00 | 4,00 |
25 | 5,00 | 1,25 | 8,00 | 3,00 | 6,25 | 5,00 | 5,00 | |
50 | 8,00 | 4,00 | 9,00 | 4,00 | 8,00 | 8,00 | 7,00 | |
75 | 9,00 | 6,00 | 9,00 | 6,00 | 9,00 | 9,25 | 8,00 | |
90 | 9,50 | 7,00 | 10,00 | 7,00 | 10,00 | 10,00 | 9,70 | |
Tabla 7: Resultados estadísticos obtenidos en la primera ronda para la dimensión A1 |
Leyenda: IPx: Importancia de la Pregunta o valoración del atributo de la dimensión al que hace referencia la pregunta.
En la Tabla 8 se sintetizan los atributos que obtuvieron consenso alto en cuanto a su importancia tras el procesamiento estadístico de la primera ronda, y que no fueron valorados de nuevo, así como los que pasaron a la segunda ronda. Se incluye una pequeña explicación de la puntuación que motivó su retirada o inclusión en el cuestionario de la segunda vuelta.
Desarrollo de indicador sintético
Hasta ahora, la mayor parte de los Sistemas de Calidad (SC) empleados en el sector sanitario, evaluaban de forma independiente distintos componentes de la calidad de una organización sanitaria. El diseño de un indicador sintético multidimensional e integral resulta relevante para homogenizar y evaluar en términos de calidad a las instituciones de salud, cualquiera que haya sido el SC implantado en su organización.
Según la Comisión Europea, los indicadores sintéticos “se basan en distintos submodelos que no tienen una unidad común de medida, y que no tienen una forma obvia de ponderarlos”. Para la OCDE “son variables que ofrecen información resumida sobre determinados fenómenos o espacios, gracias a la concesión de un valor suplementario que amplia la significación del parámetro individualmente considerado”.
Los tres atributos básicos que la OCDE otorga a los indicadores sintéticos son la simplificación, la cuantificación y la difusión (OCDE, 1997). El Indicador Sintético de Calidad (ISC):
El ISC no constituye un fin en si mismo sino una herramienta que facilitará la construcción de bases de datos en las que sustentar comparaciones homogéneas y analizar la evolución del nivel de calidad alcanzado por las distintas organizaciones sanitarias que voluntariamente deseen autoevaluarse.
El ISC proporcionará una imagen de la posición de una determinada institución en un momento dado, pero no puede ser considerado como una foto fija de un año concreto. Se recomienda que para valorar a una organización sanitaria, se tomen periodos de comparación más amplios que un único año (5-10 como mínimo).
Desarrollo y validación de índice
Construcción del Indicador Sinténtico de Calidad
El Indicador Sintético de Calidad es una combinación lineal de las 7 dimensiones contempladas:
ISC = (α1*A1) + (α2*A2) + (α3*A3) + (α4*A4) + (β1*B1) + (β2*B2) + (β3*B3)
Se pretendía que su valor tuviera una interpretación sencilla, por lo que se ha construido de forma que varíe de 0 a 100. El problema era determinar el valor de los coeficientes αi y βi, constantes en el Indicador y no dependientes de ningún centro, y la puntuación en cada dimensión Ai y Bi, variable según cada centro.
Valor de los coeficientes αi y βi
Para su obtención se han considerado:
Valor de cada dimensión (rangos posibles)
Las hipótesis y condiciones de partida fueron:
Las puntuaciones de dos atributos en una dimensión solo serán iguales si la importancia atribuida (mediana) es la misma. Estas puntuaciones son fijas en el modelo y no dependen de los centros.
Calculo del ISC
ISC= α1 * A1 + α2 * A2 + α3 * A3 + α4 * A4 + β1 * B1 + β2 * B2 + β3 * B3;
La puntuación en cada dimensión se obtiene sumando el valor de las puntuaciones obtenidas por los atributos (j, si les denominamos con esa letra genérica) de esa dimensión:
Ai = ∑ Aj*C; Bi = ∑ Bj*C
donde C puede tomar dos valores: 1 si se cumple el ítem y 0 si no se cumple. Variable, por tanto, en cada centro y con valor dicotómico.
Ai = Peso de los atributos j en la dimensión Ai (Mediana de la importancia asignada al atributo j / Suma de las medianas de los atributos de la dimensión Ai). Bi = Peso de los atributos j en la dimensión Bi (Mediana de la importancia atribuida al atributo j / Suma de las medianas de los atributos de la dimensión Bi). Este indicador fue remitido a todos los participantes en el estudio y presentado al grupo de refrendo, tras ser aprobado por el Comité de Dirección.
Hoja de ruta para la difusión
Validación de la construcción del Indicador Sintético de Calidad
Para evaluar la aplicabilidad del mismo, se llevó a cabo una simulación en 5 Hospitales de distintas características: 2 hospitales públicos de referencia y alta complejidad, 1 hospital público de media complejidad, 1 hospital de media estancia y en 1 hospital privado de alta complejidad. La simulación permitió clasificar los hospitales.
Distintivo gráfico del sistema de calidad asistencial
La Fundación IDIS ha confeccionado un distintivo de marca de calidad, ligado al ISC, que se asignará a los centros de acuerdo con el nivel de puntuación logrado, como reconocimiento al grado de calidad alcanzado por una determinada institución sanitaria.
Conclusiones y Recomendaciones
Con este proyecto la Fundación IDIS pone a disposición de cualquier institución sanitaria, pública o privada, que preste asistencia en atención primaria, especializada o socio-sanitaria una herramienta gratuita que le permitirá realizar una autoevaluación con el ISC y compararse de forma homogénea y anónima, con sus pares o consigo misma en otro periodo, preservando la confidencialidad. Su fortaleza radica en que agrupa los sistemas de gestión, los valora y pondera en función de su alcance y tiempo de implantación, y se transforma al ritmo que evoluciona el mundo de la Calidad y de la Excelencia, buscando sinergias entre todos.