Artículo pedagógico

Concepción integradora para la evaluación de impacto de los procesos sustantivos en la universidad médica de Santiago de Cuba

Integrative conception for the impact evaluation of the fundamental processes in the medical university of Santiago de Cuba

Dra. C. P. Nadina Travieso Ramos1* https://orcid.org/0000-0003-4982-1435

Dra. Liset Bandera Sosa2 https://orcid.org/0000-0002-0972-967X

1Hospital Clinicoquirúrgico Docente Dr. Joaquín Castillo Duany, Universidad de Ciencias Médicas. Santiago de Cuba, Cuba.

2Universidad de Ciencias Médicas. Santiago de Cuba, Cuba.

*Autor para la correspondencia. Correo electrónico: nadina.travieso@infomed.sld.cu

RESUMEN

La Universidad de Ciencias Médicas de Santiago de Cuba se ha apropiado de la práctica de gestión de la calidad como una cultura necesaria para elevar los estándares de sus procesos sustantivos. Todos los subsistemas que componen el Sistema de Evaluación y Acreditación de la educación superior evalúan variables relacionadas con el impacto. En este artículo se presenta una concepción integradora para dicha evaluación en la Universidad de Ciencias Médicas de Santiago de Cuba. La propuesta integra de manera coherente y con carácter sistémico categorías y conceptos de la evaluación de la calidad en la educación superior. Su implementación permite a la institución el establecimiento de acciones de mejora continua para la formación de recursos humanos de la salud, que protagonicen la transformación social y del estado de salud de la población.

Palabras clave: evaluación de impacto en la educación; procesos sustantivos universitarios; calidad de la educación superior; Universidad de Ciencias Médicas.

ABSTRACT

The University of Medical Sciences in Santiago de Cuba has appropriated of the quality administration practice as a necessary culture to elevate the standards of its fundamental processes. All the subsystems that compose the evaluation and accreditation system of the higher education evaluate variables related to the impact.  An integrative conception for this evaluation in the University of Medical Sciences of Santiago de Cuba is presented in this work. The proposal integrates in a coherent way and with systemic character categories and concepts of the quality evaluation in higher education. Its implementation allows the institution the establishment of continuous improvement actions for the training of health human resources that play leading role in the social transformation and the population health state.

Key words: impact evaluation in the education; university fundamental processes; quality of higher education; University of Medical Sciences.  

Recibido: 19/05/2020

Aprobado: 17/08/2020

Introducción

La Universidad de Ciencias Médicas de Santiago de Cuba (UCM-SC) tiene como objeto social la formación de recursos humanos de la salud en correspondencia con las políticas del Ministerio de Salud Pública (MINSAP) y del territorio. Su misión es formar profesionales comprometidos socialmente, con alto valor ético-humanista y elevada competencia en su desempeño, a través de un proceso docente-educativo de calidad en el pregrado y el posgrado, con un claustro de profesores de alto nivel científico-pedagógico; a fin de satisfacer las necesidades de salud de la población en la localidad, el país y en otras naciones. Para el desarrollo de los procesos sustantivos de la educación superior (formativo, investigativo y extensionista) en el contexto de la educación médica, se relacionan de forma sistémica procesos estratégicos, de apoyo y aquellos que garantizan la formación continua de la cultura ético-profesional en salud.

Ahora bien, la calidad de los graduados de la UCM-SC se sustenta en los procesos de formación inicial, académica de posgrado y en la superación profesional, lo cual responde a las exigencias del entorno laboral, a las crecientes demandas de los servicios de salud médicos, estomatológicos, de enfermería, tecnología de la salud. Todo lo anterior ha incidido de manera favorable en la mejoría de los indicadores de salud de la provincia.

La universidad se ha apropiado de la práctica de gestión de la calidad desde el enfoque
de mejora continua, como una cultura necesaria para elevar los estándares de sus
diferentes procesos, en respuesta a los propósitos del MINSAP, que declara entre sus
objetivos de trabajo: consolidar las estrategias de formación, capacitación e
investigación. De esta forma, contribuye a satisfacer la necesidad de incrementar la
calidad de los servicios de salud y elevar los indicadores del estado de salud de la
población.

Entre 2017 y 2018 fueron acreditadas las carreras de Medicina 1 y 2, Estomatología y
Enfermería con la condición de Certificada, que también se otorgó a 3 maestrías, en tanto, otras 2 fueron acreditadas como de Excelencia. Todos los programas acreditables se encuentran evaluados. En el 2019 se inició la evaluación de las especialidades con dermatología y medicina interna. También se desarrollan acciones de autoevaluación dirigidas a la acreditación de otras especialidades médicas y estomatológicas.

Dado que todos los subsistemas de evaluación y acreditación que componen el Sistema de Evaluación y Acreditación de la Educación Superior (SEAES) evalúan variables relacionadas con el impacto (en el proceso de perfeccionamiento actual se denominará impacto económico y social), ha sido necesario elaborar una concepción única para la gestión de este proceso a escala institucional.

Se plantea que una concepción "está compuesta por un conjunto de ideas científicas, categorías y sus relaciones, que en su accionar conforman un entramado, que aporta nuevas cualidades al proceso de que se trata y que superan teóricamente a la concepción actuante, lo que permite encontrar nuevas soluciones teóricas y prácticas al problema identificado".(1)

Según Montoya,(2) una concepción teórica permite comprender y explicar el conjunto de los fenómenos; contribuye a conocer aristas reales de todo un sistema cognoscitivo y valorar los procesos históricamente determinados, además de ampliar y abundar en los conocimientos ya descubiertos y ofertar, a la vez, nuevos elementos de significatividad.

Asimismo, otros autores tienen en cuenta el carácter creativo e integrador de una concepción, tal es el caso de Fernández,(3) quien destaca que elaborar una concepción requiere de un pensamiento creativo, el cual permita organizar y enriquecer los conocimientos, así como las experiencias al respecto. Estas concepciones están ligadas a los conceptos esenciales o categorías, pero además de contenerlos en ellas, se explicitan los principios que las sustentan y el punto de vista o de partida (enfoque) que se tome. También se realiza una caracterización de aquellos aspectos trascendentes, que sufren cambios respecto a las ideas anteriores. 

Sobre la base de estos referentes, se pretende elaborar una concepción integradora para la evaluación de impacto de los procesos sustantivos en la Universidad de Ciencias Médicas de Santiago de Cuba, que tribute a la mejora continua de la gestión de la calidad en el contexto institucional.

Estructura de la concepción

La concepción se estructura en objetivo, fundamentación, argumentación de los componentes estructurales y recomendaciones para la implementación.

• Objetivo: Diseñar alternativas teórico-prácticas, que permitan la evaluación del impacto de la Universidad de Ciencias Médicas como institución de la educación superior en Santiago de Cuba.

• Fundamentación

El término impacto, según el diccionario la lengua española, proviene de la
voz  impactus (del latín tardío), y significa en su segunda acepción, huella o señal que deja un impacto.(4) Luego, el término se amplió con otras acepciones y usos; fue objeto de múltiples definiciones en contextos específicos hasta llegar a aquellas referidas a problemas sociales y científicos.

Dichas definiciones tienen varios elementos en común, tales como: relación causa-efecto entre la aplicación de un determinado proyecto o programa y el impacto causado, resultados de dicho proyecto presentes a mediano y largo plazos, cambios verificados en los grupos o comunidades y forma en que se producen dichos cambios; es decir, se consideran los efectos previstos o no, negativos o positivos, así como el factor tiempo en la duración de los efectos de una acción (sistematización realizada por Liberta).(5) En la bibliografía consultada(5,6,7) aparecen referentes que asumen, además, definiciones diversas sobre tipos de impactos, entre ellos se pueden citar: social, ambiental, científico, económico y tecnológico.

El impacto social se define desde lo general para la transformación social y también desde ámbitos particulares como es el impacto social en salud, el cual se mide mediante un elevado número de indicadores; sin embargo, el impacto científico se analiza desde la comunidad científica y en ella, entre los agentes generadores y consumidores de conocimientos científicos.(6) Los impactos económicos y ambientales también están definidos con cierta precisión y se dispone de indicadores normalizados para su medición, a diferencia de los impactos sociales.

Las evaluaciones de impacto constituyen un tipo particular de evaluación donde se intenta
responder a preguntas sobre causa y efecto. A diferencia de las evaluaciones generales, en las cuales se pueden contestar muchos tipos de preguntas, en las de impacto es importante saber cuál es el efecto causal de un programa sobre un resultado de interés, es decir, el efecto directo que tiene
en dichos resultados. Esta evaluación analiza los cambios en el resultado
directamente atribuibles al programa. El enfoque de la causalidad y la atribución es la característica distintiva de dichas evaluaciones y determina las metodologías a emplear. (7)

Cabe destacar que los autores(8) de un análisis realizado a diferentes definiciones sobre evaluación de impacto plantean que, de una forma u otra, todos los conceptos coinciden en contemplar dicha evaluación como valoración cualitativa y cuantitativa de los efectos de la aplicación de un proyecto o programa en grupos poblacionales específicos, que indaga en las consecuencias buscadas y derivadas de la apreciación integral de su pertinencia, efectividad, eficiencia, eficacia, sostenibilidad y calidad.

Las evaluaciones de impacto pueden dividirse en 2 categorías: prospectivas y
retrospectivas. Las primeras, se realizan al mismo tiempo que se
diseña el programa, para lo cual se recolectan datos en línea durante la implementación; las segundas, examinan el impacto del programa después de su ejecución. Dicho impacto se mide cuando se constatan los resultados y se colocan en correspondencia con la intención inicial; no obstante, es válido aclarar que la evaluación de impacto se asocia, no con los resultados propiamente dichos, sino con los beneficios o efectos de dichos resultados.

Respecto a las definiciones y evaluaciones de impacto desde la perspectiva de la Evaluación y Acreditación de la Calidad Universitaria, las resoluciones que rigen los procesos de cada subsistema se refieren a los impactos dentro de la variable pertinencia e impacto social (excepto para las instituciones).

En el Subsistema de Evaluación y Acreditación de Carreras Universitarias (resolución No. 9/19)(9) se refiere a la “respuesta que brinda la carrera a las demandas de la sociedad e impactan en la carrera y en el desarrollo sostenible de la región y el país con carácter innovador, en el fortalecimiento de la identidad cultural cubana, el cumplimiento de los objetivos de la formación integral de los profesionales y la atención de los ideales de justicia y equidad que caracterizan el sistema social cubano, los que una vez logrados la hacen cada vez más pertinente en su integralidad”.

Por otro lado, en el Subsistema de Evaluación y Acreditación de Maestrías (resolución No. 11/19)(10) se hace alusión a “…los impactos que deben producir, los cuales han de lograrse a través de la influencia en los procesos de transformación y desarrollo sostenible del territorio y el país, mediante el efecto producido en el crecimiento espiritual, el desempeño profesional y en las funciones sociales de los egresados. Mientras que en el Subsistema de Evaluación y Acreditación de Especialidades de Posgrado (resolución No.  10/19)(11) se refiere “…los impactos que se propone generar, los cuales se evidencian en el mejoramiento de los procesos de producción o la prestación de servicios, como resultado del desarrollo de la formación dirigida al crecimiento profesional y la transformación del desempeño en las funciones profesionales y sociales de los futuros especialistas. Ambas enfatizan en los efectos del desempeño profesional en la función social.

En tal sentido, en el Subsistema de Evaluación y Acreditación de Instituciones de Educación Superior (resolución No.  8/19)(12) se define el impacto como “el conjunto de resultados sostenibles, favorables y significativos que se producen como retroalimentación del sistema de cada Institución de la Educación Superior (IES) desde las transformaciones logradas. Se evalúa el carácter proactivo de estos resultados en lo académico, científico, en la vida institucional, en el contexto socioeconómico y en el desempeño profesional, científico y humano de los egresados y empleadores como resultado del enfoque continuo de la mejora”.

Todas las resoluciones anteriormente citadas proponen indicadores y criterios de evaluación que de una forma u otra hacen referencia a la transformación social, tanto de los actores sociales como de los beneficiarios, que resulta de la ejecución de los procesos sustantivos. Para los procesos de formación (pregrado y posgrado) se valora de manera cualitativa y cuantitativa el desempeño profesional del egresado en función de la actividad que realiza, en tanto, para el proceso de investigación, el enfoque se centra en los resultados de la ciencia e innovación tecnológica, desde la novedad del conocimiento y la transformación en la práctica de los problemas de salud. En el ámbito extensionista se valoran los resultados de la participación de la comunidad universitaria en la transformación política, socioeconómica y cultural.

• Argumentación de los componentes estructurales

En el ámbito de la UCM-SC los procesos sustantivos tienen como hilo conductor la relación existente entre docencia-asistencia e investigación, que se ejecutan con el empleo del principio de la educación en el trabajo. También se distinguen por su desarrollo en las unidades asistenciales de atención primaria, secundaria y terciaria durante todo el proceso de formación continua de los profesionales de la salud. En cada uno de los procesos se reconocen resultados que son objeto de evaluación en aras de demostrar los efectos que se producen en el ámbito del desarrollo de la salud pública, como parte de los organismos de la administración central del estado en el territorio y el país.

La síntesis de los elementos principales objeto de evaluación en cada una de estas áreas se muestra en la figura. 

Estas áreas están relacionadas con los destinos y niveles a considerar para la evaluación del impacto. El destino de impacto se define como el “sector priorizado dentro del desarrollo económico y social del país y que se beneficia por la aplicación de resultados de acciones vinculadas al programa”.(13) Teniendo en cuenta la variedad y complejidad de temas que constituyen necesidades a priorizar, los niveles de impacto se refieren al alcance de la transformación que producen (territorial, nacional e internacional). Para la Universidad de Ciencias Médicas, esta transformación se expresa en los destinos de impacto, que contribuyen a:

-    Satisfacción de las demandas sociales de formación de profesionales de la salud

-    Desarrollo socioeconómico, cultural, ambiental y político de la sociedad

-    Aumento de la calificación del capital humano en salud

-    Mejora y sostenibilidad de los indicadores de salud

-    Nuevo conocimiento en salud

-    Innovación tecnológica y/o transferencia de tecnología en salud

La medición de los impactos se realiza a través de variables e indicadores. Al respecto, Abreu(14) afirma que una variable es una característica que se puede someter a medición y considerarse como una condición o cualidad, la cual puede variar de un caso a otro. En tal sentido, es generalizado el criterio de que la selección de variables de estudio complejas requiere especificar dimensiones de estudio y posteriormente, establecer los indicadores. Campistrous y Rizo,(15) en cuanto a la  determinación de la variable refieren que “son aquellos conceptos o cualidades generales, que se utilizan para representar cualquiera de los estados particulares del aspecto de la realidad a estudiar; esos estados son los valores de la variable y, en cada manifestación particular, en cada caso concreto, la variable asume uno de esos valores”.

Una vez establecidas las dimensiones de la variable, los elementos, indicios o evidencias que muestran cómo se manifiesta son los indicadores. Así, “Un indicador es un indicio, señal o unidad de medida que permite estudiar o cuantificar una variable o sus dimensiones”. Son algo más específico y concreto que representan algo más abstracto, basado en una probabilidad que represente el fenómeno. Se construyen desde la capacidad teórica del investigador, por lo que es importante modelarlos desde la teoría, así ofrecerán mayores posibilidades a la hora de determinar el camino metodológico para la investigación.(16)

En el ámbito de las universidades cubanas y en particular las de ciencias médicas, han existido propuestas(17,18,19,20) utilizadas como referentes para la definición y operacionalización de la variable impacto de la Universidad de Ciencias Médicas, entre ellas el efecto de los resultados generados por los procesos formativo, investigativo y extensionista que desarrolla dicha universidad en función de satisfacer las demandas sociales de formación de profesionales de la salud y el aumento de la calificación de su capital humano, lo cual contribuirá al desarrollo científico, tecnológico, socioeconómico, cultural, ambiental y político de la sociedad y a la mejora y sostenibilidad tanto de los indicadores como de los servicios de salud a escala local, nacional e internacional.

Para la variable se definen 3 dimensiones y un conjunto de indicadores que se presentan en el siguiente cuadro:

Cuadro. Dimensiones e indicadores para la evaluación del impacto de los procesos sustantivos en la Universidad de Ciencias Médicas de Santiago de Cuba

• Recomendaciones para la implementación

A partir de los indicadores propuestos, se seleccionan los métodos e instrumentos a emplear para la obtención de la información. Se recomienda usar como referentes los cuestionarios y guías de entrevistas que aparecen en el Manual de implementación de evaluación de instituciones.(21) Además, es importante el empleo de la observación que puede asociarse a procesos evaluativos centrados en el desempeño de los egresados. La revisión documental de los informes que emiten de forma sistemática las estructuras administrativas que lideran los procesos sustantivos permite la evaluación de los indicadores como parte del desarrollo de estos procesos.

Los indicadores que implican la determinación de “grado” pueden ser evaluados mediante el otorgamiento de una calificación en la siguiente escala: mal, regular, bien, muy bien y excelente. Los criterios que se tendrán en cuenta para cada calificación se definirán por los gestores de estos procesos, teniendo en cuenta lo establecido por los estándares de la Junta de Acreditación Nacional, las precisiones que realizan los ministerios de Ciencia, Tecnología e Innovación y Educación Superior, así como las orientaciones del MINSAP para las universidades médicas.

De hecho, los indicadores propuestos pueden ser medidos en los momentos que se realiza la autoevaluación de la institución según el sistema de gestión de la calidad y se integran en el marco de la planificación estratégica de la Universidad de Ciencias Médicas de Santiago de Cuba.

Consideraciones finales

La concepción integradora para la evaluación de impacto de los procesos sustantivos en la Universidad de Ciencias Médicas de Santiago de Cuba integra, de manera coherente y con carácter sistémico, categorías y conceptos de la evaluación de la calidad en la educación superior y de los procesos de evaluación de impacto, además de las características distintivas del desarrollo de los procesos sustantivos (formativo, investigativo y extensionista) en dicha universidad. Su implementación, como parte del sistema de gestión de la calidad, permite a la institución el establecimiento de acciones de mejora continua para la formación de recursos humanos de la salud que protagonicen la transformación social y del estado de salud de la población.

Referencias bibliográficas

1. Breijo Worosz T. La concepción como resultado teórico en la investigación educativa: una mirada desde un enfoque dialéctico-materialista. Mendive. 2019 [citado 16/05/2020]; 17 (1): 1-3. Disponible en: http://mendive.upr.edu.cu/index.php/MendiveUPR/article/view/1503/html

2.  Montoya Rivera J. La contextualización de la cultura en los currículos de las carreras pedagógicas [tesis doctoral]. Santiago de Cuba: Universidad de Ciencias Pedagógicas Frank País; 2005.

3. Fernández Rodríguez, KL. La dirección de la formación de la cultura laboral en los adolescentes de secundaria básica. Una concepción pedagógica [tesis doctoral]. Santiago de Cuba: Universidad de Ciencias Pedagógicas Frank País; 2006.

4. Real Academia Española. Diccionario de la lengua española. 23 ed [citado 16/05/2020]. Disponible en: https://dle.rae.es/

5. Libera Bonilla BE. Impacto, impacto social y evaluación del impacto. ACIMED. 2007 [citado 16/05/2020]; 15 (3). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352007000300008&lng=es

6. Lozano Casanova J, Saavedra Roche RM, Fernández Franch N. La evaluación del impacto de los resultados científicos. Metodologías y niveles de análisis. Rev Hum Med. 2011 [citado  16/05/2020];  11 (1): 99-117. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S1727-81202011000100007&lng=es

7. Gertler PJ, Martínez S, Premand P, Rawlings LB, Vermeersch C. La evaluación de impacto en la práctica. Washington DC: Banco Internacional de Reconstrucción y Fomento/Banco Mundial; 2011.

8. Mirabal Nápoles M, Rodríguez Sánchez J, Guerrero Ramírez M, Álvarez Muñoz M. Modelo teórico para la evaluación de impacto en programas de Salud Pública. Rev Hum Med. 2012 [citado 16/05/2020]; 12 (2): 167-83. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S1727-81202012000200002&lng=es

9. Cuba. Ministerio de Educación Superior. Documentos básicos del Subsistema de Evaluación y Acreditación de Carreras Universitarias de la República de Cuba. Resolución 9/2019. La Habana: MES; 2019.

10. Cuba. Ministerio de Educación Superior. Documentos básicos del Subsistema de Evaluación y Acreditación de Maestrías de la República de Cuba. Resolución 11/2019. La Habana: MES; 2019.

11. Cuba. Ministerio de Educación Superior. Documentos básicos del Subsistema de Evaluación y Acreditación de Especialidades de Posgrado. Resolución 10/2019. La Habana: MES; 2019.

12. Cuba. Ministerio de Educación Superior. Documentos básicos del Subsistema de Evaluación y Acreditación de Instituciones de Educación Superior de la República de Cuba. Resolución 8/2019. La Habana: MES; 2019.

13. Rodríguez Batista A. Impacto social de la ciencia y la tecnología en Cuba: una experiencia de medición a nivel macro. Revista CTS. 2005 [citado 16/05/2020]; 4 (2):147-71. Disponible en: http://www.revistacts.net/contenido/numero-4/impacto-social-de-la-ciencia-y-la-tecnologia-en-cuba-una-experiencia-de-medicion-a-nivel-macro/

14. Abreu JL. Constructos, variables, dimensiones, indicadores y congruencia. Inter J Good Conscience. 2012 [citado 16/01/2020]; 7 (3): 123-30. Disponible en: http://www.spentamexico.org/v7-n3/7%283%29123-130.pdf

15. Campistrous Pérez L, Rizo Cabrera C. Indicadores e investigación educativa. En: Metodología de la investigación educacional. Desafíos y polémicas actuales. La Habana: ECIMED; 2006. p. 138-67.

16. Carballo Barcos M, Guelmes Valdés EL. Algunas consideraciones acerca de las variables en las investigaciones que se desarrollan en educación. Universidad y Sociedad. 2016 [citado 17/07/2019]; 8 (1): 140-50. Disponible  en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2218-36202016000100021&lng=es&tlng

17. Cruzata Santos R, Álvarez Yero JC. Indicadores para la autoevaluación de la calidad del proceso de extensión universitaria. Rev Hum Med. 2019 [citado 16/05/2020];19 (3): 504-21. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S1727-81202019000300504&lng=es

18. Álvarez Yero JC, Ríos Barrios I, Martínez Escoda EC. Análisis comparativo de variables e indicadores empleados para evaluar calidad en las universidades. Rev Hum Med. 2019 [citado 16/05/20]; 19 (2): 405-24. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S1727-81202019000200405&lng=es  

19. Alonso Berenguer I, Gorina Sánchez A, Pérez Silva RM, Figueroa Rodríguez J. Evaluación de la pertinencia e impacto científico de los resultados investigativos en universidades cubanas. Universidad y Sociedad. 2019 [citado 16/05/2020]; 11 (4): 325-34. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2218-36202019000400325

20. Ramos Azcuy FJ, Meizoso Valdés MC, Guerra Bretaña RM. Instrumento para la evaluación del impacto de la formación académica. Universidad y Sociedad. 2019 [citado 16/05/2020]; 8 (2): 114-24. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2218-36202016000200014&lng=es&nrm=iso&tlng=es

21. Cuba. Ministerio de Educación Superior. Manual de implementación para los procesos de evaluación externa a las instituciones de Educación Superior. La Habana: MES; 2019.

Conflictos de intereses

No existen conflictos de intereses.

Contribución de los autores

Dra. C. P. Nadina Travieso Ramos: Conceptualización del trabajo, formulación de objetivos generales y desarrollo de la metodología que condujo a los resultados; preparación del artículo publicado, específicamente redacción y revisión del borrador inicial (80 %)

Dra. Liset Bandera Sosa: Responsable de la gestión y
coordinación de la planificación y ejecución de la propuesta; revisión del
trabajo publicado y comentario previo a la publicación (20 %)