Escala de competencia para la evaluación de candidatos a expertos

INTRODUCCIÓN

El criterio de expertos, en las últimas décadas, ha sido ampliamente utilizado en las ciencias biomédicas para validar una hipótesis, propuesta o componente de la investigación científica en el campo de las investigaciones cualitativas.¹

Se consideran tres metodologías de evaluación en los diferentes estudios cualimétricos que utilizan el criterio de expertos: la de preferencia, la de comparación por pares y el método Delphi.² En este contexto, la amplia utilización del criterio de expertos dentro de las ciencias biomédicas pudiera considerase la "regla de oro" en la validación de los resultados científicos pues se logra en un tiempo relativamente corto respecto al invertido en la experimentación, lo que ha sido ampliamente cuestionado en la literatura científica.^3-6

La calidad y efectividad de los aportes de una investigación científica requiere de una validación previa. Este paso metodológico exige en la mayoría de los casos de la consulta a expertos. Entre las etapas del método de evaluación de expertos, se encuentra la selección de los expertos según su competencia.⁷

Las competencias son capaces de suministrar una conceptualización, un modo de hacer y un lenguaje común para el desarrollo de los recursos humanos. Además, constituyen una visión y organización sistemática que se expresan como un sistema de certificación legalmente establecido en varias regiones del mundo, incluida Latinoamérica.⁸

Al analizar las definiciones de competencias profesionales en la literatura científica consultada, se encuentra como elemento común el hecho de relacionar las competencias con el ejercicio de una profesión particular. Esto se matiza en el desempeño sucesivo que se logra al aplicar los conocimientos, las habilidades y las actitudes para evaluar tecnologías sanitarias.^8-10

Los autores del presente artículo definen la competencia profesional de candidatos a expertos como la integración de conocimientos, habilidades y logros demostrables en un campo específico, evaluada a través de cinco dimensiones interrelacionadas como formación académica y experiencia profesional, métricas de productividad científica, colaboración internacional, competencias clave e innovación y aportes técnicos. Por tanto, la evaluación de competencias requiere obtener información de todos los aspectos que las conforman, pues deberá contener la evaluación de los aspectos cognitivos (saber), técnicos (saber hacer) y metacognitivos (saber por qué lo hace).^9-11

Varios han sido los instrumentos que evalúan la competencia de los candidatos a expertos citados por Lao y Pérez¹² como índices, metodologías y modelos. No obstante, no son ajustables a las diferentes investigaciones, al no considerar las métricas actuales como el índice h, el factor de impacto de revistas o la colaboración internacional en los diferentes métodos descritos. Además, priorizan la cantidad sobre la calidad de las contribuciones, lo que puede llevar a evaluaciones sesgadas y no tienen en cuenta competencias como liderazgo, trabajo en equipo o comunicación científica.

Resulta valido destacar que entre los instrumentos antes mencionados el cálculo del coeficiente de competencia (K) propuesto por el Comité Estatal de Ciencia y Técnica de la extinta Unión de Repúblicas Socialistas Soviéticas¹ ocupa un lugar preponderante en ciencias biomédicas. Sin embargo, data de la década de los años setentas del pasado siglo, lo que precisa de actualización y contextualización. Asimismo, pretende cuantificar la competencia de un individuo en función de la formación académica, la experiencia laboral, las publicaciones científicas y las contribuciones técnicas o innovaciones al conceder escasa confiabilidad debido a que el mayor peso descansa en la propia autoevaluación del candidato a experto.

Los antecedentes antes descritos apuntan a la necesidad de actualizar los métodos empleados para que permita ganar una mayor confiabilidad en la selección de los expertos. Por tales razones, se decide realizar la presente investigación con el fin de elaborar una escala de competencia para la evaluación de los candidatos a expertos.

MÉTODO

Se desarrolló un estudio de innovación tecnológica multicéntrico en colaboración con la Universidad de Ciencias Médicas de Las Tunas y la Universidad de Ciencias Médicas de Santiago de Cuba entre febrero y mayo de 2025.

Para la elaboración de la escala se siguieron 4 de los 11 pasos descritos por Sampieri citado por Silva Martínez y otros:¹¹

Selección y definición de la variable compleja acorde al objeto de investigación.

Variable: competencia profesional de candidatos a expertos. Variable que fue definida en la introducción de la presente investigación.

Revisión de la literatura para seleccionar los instrumentos útiles para medir la variable.

Para este paso se analizaron 90 tesis doctorales y de maestría a través del método probabilístico aleatorio simple, donde se estudiaron los instrumentos diseñados presentados a fin de identificar las brechas a solventar en cada investigación.

Identificación del dominio de las variables a medir y sus indicadores.

La variable seleccionada se operacionalizó en cinco dimensiones y quince indicadores:

Dimensión 1. Formación académica y experiencia profesional:

• Nivel académico: Grado académico más alto (PhD o Dr. C, MSc, etc.).
• Experiencia en docencia: Categoría docente.
• Experiencia en investigación: Años en investigación.

Dimensión 2. Métricas de productividad científica:

• Índice h: Valor según Scopus/Web of Science/Google Scholar.
• Factor de impacto promedio: Promedio de las revistas donde publicó (últimos 5 años).
• Publicaciones en Q1/Q2: Número de publicaciones en revistas de alto impacto.

Dimensión 3. Colaboración internacional:

• Redes globales: Proyectos con instituciones extranjeras.
• Movilidad académica: Estancias de investigación, conferencias o colaboraciones en el extranjero.
• Coautorías internacionales: Porcentaje de artículos con coautores de otros países.

Dimensión 4. Competencias clave:

• Liderazgo en investigación: Dirección de proyectos, grupos de investigación o mentoría.
• Trabajo en equipo: Participación en equipos multidisciplinarios y roles colaborativos.
• Comunicación científica: Divulgación (ponencias, blogs, podcasts) o publicación en medios no académicos.

Dimensión 5. Innovación y aportes técnicos:

• Patentes o registros: Número de patentes, software registrado o tecnologías desarrolladas.
• Premios/reconocimientos: Distinciones por aportes científicos o innovadores.
• Transferencia tecnológica: Aplicación práctica de su investigación en industria/sociedad.

Construcción del instrumento.

Posterior al análisis de los referentes teóricos la información quedó recogida en una planilla diseñada por los investigadores. Luego, para la concepción de la escala de competencia para la evaluación de los candidatos a expertos se diseñó un procedimiento metodológico que tuvo en cuenta la agrupación de los diferentes campos en función de los parámetros analizados a los cuales se le otorgó un puntaje basado en la triangulación metodológica múltiple citada por González Espangler y otros.¹³ Se contó además con ayuda de la inteligencia artificial DeepSeek como herramienta auxiliar.

Se asumió como método general de la investigación el dialéctico-materialista y, de manera particular los métodos:

• Teóricos (analítico-sintético e inductivo-deductivo),
• Empíricos (observación científica, revisión documental y encuesta),
• Estadísticos-matemáticos (estadística descriptiva).

Toda la información fue procesada mediante el programa IBM SPSS versión 26.0 para Windows, con el empleo del porcentaje como medida de resumen.

Este artículo forma parte de una tarea de investigación del proyecto "Paquete tecnológico para la gestión docente, asistencial y extensionista de Estomatología en función del desarrollo local," registrado bajo el código NA108604SC-034 que fue aprobado por el Consejo científico y el Comité de ética de las investigaciones en salud.

RESULTADOS

En la tabla 1 se muestra que 72,2 % de las tesis revisadas correspondieron a tesis doctorales y nacionales.

Como se revela en la tabla 2, la formación académica y la experiencia profesional fue el campo más abordado en los documentos analizados. Asimismo, las métricas de productividad científica (17,8 %), la colaboración internacional (13,3 %), las competencias clave (4,4 %); y la innovación y aportes técnicos (3,3 %) muestran valores por debajo del 20 % al ser poco considerados.

De forma particular, la tabla 3, expone que en más del 75 % de las tesis analizadas se tuvieron en cuenta nivel académico, la experiencia docente y en investigación como parámetros de interés. Por otro lado, los demás parámetros de interés evidenciaron cifras inferiores al 15,0 % en todos los casos.

Teniendo en cuenta los resultados precedentes se elaboró una escala de competencia lineal (tabla 4) contentiva de cinco campos, los cuales agruparon dentro de sí tres parámetros con sus respectivos indicadores, a fin de conformar quince parámetros, a los cuales se les otorgó una puntuación.

Ahora bien, en la escala elaborada el valor de cada parámetro de debe promediar a fin de obtener un puntaje, el cual se debe multiplicar por el peso (%) y obtener un subtotal para luego de ser sumado y darle un valor definitivo. Dicho valor se debe interpretar de la siguiente manera:

• 90-100 puntos: experto altamente calificado.
• 75-89 puntos: experto competente.
• menor a 75 puntos: candidato a experto que necesita desarrollo.

DISCUSIÓN

Las tesis doctorales y de maestría constituyen una fuente valiosa para la evaluación de tecnologías sanitarias, particularmente cuando sus resultados se traducen en publicaciones científicas o se integran en revisiones sistemáticas y guías clínicas.⁵

No obstante, tal como señalan Díaz et al⁵, el uso del juicio de expertos en estos contextos sigue siendo limitado, concentrándose principalmente en la validación final de instrumentos. Esta subutilización contradice el potencial del método, que puede y debe aplicarse desde etapas tempranas de la investigación, como la problematización, el diseño teórico, la formulación de hipótesis y la selección de variables. Esta visión ampliada del uso del criterio de expertos permite enriquecer no solo la validez externa, sino también la calidad conceptual del estudio.

En las tesis académicas, es frecuente el empleo del juicio de expertos para validar tecnologías sanitarias. Sin embargo, la identificación del experto continúa siendo ambigua y reduccionista en muchos casos. Como advierten Herrera et al.¹ y Urbina² persiste la tendencia a identificar como experto únicamente a personas con altos grados académicos, sin evaluar su competencia real o pertinencia en relación con el objeto de estudio.

Esta confusión se amplifica por la indistinción conceptual entre experto y especialista, empleándose ambos términos como sinónimos sin justificación epistemológica clara.⁵ Este estudio propone una escala con cinco campos (formación académica, métricas científicas, colaboración internacional, competencias clave e innovación técnica) que contribuyen a superar esta limitación, al ofrecer una forma más clara, precisa y ajustada al contexto para definir y evaluar la experiencia de los expertos.

El coeficiente de competencia (K), propuesto por el Comité Estatal de Ciencia y Técnica de la extinta Unión de Repúblicas Socialistas Soviéticas,¹ ha sido tradicionalmente uno de los instrumentos más utilizados para la selección de expertos, al considerar aspectos como formación, experiencia, publicaciones e innovaciones. No obstante, ha sido criticado por su excesiva dependencia de la autoevaluación y por su escasa capacidad para discriminar competencias específicas, lo que compromete su confiabilidad.^{4, 5}

Diversos autores^5,6 han señalado que el índice K carece de criterios bioéticos actuales y metodologías adaptadas al contexto contemporáneo de investigación. Frente a estas limitaciones, Burguet et al.³ han desarrollado herramientas informáticas que automatizan su cálculo, integrando dimensiones como el conocimiento declarado (Kc) y la argumentación fundamentada (Ka). Sin embargo, la presente investigación avanza en una dirección distinta y valiosa: propone una escala multicomponente que supera el sesgo de la autovaloración mediante la incorporación de indicadores externos objetivos, tales como el índice h o las publicaciones en revistas Q1/Q2.

Las métricas de productividad científica como el índice h, el factor de impacto o la cantidad de publicaciones en revistas Q1/Q2, se han consolidado como criterios ampliamente utilizados para evaluar la calidad y relevancia del trabajo de los investigadores.^15,16,17 No obstante, estas métricas, si se utilizan de forma aislada, pueden inducir sesgos al favorecer la cantidad por encima de la calidad, o al excluir disciplinas menos representadas en bases de datos de alto impacto.

Autores como Torres et al.⁶ y Diaz et al.⁵ han señalado que estos indicadores suelen utilizarse sin un análisis crítico, en especial en estudios educativos. En este sentido, la escala propuesta en este estudio representa un avance metodológico, al integrar estas métricas dentro de un conjunto más amplio de dimensiones como las competencias clave o la transferencia de conocimiento. Esto permite una evaluación más equilibrada y ajustada a las diferentes realidades científicas y campos del conocimiento.

La colaboración internacional constituye una dimensión relevante en la evaluación de la competencia investigativa. Investigaciones recientes^4,5 demuestran que los trabajos con coautoría internacional tienden a recibir un mayor número de citaciones, mejorar la visibilidad global del investigador. Según Fernández et al.⁶ las redes globales permiten reducir los sesgos regionales y ampliar la aplicabilidad de los resultados científicos en contextos diversos.

El presente estudio acierta al incluir esta dimensión como uno de los cinco campos clave en la evaluación de expertos, operacionalizando indicadores como la movilidad académica, la coautoría extranjera y la participación en proyectos multinacionales. Esta elección no solo responde a criterios de impacto académico, sino también a la necesidad de promover la transferencia de conocimiento entre regiones y culturas científicas, lo cual refuerza la pertinencia y legitimidad del juicio experto.

La inclusión de competencias clave como el liderazgo, el trabajo en equipo y la comunicación científica representa una de las innovaciones más destacadas de la escala diseñada. Estos elementos, frecuentemente excluidos de instrumentos tradicionales, son fundamentales para garantizar que el conocimiento experto se traduzca en impacto social y transformación del entorno.^18,19,20 Coincidimos con otros autores^5,6 donde plantean que el liderazgo en investigación es clave para impulsar proyectos de relevancia, mientras que la capacidad de integrar equipos multidisciplinarios asegura una mirada más amplia y comprensiva de los problemas.

La comunicación científica, no solo implica publicar en revistas indexadas, sino también traducir el conocimiento a formatos comprensibles, accesibles y útiles para públicos no especializados, incluyendo gestores de políticas, profesionales del sistema de salud y la sociedad en general. La presencia de estos indicadores en la escala representa un giro metodológico hacia una evaluación más humanizada y orientada al impacto.

La innovación y los aportes técnicos son dimensiones esenciales en la evaluación de la competencia profesional, particularmente en campos como la salud, donde la capacidad para traducir la evidencia científica en soluciones prácticas resulta crucial.^15,16 El presente estudio acierta al incorporar indicadores como patentes, premios y transferencia tecnológica. Sin embargo, Díaz et al.⁵ y Solanes et al.²⁰ plantean reducir la innovación a elementos patentables puede excluir formas igualmente valiosas, como el desarrollo de guías clínicas, metodologías aplicadas o plataformas digitales de libre acceso.

Asimismo, Fernández et al.⁶ sugieren que el impacto real de un investigador debería medirse también por su capacidad de incidir en políticas públicas o en procesos formativos. Por tanto, si bien la escala presentada aporta claridad y operatividad a esta dimensión, sería recomendable que futuras versiones incorporen categorías cualitativas de innovación, más centradas en el impacto social, educativo o comunitario del conocimiento generado.

Una de las principales salvedades del instrumento propuesto radica en que privilegia indicadores cuantitativos clásicos, como la producción académica o el índice h, por encima de otras formas de impacto no indexado o de conocimiento no convencional.^5,19 Esta crítica ha sido recurrente en la literatura actual, especialmente desde las ciencias sociales, donde se alerta sobre el sesgo que introduce la lógica métrica en la evaluación de la experticia.^6,18 En tal sentido, las herramientas de apoyo como las bases de datos de Scopus, Google académico, ORCID (Identificador Abierto de Investigador y Colaborador) o LinkedIn resultan fundamentales para verificar los datos de los candidatos a expertos.

Además, como señalan Cruz et al,⁵ muchas contribuciones con alto impacto territorial, educativo o intercultural no se reflejan en métricas bibliométricas tradicionales. El artículo reconoce parcialmente esta limitación, pero no ofrece soluciones metodológicas concretas para abordarla. Sería valioso considerar en versiones futuras la integración de técnicas mixtas como la evaluación 360°, análisis cualitativo de trayectoria o revisión narrativa del impacto contextual que complementen la escala cuantitativa y amplíen su aplicabilidad en ámbitos como las artes, la educación o la gestión social.

La principal limitación de la escala presentada reside en que es un instrumento que privilegia las métricas de productividad académica tradicional sobre el impacto científico social real, lo que restringe su aplicación en las ciencias sociales y artísticas al subvalorar investigaciones cualitativas o de impacto social no medibles en citaciones.

Al término de la presente investigación se declara que fue posible elaborar una escala de competencia para la evaluación de los candidatos a expertos, contentiva de cinco campos y quince parámetros que actúan como factores a valorar y permite una óptima selección de los expertos.