Ads-728

Ads-728

Psicología

Astrofísica

Genética

Neurociencia

» » » » Detener las evaluaciones cuantitativas en la investigación

Referencia: Nature.com .
por Colin Macilwain, 14 de agosto 2013

El predominio creciente de la evaluación cuantitativa de investigación pone en peligro los valores subjetivos que realmente importan en la academia.
 -- Colin Macilwain

Los líderes de las principales universidades de todo el mundo han mantenido siempre un sano escepticismo frente a las tablas de clasificación y los indicadores que las sustentan. Sin embargo, ahora, los funcionarios de las instituciones que hacen bien este tipo de evaluaciones, en parte por sus méritos y en parte debido al uso del idioma inglés u otras ventajas históricas, están cada vez más siendo seducidos por las medidas cuantitativas para estimar la eficiencia del personal académico. La gente que se preocupa por la calidad genuina de la investigación y la enseñanza, necesitan resistirse a estos cambios.

Las universidades evolucionaron como cuerpos de académicos autónomos. Originalmente, el presidente o el vice-rector tenían un papel puramente de limpieza, como se describe en la jerga de EE.UU. de asegurar la estabilidad del personal, el sexo de los estudiantes y el deporte para los alumnos.

Pero últimamente, sobre todo en Gran Bretaña, donde los esquemas de evaluación de investigaciones han llegado a dominar la vida académica, el poder ha pasado de los departamentos a la vice-rectoría. Y los líderes universitarios, flanqueados por los directores de investigación y lacayos asociados, quieren utilizar las evaluaciones para alterar aún más ese equilibrio.

Ocho universidades líderes británicas están comprometidas con el desarrollo conjunto de una formidable herramienta computacional que les permite comparar el rendimiento de sus investigadores y de los departamentos en contra de sus rivales, con vistas a conceder becas, número de patentes solicitadas, o casi cualquier otro criterio a elegir. Dicha herramienta se llama Snowball (www.snowballmetrics.com), y entre las instituciones ya inscritas se incluyen las universidades de Oxford y Cambridge, Imperial College de Londres y el University College de Londres.

Al igual que cualquier sistema de evalución, Snowball, en teoría, puede ser utilizado para bien o para mal. Y yo sospecho que, en la práctica, va a terminar siendo utilizado principalmente para ejercer un control más exhaustivo sobre el personal académico, con todos los aspectos de su vida profesional rastreados en el sistema.

Aunque Snowball fue desarrollado por personas de una integridad genuina, queriendo establecer un entendimiento más completo de los resultados de investigación, comporta no obstante, un defecto fundamental con otras herramientas cuantitativas para evaluar la investigación: No se puede medir directamente la calidad de la investigación y no importa la enseñanza, en vez de eso utiliza sustitutos débiles, como los índices de citas individuales.

Los índices de citas, cuya media de la investigación se coloca en términos del número medio de citas de los artículos, ya fueron fuertemente cuestionados a principios de este año, cuando las organizaciones lideradas por la Sociedad Americana de Biología Celular firmaron la Declaración de San Francisco sobre Evaluación de la Investigación (DORA), comprometiéndose a mantener una postura de oposición frente a la cada vez mayor expansión de las evaluaciones diarias.

Una de las mejores ideas de DORA es la de pedir que los bancos de datos de citas estén disponibles públicamente para uso de todos los investigadores. Les deseo suerte con eso. Los administradores de universidades saben que la información es poder, y no quieren sólo los datos, sino dictar cómo son manipulados.

El mayor problema de estas evaluaciones es la tendencia trazada para que la gente pueda distorsionar su propio comportamiento para optimizar todo lo que se está midiendo (por ejemplo, las publicaciones en revistas muy citadas), a expensas de lo que no es citado (como la cuidadosa enseñanza). Snowball supone que consigue eso midiendo muchas cosas diferentes a la vez. Sin embargo, no se puede cuantificar los atributos que la sociedad más valora de un investigador de universidad, la originalidad del pensamiento y la capacidad de nutrir a los estudiantes. Lo cual no es lo mismo que una puntuación alta en los cuestionarios de los cada vez más ubicuos estudiantes.

Científicos seniors han sabido desde hace mucho tiempo que las falsas medidas de "calidad científica" pueden hacer peligrar el sistema de revisión por pares que ha sido construido laboriosamente por las principales naciones con líderes científicos, para distribuir fondos en función de los méritos respectivos.

En Estados Unidos, en 1993, por ejemplo, el Congreso aprobó la Government Performance and Results Act, que obligaba a las agencias federales para iniciar la medición de sus resultados. Sin embargo, la comunidad científica de EE.UU. estaba fuerte y segura de sí misma en ese momento, y desbarató con éxito la posibilidad de que organismos como la Fundación Nacional de Ciencia (NSF), comenzara el inventario de 'mediciones' del trabajo de sus becarios. En cambio, la NSF se limita a medir cosas como el tiempo para becarlo.

Las naciones con comunidades científicas más débiles están en peor posición para defenderse de la marcha de las evaluciones. Los riesgos son, quizás, más inmediatos en lugares como Italia, donde la revisión por pares de becarios nunca ha tenido plena instalación, o en China, donde incluso rara vez se ha intentado. Hay una tendencia preocupante en los países en desarrollo, en especial por las agencias de investigación, para saltar por encima de la apropiada revisión por pares, y pasar directamente a la asignación de fondos en base a los resultados medidos. Esto, en lugar calidad, pasa sin rodeos, por una invitación a la corrupción.

Colin Macilwain
Pero también veo problemas en el futuro de las universidades líderes del Reino Unido y los Estados Unidos. Sus reputación ha sido construida por académicos autónomos, trabajando pacientemente con los estudiantes. Si esto se convierte en una fuerte medida cuantitativa, como parecen querer los rectores, puede conducir a matar a la gallina de los huevos de oro.

Los defensores de Snowball dicen que están desconcertados por los científicos, que dado que hacen eso para ganarse la vida, se muestren escépticos por las avaluaciones de rendimiento de la investigación. Sin embargo, la ciencia busca identificar y medir los buenos sustitutos, para testear la falsabilidad de las hipótesis. Visto desde esa perspectiva, la evaluación cuantificable de la investigación no está a la altura. No obstante, snowball ha empezado a empezado ya su camino y resulta difícil ver cómo detener su impulso.


- Citación: Naturaleza 500, 255 (15 agosto 2013) doi: 10.1038/500255a
- Imagen 1) Colin Macilwain, Nature . Imgen 2) investigación,
.

,

,

«
Next
Entrada más reciente
»
Previous
Entrada antigua
Editor del blog Pedro Donaire

Filosofía

Educación

Deporte

Tecnología

Materiales