(Este artículo fue publicado en la Revista Ciencia Hoy, Volumen 19 – Número 112, agosto-septiembre de 2009, páginas 50-51.)
Con frecuencia, los órganos asesores de las instituciones promotoras de ciencias, entre ellos los del CONICET, solicitan a los Directorios instrucciones precisas acerca de las pautas de evaluación de subsidios, becas, ingreso y promoción en la Carrera del Investigador, convenios con instituciones de otros países, etcétera. El Conicet realiza múltiples evaluaciones en las distintas instancias: comisiones asesoras por disciplina (21), junta de calificación y promoción, junta técnica de la carrera del personal de apoyo, comisiones asesoras de gran área y comisiones para fines especiales, etcétera.
En la práctica los asesores consideran que su tarea se vería facilitada si las pautas de evaluación estuviesen basadas en criterios cuantitativos y escalas numéricas. ¿Qué promedio es exigible para obtener una beca de nivel tipo I? ¿Cuántos trabajos publicados en revistas con arbitraje se requieren para ingresar a la carrera de investigador científico en una determinada disciplina? ¿Cuántas tesis dirigidas y aprobadas son necesarias, como mínimo, para ser promovido a la clase siguiente de esa carrera? Son solo algunos ejemplos representativos de lo que los cuerpos asesores desean que el Directorio establezca como criterio, y si no lo hace, lo establecen los propios asesores en el curso de su trabajo.
Estos criterios cuantitativos, por supuesto, son útiles como parámetros, pero de ninguna manera deben disgregarse de la evaluación cualitativa, la que es más ardua y compleja, pues demanda un examen riguroso por parte del evaluador y ello implica bastante esfuerzo. En los ejemplos anteriores, el promedio de un candidato a una beca depende marcadamente de la universidad de origen y de la disciplina; los trabajos publicados pueden circunscribirse a factores procesales más que conceptuales inherentes de la investigación, como son su método y el contexto de su realización, entre otros; en tesis dirigidas el mérito se contabiliza en el rubro formación de recursos humanos y, en consecuencia, más que la cantidad de tesis, lo fundamental es la evolución del doctorando y las tareas que este desempeña al momento de la evaluación. Es indudable que aspectos como los ejemplificados no pueden evaluarse correctamente si solo se consideran factores numéricos.
La valoración de una investigación debe sustentarse en su significado, rigor y originalidad; estos son indicadores fundamentales de la calidad de una publicación, pero no son susceptibles de una simple ponderación numérica. Lo mismo ocurre con los trabajos de tesis, ¿cómo se compara la calidad de los recursos humanos formados en esos trabajos? ¿Qué es más destacado para un investigador: una tesis dirigida de excelente calidad o tres de regular calidad?
Un trabajo publicado es el resultado de la investigación misma, de la preparación del manuscrito y de la posterior intervención de editores y revisores. Aparecen también en escena indicadores como el factor de impacto de la revista y el llamado índice de Hirsch, de conocido uso internacional y aplicación habitual en nuestro país.
Si se admitiese una evaluación fundamentada únicamente en criterios numéricos, en la situación extrema bastaría un programa informático de buen diseño operado por personal administrativo versado para realizar la tarea evaluativa, lo que evitaría trabajo y pérdida de tiempo a los investigadores que integran los cuerpos asesores, más el consiguiente ahorro monetario (viajes, estadías, etcétera.). A modo de ejemplo, cada comisión asesora disciplinaria del Conicet, conformada por unos quince miembros, debe reunirse como mínimo, un día por mes, lo que implica un enorme despliegue logístico, de personal y de gastos.
Es indudable que los procedimientos vigentes de evaluación de méritos en nuestro sistema científico-tecnológico merecen ser discutidos por todos sus actores. Es necesario realizar un análisis detenido sobre su eficacia, debido especialmente a que en Conicet coexisten veintiún disciplinas con regímenes, métodos y criterios que abarcan un más que amplio espectro. Probablemente no se logre arribar a conclusiones definitivas, pero con certeza se progresará si se formulan interrogantes y se entabla un debate profundo acerca de esta temática. Coexistir con el problema, a sabiendas de que existe, es una manera, sutil acaso, de mantenerse en la ignorancia de algo reconocido por una gran mayoría de científicos (vaya paradoja).
Como aporte preliminar consideramos atinada la lectura del artículo de Peter A. Laurence, de la Universidad de Cambrige (‘The mismeasurement of science’, Current Biology; 17:583, 2007).Sus argumentos pueden no trasladarse integramente a nuestra realidad institucional, pero sin duda su enfoque se compadece con la situación de la ciencia en nuestro país. Sobre el uso y abuso de los indicadores cuantitativos escribió (traducción de este comentarista):
Las revistas son evaluadas según factores de impacto y los científicos y los departamentos son evaluados en función a los factores de impacto de las revistas en las que publican». […] La retroalimentación positiva distorsiona los factores de impacto, ya que numerosas citas no responden a la lectura directa del artículo original sino a la lectura de otros artículos o reseñas. […] Las personas han perdido de vista los propósitos primordiales de las instituciones y la creciente obsesión con los procedimientos ha conducido a una burocracia cada vez más visible -como las complejas solicitudes de subsidios y los intrincados criterios de evaluación en investigación-, en perjuicio del esfuerzo de la investigación. […] Es hora de contribuir a que el péndulo del poder oscile nuevamente en favor de la persona que en verdad investiga e intenta cambiar las cosas.
Laurence publicó hace poco otro artículo (‘Lost in publication: how measurement harms science’, Ethics in Science and Environmental Politics, 8, 2008) en el que reiteró los mismos conceptos, y concluyó: Para mejorar las cosas las agencias promotoras de ciencia deberían usar otras maneras de evaluar la calidad de un trabajo y declarar que, efectivamente, lo están haciendo.
Existe otro aspecto que ocasiona gran esfuerzo y pérdida de tiempo en toda la comunidad científica. Se trata de los múltiples y variados procesos de evaluación a los que los investigadores se ven supeditados por cada una de las instituciones en las que realizan sus actividades. Una misma persona puede ser evaluada durante un mismo año tres o más veces en función del mismo currículum vitae y el mismo plan de trabajo: por el Conicet en trámites vinculados con subsidios, dirección de becarios, etcétera; por la Agencia Nacional de Promoción Científica y Tecnológica por los diferentes subsidios que esta ofrece; por la universidad a la que pertenece, para su categorización en el sistema de incentivos, promoción en la docencia y otros propósitos, y, eventualmente, por instituciones provinciales con objetivos y funciones afines. La evaluación de la enseñanza y la divulgación de la ciencia, así como la transferencia de resultados con potenciales aplicaciones, también implican un desafío para el Conicet. La comunidad científica debe tomar conciencia de la importancia relativa de estos ítems en la actividad de los investigadores y del modo de evaluarlos.
Es necesario que los investigadores hagamos un esfuerzo y comencemos a debatir con generosidad intelectual ideas y procedimientos sobre cómo medir los méritos en ciencia, y que demos prioridad a los aspectos cualitativos por sobre criterios basados únicamente en parámetros numéricos. En ese sentido, el presente escrito no pretende poner en jaque las evaluaciones cuantitativas de los méritos científicos, sí, en cambio, constituir un aporte concreto para facilitar un examen crítico y un debate sobre la importancia de los aspectos cualitativos, que conduzca a evitar la desfiguración de la realidad y permita sincerar problemas y corregir políticas institucionales. El primer paso es tomar conciencia de que existe el problema; es el diagnóstico que los científicos deben dar. La solución implica cambios de conducta y la búsqueda inteligente de las decisiones a tomar.
Vicente A. Macagno, director del Conicet
Gran Área de Ciencias Exactas y Naturales
El autor agradece a Carolina Mosconi (INFIQC) su asistencia en la preparación de este escrito.