¿Cómo medir el desempeño en la actividad docente e investigadora?

La semana pasada un grupo de alumnas y alumnos del Grado de Sociología se acercó hasta mi despacho y me regalaron un libro con una cariñosa dedicatoria. Les ruego me disculpen que lo haga público, pero creo que van a entender por qué lo hago.


 

Al placer que para mí ha supuesto compartir con ellas y ellos muchas horas, tanto en el aula como fuera de ella (en seminarios, congresos, conversaciones y encuentros inesperados) se añade ahora la emoción de su generoso reconocimiento. Un reconocimiento que valoro, ¡no saben cuanto!, pero que al tiempo considero inmerecido: hace años que pienso y siento que el momento de entrar en el aula y de encontrarme con mis alumnas y alumnos es lo único que me reconcilia con una universidad cada vez más extravíada por los caminos de la "excelencia" y la "normalización pedagógica", de los "rankings" y de los "impactos". Son muchas y muy fundadas las críticas hacia esta deriva (por ejemplo, aquí, aquí, aquí, aquí, aquí o aquí). Deriva que ha provocado múltiples perversiones, entre las que destaca la aparición de una floreciente "industria de la acreditación", con un corpus de expertos en los arcanos de la justificación de méritos que se ofrecen a orientar, previo pago, sobre la mejor manera de "colocar" artículos en las revistas de mayor impacto, o de "presentar" los currículums de manera que resulten más atractivos para las comisiones de evaluación.

Hacía ya tiempo que venía comentando con compañeras y compañeros de diversos departamentos, tanto  de mi universidad como de otras, la ingeniosa y profunda reflexión crítica que el catedrático de Antropología de la Universidad de Yale, James C. Scott, hace de esta burda mecánica de evaluación en su libro Elogio del anarquismo (Crítica, Barcelona 2013, pp. 146-167). Confiando en la benevolencia del libertario Scott, me permito reproducir algunos fragmentos de esa crítica:

Fragmento 23. ¿Y si...? Una empresa de auditoría fantasma 

¿Me acompaña el lector en una breve fantasía? El año es 2020. Richard Levin, el rector de la Universidad de Yale, se aca­ba de retirar tras un largo y brillante mandato y ha declarado que 2020 es el «Año de la Visión Perfecta». Todos y cada uno de los relucientes edificios han sido reconstruidos, los estudiantes son cada vez más precoces y consumados, y están más sindica­dos, que en 2010; la publicación que ahora fusiona a US News & World Report y Consumer Reports ha clasificado a la Univer­sidad de Yale con el número 1 en el ranking global, ahí arriba, junto a los mejores hoteles, coches de lujo y segadoras. Bueno, casi en el ranking global, porque parece que la calidad del profe­sorado, tal como se refleja en los trascendentales rankings, ha caído. Los competidores de Yale sacuden la cabeza ante este des­censo, y los que saben leer entre las líneas de las declaraciones aparentemente serenas de la Corporación Yale pueden detectar un pánico creciente pero, por supuesto, siempre decoroso. 
El nombramiento de la sucesora de Levin, Condoleezza Rice, la exsecretaria de Estado, que en el reciente pasado ha llevado a cabo una sensata racionalización de la Fundación Ford con crite­rios empresariales, es uno de los indicadores de la preocupación que reina en la corporación. […] La rectora Rice no ha sido elegida por su sim­bolismo, sino por la promesa que representa: la promesa de con­ducir una total reestructuración del profesorado utilizando las técnicas más avanzadas de gestión de calidad; técnicas perfeccio­nadas desde sus rudimentarios inicios en las Grandes Écoles de París a finales del siglo XIX, encarnadas no solo en la revolución en Ford de Robert McNamara, y más tarde, en la década de 1960, en su trabajo en el Ministerio de Defensa, sino también en la revolución de Margaret Thatcher con respecto a la gestión de política social y de educación superior en el Reino Unido en la década de 1980; y refinadas por el desarrollo de la medición nu­mérica de la productividad de los individuos y de las unidades en la gestión industrial; técnicas que el Banco Mundial haría evolu­cionar todavía más, […] y que han llegado por fin, con un cierto retraso, hasta las universidades de la Ivy League.
[…] Fue el exhaustivo plan de la doctora Rice para la mejora a gran escala de la calidad del profesorado, o, para ser más precisos, para mejorar la posición del profesorado en los rankings nacionales, lo que convenció a la corporación de que la doctora Rice era la respuesta a sus plegarias. […] 
El plan de la doctora Rice, nos explican nuestra fuentes, era de una engañosa sencillez. Propuso utilizar los métodos científi­cos de evaluación utilizados en otros ámbitos académicos, pero aplicándolos, por primera vez, de un modo realmente exhaustivo y transparente. El sistema giraba en torno a los índices de cita­ción: el Arts and Humanities Citation Index (índice de citación de artes y humanidades), el Social Science Citation Index (índice de citación de ciencias sociales) y el abuelo de todos ellos, el Science Citation Index (índice de citación científico). Por supuesto, con qué frecuencia los autores de un campo citaban el trabajo de otro de su mismo campo eran cifras que ya se consultaban de vez en cuando en las evaluaciones de cara a un ascenso o a una pro­moción, pero, si le daban el puesto de rectora, la doctora Rice proponía sistematizar y hacer más completo este método de eva­luación objetiva. Los índices de citación, insistió, igual que las máquinas que cuentan votos, no tienen favoritos; son incapaces de parcialidad, consciente o inconsciente; y representan la única medición impersonal que permite juzgar la distinción académica. Por lo tanto, a partir de aquel momento, los índices de citación serían el único criterio para la promoción, el ascenso y la conce­sión de plazas de profesor titular. Si Rice conseguía acabar con el carácter permanente de las plazas, los índices de citación tam­bién servirían de base para la destitución automática de un pro­fesor numerario cuya pereza y poca visibilidad le impedían al­canzar las normas de citación anual (NCA, para abreviar). 
[…] Se equipará a todo el profesorado con un gorrito digitalizado. Tan pronto como el modelo haya sido diseñado, con los colores distintivos de Yale, azul y blanco, y los gorros puedan ser fabri­cados en condiciones humanas, no esclavistas y sin utilizar mano de obra infantil, se les exigirá a todos los profesores que los lle­ven mientras estén en el campus. En la parte delantera del gorro, sobre la frente, una pantalla digital, similar a la de un taxímetro, mostrará la cifra total de citaciones de este investigador en tiem­po real. A medida que los centros de recuento de citaciones total­mente automatizados registren nuevas citaciones, estas citacio­nes, transmitidas vía satélite, serán enviadas automáticamente al lector digital del gorro. Llamémosle Public Record of Digitally Underwritten Citation Totals (registro público digital certifica­do del total de citaciones), que produce el útil acrónimo de PRODUCT. Rice hace aparecer la imagen de la excitación que sentirán los estudiantes que escuchan embelesados la clase ma­gistral que está impartiendo un brillante y famoso profesor cu­yo gorro, mientras habla, no deja de zumbar y en el que, ante la vista de los alumnos, se va acumulando el total de citaciones. Mientras tanto, en el aula de al lado, los alumnos observan con preocupación la pantalla inmóvil del gorrito del avergonzado profesor que tienen delante. ¿Qué aspecto tendrá el expediente académico de los alumnos cuando el total acumulado de citacio­nes de los profesores a cuyas clases han asistido sea comparado con el total acumulado de sus competidores para entrar en las escuelas de posgrado o profesionales? ¿Han estudiado con los mejores y los más brillantes? 
Los estudiantes ya no tendrán que depender de los rumores y de lo que les dicen sus amigos, testimonios siempre falibles, o de los prejuicios de un crítico del curso. La «nota numérica de cali­dad» de su instructor estará ahí, a la vista de todos y para que todos juzguen por sí mismos. Los profesores no numerarios ya no necesitarán temer el capricho de sus colegas numerarios y ti­tulares. Un criterio único e indiscutible de los logros del profesor proporcionará, igual que un recuento de goles, una medida de calidad y un objetivo claro y nada ambiguo hacia el que dirigir la ambición. En opinión de la rectora Rice, el sistema resuelve el sempiterno problema de cómo reformar los departamentos que languidecen en los desvanes de sus disciplinas y se convierten en bastiones de un rígido patrocinio. Esta medida de estatus profe­sional, transparente e impersonal y que le da cuentas al público, será utilizada a partir de ahora en sustitución de los comités de promoción y de contratación. 
¡Piensen en la claridad! Lo único que tendrá que hacer un se­lecto panel de distinguidos profesores (seleccionados según el nuevo criterio) será fijar los techos de citaciones: para la renova­ción, para el ascenso a profesor asociado, para el nombramiento de numerario, y uno más para el rendimiento posterior a la ocu­pación de la plaza de numerario. Después, y una vez la tecnolo­gía del gorro haya sido perfeccionada, el proceso quedará total­mente automatizado. Imagínense una profesora de ciencias políticas de las que marca tendencias y a quien se cita mucho, la doctora Tecla Nunca Parada, que está dando su clase magistral en una gran y abarrotada aula de la universidad. De repente, y porque un desconocido investigador acaba de citar su último ar­tículo en la Revista de Recónditas Investigaciones Recientes y que, por pura casualidad, esta es la citación que supera su techo y la eleva al siguiente nivel, el gorro reacciona de inmediato y anuncia la buena nueva lanzando destellos blancos y azules, acompañados al mismo tiempo con la música del Boola-Boola [himno con el que los hinchas jalean a los equipos deportivos de la Universidad de Yale] Los estudiantes, al darse cuenta de lo que acaba de ocurrir, se ponen en pie y le dedican un aplauso a su profesora por su ascen­so. Ella se inclina con modestia, contenta y avergonzada al mis­mo tiempo por el revuelo creado, y prosigue con su clase, pero ahora ya, siendo titular de una plaza. La pantalla sobre la mesa del despacho de la rectora en el Woodbrige Hall le informa de que Tecla ha conseguido entrar en «el círculo mágico de sus pro­pios méritos», y le envía a su vez un mensaje de felicitación que se retransmite a través del gorro vía voz y texto. En breve le lle­gará un nuevo y distintivo «gorro de numerario» y también el certificado correspondiente. 
Los miembros de la corporación, al entender de inmediato la cantidad de tiempo y de debates que les ahorrará este sistema automatizado, y cómo podrá catapultar hacia delante a Yale en la carrera de los rankings del profesorado, se ponen manos a la obra para refinar y perfeccionar la técnica. Uno sugiere estable­cer un sistema de tiempo de depreciación de la citación en el que cada año que pase desde la fecha de la citación, esta pierda un octavo de su valor. Una citación de ocho años se evaporaría, de acuerdo con el ritmo de avance del campo de estudio. Un miem­bro de la corporación, no sin una cierta reticencia, sugiere que, por coherencia, debería fijarse un techo máximo de retención, incluso en el caso de los profesores antes numerarios. La rectora reconoce que la imagen del descenso del total de citaciones de un profesor, degradándose hasta el nivel de destitución en medio de un seminario, es sin duda un lamentable espectáculo al que asis­tir. Otro sugiere que, en este tipo de casos, se podría programar el gorro para que la pantalla se quedase en blanco, aunque uno supone que el profesor podría leer su destino en la mirada des­viada de sus alumnos. 
Por divertida que pueda parecer por derecho propio, el pro­pósito de mi ridiculización de la medición cuantitativa de productividad en el mundo académico va más allá de la simple diversión. […] Sin importar la forma que tomen, índices de citaciones, reválidas estandarizadas o análisis de cos­tes y beneficios, todos ellos siguen la misma lógica. ¿Por qué? […] Lo que más atrae de este tipo de medidas es que todas ellas convierten medidas de calidad en me­didas de cantidad, lo que permite por lo tanto la comparación entre casos aplicando un sistema de medición aparentemente único e impersonal. Son, sobre todo, una inmensa y engañosa «máquina antipolítica» concebida para convertir cuestiones po­líticas legítimas en ejercicios neutrales, objetivos y administra­tivos regidos por expertos. […]

Fragmento 24. Inválido e inevitablemente corrupto

El primer problema, y el más evidente, que plantea este tipo de medidas es que muy a menudo no son válidas; es decir, en ra­ras ocasiones miden con alguna exactitud la calidad que creemos que está en juego. 
El Science Citation Index (SCI), fundado en 1963 y el abuelo de todos los índices de citación, fue idea de Eugene Garfield. Su propósito era el de calibrar y medir el impacto científico de, pon­gamos por caso, un determinado artículo de investigación, y por extensión, el de un investigador en particular o laboratorio de investigación, mediante el análisis de la frecuencia con la que otros científicos investigadores citaban un artículo publicado. ¿Por qué no? Sin duda era mejor que fiarse de reputaciones infor­males, de becas y subvenciones y de las oscuras jerarquías sólida­mente integradas en las instituciones establecidas, por no hablar de la pura productividad de un experto. Al fin y al cabo, más de la mitad de todas las publicaciones científicas parecen sumergirse hasta el fondo del proceloso mar de las publicaciones sin dejar ningún rastro; no se las cita en absoluto, ¡ni siquiera una sola vez!, y el 80 por 100 solo se citan una vez. El SCI parecía ofrecer una medida neutral, precisa, transparente, desinteresada y obje­tiva del impacto de un investigador en investigaciones y trabajos subsiguientes. ¡Un golpe al mérito! Y, en consecuencia, al menos al principio, fue comparado con las estructuras de privilegio y de posición que afirmaba sustituir. 
Fue un gran éxito, sin duda porque se le dio una gran promo­ción; ¡no olvidemos que esto es un negocio con ánimo de lucro! Al cabo de poco tiempo, estaba por todas partes: se utilizaba en la concesión de plazas de numerario, para promocionar revistas, clasificar investigadores e instituciones, en análisis tecnológicos y en estudios gubernamentales. Pronto le seguirían el Social Science Citation Index (SSCI) y después, ¿cómo iba a quedar atrás el Arts and Humanities Citation Index? 
¿Qué medía exactamente el SCI? Lo primero que hay que ob­servar es la mecanicidad y la abstracción, similares a las de un ordenador, de la recogida de datos. […] Se trata de un ejercicio muy provincia­no; se trata, al fin y al cabo, de una operación en lengua inglesa, y por lo tanto, angloestadounidense. […] Obsérvese también que el índice, al ser una cuestión estadísti­ca, debe favorecer sin duda las especialidades en las que hay más tráfico, lo que equivale a decir las principales corrientes de inves­tigación, o, en palabras de Kuhn, la «ciencia normal». Nótese por último que la «subjetividad cosificada» del SSCI es también sumamente presentista. ¿Y si de aquí a tres años se abandona una línea de investigación vigente, al considerarla un ejercicio estéril? La oleada de hoy, y la curiosidad estadística que crea, tal vez le hayan permitido a nuestro afortunado investigador nave­gar sobre la cresta de la ola y llegar a un puerto seguro a pesar de su error. No es necesario darle más vueltas a estas deficiencias del SSCI que solo sirven para mostrar la inevitable brecha entre las medidas de este tipo y la calidad subyacente que pretenden evaluar. El triste hecho es que muchas de estas deficiencias po­drían ser corregidas reformando y mejorando los procedimien­tos mediante los cuales se construye el índice. En la práctica, no obstante, se prefiere la medida más esquemáticamente abstracta y más sencilla de computar debido a su facilidad de uso y, en este caso, su menor coste. Ahora bien, bajo el sistema de medición aparentemente objetivo de las citaciones se oculta una larga serie de «convenciones contables», de gran calado político y que tie­nen enormes consecuencias, que se han introducido a la chita callando en los sistemas de medición. 
[…] Incluso si la unidad de medida, cuando se concibe por primera vez, es una medida válida, su mis­ma existencia desencadena una serie de acontecimientos que so­cava su utilidad. Llamemos a este fenómeno un proceso por el cual «una unidad de medida coloniza el comportamiento», ne­gando así cualquier validez que hubiera podido tener en el pasa­do. Por ejemplo, ha llegado a mis oídos que existen «círculos» de investigadores que ¡se han puesto de acuerdo en citarse los unos a los otros de forma rutinaria para elevar así su índice de citacio­nes! Las connivencias descaradas de este tipo son la versión más notoria de un fenómeno de mayor alcance. El mero hecho de sa­ber que el índice de citaciones puede hacer o destruir carreras ejerce una influencia que dista mucho de ser sutil sobre la con­ducta profesional: por ejemplo, los incentivos que esto hace apa­recer robustecen el tirón gravitacional de las corrientes metodo­lógicas dominantes y de los subcampos de estudio más poblados, estimulan la elección de revistas y fomentan los mágicos mantras de los personajes más notables de un determinado campo. Esto no tiene que significar necesariamente un burdo comportamien­to maquiavélico, sino que más bien estoy señalando la constante presión en los márgenes que invita a actuar «con prudencia». El resultado, a largo plazo, es una presión selectiva, en el sentido darwiniano, que favorece la supervivencia de los que logran sa­tisfacer o superar las cuotas marcadas por los auditores. 
Un índice de citación no es una mera observación, es una fuerza en el mundo capaz de generar sus propias observaciones. A los teóricos sociales les ha impresionado tanto esta colonización que han intentado darle una formulación similar a la de una ley en el marco de la ley de Goodhart, que sostiene que «cuando una medida se convierte en una meta, deja de ser una buena medida» […] (el énfasis es mío, I.Z.)

Fragmento 26. En defensa de la política

El auténtico daño que causa confiar sobre todo en el mérito medido cuantitativamente y en sistemas auditores numéricos «objetivos» para evaluar la calidad es consecuencia de haber des­cartado cuestiones vitales que deberían formar parte de un enér­gico debate democrático y ponerlas en manos de expertos a quie­nes se supone neutrales. […] Cuando se utilizan el índice de citación SSCI y el SAT, el examen de reválida estandarizado, y el ahora omnipresente análisis de costes y beneficios, estamos viendo en funcionamiento la máquina antipolítica.
La antipolítica del SSCI consiste en la sustitución de un sano debate sobre la cualidad por un cálculo pseudocientífico. La au­téntica política de una disciplina, su política digna de atención en cualquier caso, es precisamente el diálogo sobre criterios de valor y de conocimiento. Me hago muy pocas ilusiones sobre la cali­dad habitual de este diálogo. ¿Hay en juego intereses y relaciones de poder? Por supuesto que sí. Están omnipresentes. No obstan­te, no hay nada que pueda sustituir este debate necesariamente cualitativo y nunca concluyente. Es la sangre que le da la vida al carácter de una disciplina, un combate que se libra en las reseñas, evaluaciones, aulas, mesas redondas, debates y en la toma de de­cisiones con relación al programa educativo, la contratación y el ascenso de profesores. Cualquier intento de limitar este debate mediante, por ejemplo, la balcanización en subcampos casi autó­nomos, el establecimiento de rígidos criterios cuantitativos, o la creación de complicadas tablas de resultados, tiende siempre a congelar una ortodoxia dada o a fijar en una posición inamovi­ble el reparto de cargos y puestos.

******

"Todos sabemos lo que los incentivos distorsionadores han hecho a las finanzas y la banca", recordaba Randy Schekman, Premio Nobel de Medicina en 2013, en un artículo en el que explicaba por qué la ciencia debe "liberarse de la tiranía de las revistas de lujo" y, en consecuencia, expresaba su compromiso y el de su laboratorio para evitar seguir publicando en estas revistas, animando a otros a hacer lo mismo.

El libro que me han regalado esas alumnas y alumnos carece de valor según los estándares de evaluación que hoy hegemonizan el ámbito universitario: no sirve para lograr un sexenio, ni para conseguir complementos retributivos. Ninguna agencia de evaluación sabría qué hacer con este "mérito". Pero para mí tiene un valor inmenso. Gracias.