Florence, 15 octobre 2009, débat sur l’évaluation de la recherche en présence de :
Le 15 octobre 2009 aura lieu à Florence une rencontre/débat sur l’évaluation de la recherche. Participeront à cet entretien quatre intervenants d’horizons divers. Chacun disposera de 15 minutes pour exposer son point de vue, puis deux heures de débat et d’approfondissement suivront. Cette rencontre est co-organisée par l’Institut des Systèmes Complexes italien (ISC) du CNR, l’Ambassade de France en Italie et l’Institut Français de Florence. Les différents invités ainsi qu’un aperçu de leurs interventions à venir sont présentés ci-dessous :
(Département de Biologie cellulaire et Neurosciences, Institut Supérieur de Santé, Rome)
Evaluation de la recherche biomédicale
Les critères et les systèmes d’évaluation du secteur biomédical montrent quelques particularités. Avant tout, la séparation entre la recherche fondamentale, à caractère cognitif de processus et de mécanismes physiologiques ou physiopathologiques serait tempérée par des recherches typiquement cliniques. L’histoire et la sociologie du progrès scientifique ont en effet montré que les plus grandes avancées cliniques sont souvent le fruit d’un substrat de connaissances de bases, qui peut-être même de façon fortuite, ont permis l’innovation thérapeutique.
Peut être de plus en plus important de nos jours, le problème des « besoins sociaux » liés aux pathologies : évidemment, les porteurs d’intérêt des principales pathologies du Nord du monde (Alzheimer, SIDA, dépression, maladies cardiovasculaires, tumeurs, etc.) ne peuvent pas ne pas influencer la distribution des fonds, et indirectement, les critères d’évaluation.
Dans les différents systèmes nationaux, un équilibre s’est créé entre besoins sociaux liés à des pathologies importantes et une voie plutôt orientée par la communauté des chercheurs, par exemple principalement influente sur le système américain.
Les problèmes comme les médicaments orphelins ou les maladies rares seront traités.
(Département de Physique, Université de Pise et membre du CUN)
Indicateurs quantitatifs de la recherche : le cas de la physique
Les indicateurs bibliométriques quantitatifs de l’activité de recherche sont un instrument auxiliaire utile pour l’évaluation, qui, si correctement réglé, peut être appliqué efficacement à l’évaluation collective de structures et d’institutions, alors qu’il nécessite une plus grande précaution pour l’évaluation individuelle.
L’exemple de l’indice H est discuté en détail, avec une référence particulière à la communauté des physiciens italiens (environ 3000 individus).
(Institut National pour la Physique de la Matière, CNR, Florence)
Introduction (définir le but de l’évaluation)
L’évaluation en tant qu’instrument de sélection dans les procédures de recrutement
Les méthodes d’évaluation : critères froids, chauds et tièdes
Les « évaluateurs » : la commission
Évaluer le processus d’évaluation : transparence, contrôle responsabilité
Exemple extraits de séances d’examens
(Académie des Sciences, Grenoble)
L’évaluation de la recherche est nécessaire pour corriger ce qui ne va pas bien dans la recherche. Mais ce n’est pas une tâche aisée. Un élève dans une classe est évalué par le professeur qui sait tout mieux que lui. En revanche, un chercheur connaît sa spécialité mieux que la majorité des personnes qui doivent l’évaluer.
Une solution à ce problème est d’utiliser des critères quantitatifs : nombre d’articles publiés dans des revues renommées, nombre de citations. Ces critères ont une valeur certaine, mais limitée. Un chercheur peut publier beaucoup d’articles très similaires et peu intéressants. Un article peut être publié dans une revue qui publie de bons articles, et ne pas être bon pour autant. Un chercheur peut être cité beaucoup plus qu’un autre pourtant beaucoup plus inventif.
Les critères numériques ont cependant trois grands avantages :
1) ils sont objectifs
2) ils coûtent peu de temps
3) ils coûtent peu d’argent
Ils peuvent être utilisés en tant que moyen d’évaluation de routine. Ce sont des indicateurs qualitatifs et approximatifs qui doivent être pris en compte, surtout si ils tombent à un niveau trop bas. Si un chercheur ne publie rien, si aucune thèse ne sort d’un laboratoire, il faut se poser des questions. En revanche, si un chercheur est beaucoup cité, il y a de fortes probabilités que ses recherches soient excellentes. Mais pour en être sûr, il faut lire et comprendre les articles, les compter ne suffit pas. Bien sûr, lire et comprendre requiert du temps et des personnes compétentes.
Pour donner un aspect plus concret à son intervention, Jacques Villain évoquera son expérience dans différents pays.
Pour voir l’affiche de l’événement, cliquez ici
