Les contenus de la région '' vous seront proposés par défaut, en plus des contenus nationaux sur tout le site. Ce choix s'appliquera également lors de vos prochaines visites.

Bibliométrie

Qu’est-ce que la bibliométrie ? Comment procède-t-on à l’Inserm ? Comment aide-t-elle à évaluer la production scientifique et à définir la stratégie de notre institut ?

A+ / A-

L’activité de la recherche scientifique ne se limite pas aux publications, cependant ce support est indispensable pour transmettre le savoir. Les publications permettent d’alimenter les débats et de nourrir les découvertes futures. Elles sont soumises, dans un premier temps, à un système d’approbation ou de rejet par les pairs (reviewing). Une fois éditées par des revues scientifiques, elles sont soumises à l’appréciation de toute la communauté scientifique qui peut se traduire par l’utilisation des données d’une publication dans une autre, sous forme de citation référencée.

La mesure de l’impact des recherches repose non seulement sur le nombre de publications et la notoriété des journaux dans lesquels elles sont éditées, mais aussi sur les citations des articles, qui reflètent leur utilisation.

La bibliométrie, à travers l’exploitation statistique des données issues des publications scientifiques, élabore des indicateurs qui constituent des points de repères pour situer la production scientifique au niveau national et international. Ils sont principalement fondés sur

le nombre de publications et le nombre de citations. Chaque Indicateur procure un éclairage différent de la production scientifique et seule la convergence de plusieurs d’entre eux permet d’atteindre une vision globale et réaliste de l’impact de la recherche, de mettre en évidence des réseaux de collaborations académiques ou industrielles et de révéler des tendances (émergence de domaines de recherche, positionnement scientifique d’un pays…).

Dans le cadre des processus d’évaluation, la bibliométrie apporte une appréciation quantitative objective complémentaire à l’évaluation scientifique qualitative par les pairs mais ne doit ni se substituer à elle, ni fournir de classement.

Quelle méthodologie ?

Les études bibliométriques s’appuient sur une méthodologie rigoureuse et leur interprétation exige beaucoup de prudence. Celle employée à l’Inserm pour le calcul des indicateurs est conforme aux principes préconisés pour l’évaluation des grandes institutions internationales, décrite par le Manifeste de Leiden (Nature 2015, 520).

  1. Chargement des publications à partir du Web of Science
  2. Correction et validation des données par le chercheur
  3. Calculs statistiques et élaboration des indicateurs
  4. Contrôle et validation des indicateurs
  5. Elaboration du document de synthèse

Le Web of Science – Core Collection (WoS) est la base de données bibliographiques de référence. Elle constitue la source d’informations à partir de laquelle sont établis les indicateurs bibliométriques. Les publications y sont réparties, en fonction des journaux dans lesquels elles sont publiées, dans 21 grands domaines ou 254 catégories thématiques.

L’analyse bibliométrique tient compte des spécificités des disciplines. Le nombre de citations des publications dépend fortement de la discipline, notamment de la taille de la communauté de chercheurs engagés dans celle-ci et qui sont en mesure de citer les travaux de leurs pairs. Ce nombre dépend aussi des pratiques de la discipline, du délai que prend un article pour révéler sa visibilité, de sa période d’influence dans la communauté, de la reconnaissance de la discipline elle-même. 

Enfin, le nombre de citations varie aussi en fonction du temps. Plus une publication est ancienne, plus elle a eu le temps d’être citée.

Il n’est donc pas possible de comparer l’impact de deux articles provenant de deux domaines sur la base du nombre absolu de citations reçues. Pour apprécier la visibilité des publications de domaines différents, il est nécessaire au préalable de rapporter le nombre absolu de citations de chaque publication au nombre moyen de citations du domaine reçues l’année de parution. Ce rapport définit l’indice de citations normé (ICn).

L’ICn est normé par rapport à une référence que l’on choisit, et qui peut être mondiale, nationale ou « locale » (ex. : par commission scientifique spécialisée).

Les Indicateurs bibliométriques

Chaque indicateur procure un éclairage différent de la production scientifique et seule la convergence de plusieurs d’entre eux permet d’atteindre une vision globale et réaliste de l’impact de la recherche, de mettre en évidence des réseaux de collaborations académiques et de révéler des tendances (positionnement scientifique d’un chercheur, d’une équipe, d’une unité…).

  • Le volume de la production scientifique (nombre d’articles originaux, nombre de revues, etc.)
  • Le positionnement de l’auteur dans la publication
  • La visibilité de la production scientifique appréciée d’une part, par l’indice de citations normé (ICn) et, d’autre part, par le nombre de publications classées parmi les plus citées dans le monde (Top 1% ou Top 10 %)

Production

Tableau typedes indicateurs globaux d'une équipe

Nb Pub : nombre total de publications sans doublon signées par le chercheur. (Evaluation équipe : nombre total de publications sans doublon signées par les chercheurs de l’équipe. Les publications signées par les chercheurs émérites mais non-cosignées par un chercheur de l’équipe ne sont pas incluses dans le total).

Nb PDC : nombre de publications pour lesquelles le chercheur est Premier (ou co-Premier), ou Dernier (ou co-Dernier) ou auteur de Correspondance parmi les auteurs. (Evaluation équipe : nombre de publications pour lesquelles au moins un chercheur de l’équipe est Premier, Dernier ou auteur de Correspondance. Les positions PDC des doctorants, post-doctorants, émérites sont prises en compte).

Production annuelle par ETP (Evaluation équipe) : nombre moyen annuel de publications par ETP sur la période d’évaluation.

Indice de position (Evaluation chercheur) : un indice de position est affecté au chercheur en fonction de sa position dans la liste des auteurs de la publication.

L’Indice de position moyen est la moyenne des indices de position :

  • 1 : si l’auteur est en 1ère (co-1ere) ou dernière position (co-dernière) ou s’il est auteur de correspondance (auteur en position « PDC »)
  • 0,5 : si l’auteur est en 2ème ou avant-dernière position
  • 0,25 : pour les autres positions, ou si l’auteur fait partie d’un groupe auteurs

Visibilité des publications

Les indicateurs de visibilité sont relatifs aux citations reçues par les publications et permettent de positionner la visibilité de la production scientifique par rapport au niveau international. Ces indicateurs sont calculés à partir des données extraites de la base du Web of Science-Core Collection en utilisant l’outil d’analyse bibliométrique InCites de Thomson-Reuters.

Comme le nombre absolu de citations reçues varie considérablement en fonction du type de documents (article original ou article de revue…), mais aussi d’une discipline à l’autre et en fonction du temps, il est nécessaire au préalable de rapporter ce nombre absolu au nombre moyen de citations reçues par les publications de même catégorie thématique, de même type, parues la même année, pour positionner la visibilité internationale des travaux scientifiques.

Indice de citation normé par catégorie : nombre absolu de citations de la publication attribuée à une catégorie thématique parue l’année Y rapporté au nombre moyen de citations de l’ensemble des publications mondiales de même type, de la même catégorie et parues la même année.

  • Si la publication est parue dans un journal associé à une seule catégorie : l’indice de citation normé (ICN). 

ICN = nombre absolu de citations reçues / EC

où EC = nombre moyen de citations reçues par toutes les publications mondiales relevant de la catégorie à laquelle est associé le journal où est parue la publication, en fonction de l’année de parution Y et du type de document (article, revue etc..).

  • Si la publication est parue dans un journal associé à plusieurs catégories, alors l’indice de citation normé par catégorie est égal à la moyenne pondérée des ICN par catégorie : ICN=Σ(i)ICN(i)/(i)

(i) = nombre de catégories auxquelles la publication est associée et ICN(i) = nombre absolu de citations reçues / EC(i)

L’indice de citation normé moyen est la moyenne des ICN.

Un indice de citation normé (ICN) supérieur à 1 indique que la visibilité de la publication est supérieure à la visibilité moyenne mondiale. Réciproquement, un ICN inférieur à 1 indique une visibilité en dessous de la norme mondiale.

Publications au Top 1%, Top10%…

Thomson Reuters ordonne les publications par ordre décroissant de citations reçues, par type de document, par année de parution et pour chaque catégorie à laquelle ces publications sont rattachées via le journal dans lesquelles elles ont été éditées. Ce classement permet de délimiter les valeurs-seuils des centiles de citations. Les publications Top1% figurent dans le 1er centile des publications mondiales les plus citées de la catégorie (celles au Top10% figurent dans le 1er décile). 

Lorsque les publications sont associées à plusieurs catégories, la catégorie sélectionnée est celle dans laquelle la publication est la mieux classée.

Les valeurs-seuils de citations sont actualisées tous les deux mois.

Le tableau d’indicateurs fournit :

  • Le nombre total de publications classées dans la plage Top10% ;
  • La part de ces publications rapportée au nombre total de publications (Part des Pub Top 10%) ;
  • Le nombre de publications classées dans la plage Top10% pour lesquelles le chercheur (ou au moins un chercheur de l’équipe) est en position PDC (Nb de Pub PDC Top 10%) ;
  • La part de ces publications rapportée au nombre total de publications pour lesquelles le chercheur (ou au moins un chercheur de l’équipe) est en position PDC (Part des Pub PDC Top 10 %).

Une part de publications au Top10% au-dessus de 10 signifie que les publications de cet ensemble ont une visibilité supérieure à la norme mondiale de la catégorie. 

La part de publications au Top1% est un indicateur très sélectif qui peut être considéré comme une mesure pertinente de l’excellence scientifique. 

Le classement des publications au Top1% ou 10% est un indicateur normé par catégorie, par année et type de publication. Il peut être utilisé pour comparer la visibilité internationale des travaux toute discipline confondue, conjointement avec l’indice de citation normé moyen

La cellule Mesures, indicateurs, bibliométrie

La bibliométrie à l’Inserm est assurée par la cellule Mesures, indicateurs, bibliométrie au sein du département de l’évaluation et du suivi des programmes (DESP). La cellule fournit aux membres des commissions scientifiques spécialisées, des commissions ad hoc et du conseil scientifique de l’Inserm, des synthèses bibliométriques pour soutenir leur expertise lors de l’évaluation des formations de recherche, des concours DR ou des promotions.

Des indicateurs sont également fournis au pôle recherche clinique de l’IT santé publique, chaque année, sur les Centres d’Investigation Clinique (CIC). Les informations servent à l’élaboration de notes pour la direction générale ; chaque CIC peut demander une analyse en amont du dépôt de dossier à l’Hcéres, par exemple.

Son expertise est également sollicitée pour positionner la visibilité internationale des chercheurs candidats aux programmes de soutien gérés par le Conseil européen de la recherche (ERC) ou susceptibles d’être distingués par des prix scientifiques de notoriété internationale.

Enfin, la cellule épaule le Département des partenariats et des relations extérieures de l’Inserm (DPRE) dans la mise en œuvre de la politique de coopération internationale de l’Institut, par l’analyse des activités de recherche notamment biomédicale dans des pays ciblés.

Au-delà de ses missions institutionnelles, elle met également ses compétences au profit de la réalisation d’études bibliométriques de la production scientifique des grands instituts de recherche (Imagine, Institut du cerveau et de la moelle épinière…), des Instituts thématiques multi-organismes dans le cadre d’Aviesan, des pôles de compétitivité (Medicen, Canceropôles) et contribue par ses analyses à l’évaluation de l’impact des plans stratégiques de recherche (Plan Cancer, Alzheimer).

Est-il possible d’obtenir une analyse de vos publications ?

Les chercheurs de l’Inserm peuvent directement solliciter la cellule pour obtenir une analyse de leurs publications afin de compléter un dossier de réponse à un appel à projet ou de candidature.

Contact