La recherche scientométrique: que peut-on en faire ?
Aide-mémoire pour l'étudiant
D.Gile
Décembre 2009
1. Données scientométriques brutes, qualitatives et accessoires
Les données scientométriques sont essentiellement des données descriptives sur des textes de recherche, recueillies et présentées de manière à réaliser des analyses surtout quantitatives sur ces textes. Elles se présentent essentiellement sous forme de tableaux, de listes ou de bases de données.
On distinguera les données scientométriques brutes, les données qualitatives, et les données auxiliaires.
Les données brutes sont des données bibliographiques 'recopiées', c.a.d. sans aucun apport d'information ou d'analyse de la part du chercheur. Elles se composent des noms des auteurs, des dates de publication, des appartenances institutionnelles des auteurs, des titres des textes, des éventuels noms des revues ou des titres des ouvrages collectifs concernés, des numéros des revues et des pages correspondant au texte, etc.
Les données qualitatives sont en général obtenues à partir d'une analyse ou d'une recherche complémentaire, quand elles portent par exemple sur la nature empirique ou théorique d'un texte, sur la nature d'une citation (évocation d'un résultat, d'une étude sans mention du résultat, d'un auteur sans mention d'une étude, d'une théorie, d'une question terminologique, d'une opinion), sur les sujets traités, sur des mots clé. Elles peuvent parfois figurer dans l'intitulé du texte (actes d'un colloque, mémoire de maîtrise, thèse de doctorat, etc.).
Les données auxiliaires sont des données techniques ajoutées par le chercheur pour aider à l'analyse subséquente. Il s'agit surtout de codes donnés aux textes, aux auteurs ou à des catégories de textes et de citations pour pouvoir y faire référence de manière plus économique.
2. Utilisation des données scientométriques
2.1 Utilisation quantitative
L'utilisation première des données scientométriques est quantitative: il s'agit d'analyser différents aspects de la production scientifique d'après le nombre relatif de textes de différents types dans chaque catégorie, pour évaluer, par exemple:
a. L'évolution quantitative de la production scientifique dans chaque domaine et dans chaque catégorie (comment ont évolué les thèses de doctorats au cours des vingt dernières années, quels ont été les pays les plus productifs au regard de ces thèses, quels sont les types de textes le plus fréquents en Espagne, en Allemagne, au Japon, etc.)
b. Les auteurs, les théories, les centres universitaires le plus influents par périodes (d'après le nombre de citations qui font référence à eux).
c. La prédominance de tel type de recherche, de tel type de citation dans tel sous-domaine de la recherche dans le domaine concerné.
Les réponses à des interrogations sur ces aspects de la production scientifique dans le domaine concerné sont données par des calculs, notamment comparatifs, sur des chiffres précis, par exemple d'après le nombre de citations de tel type par rapport au nombre de citations de tel autre type, ou d'après le nombre de citations d'un auteur (cité) par rapport au nombre de citations d’un autre auteur (cité). En tout état de cause, conformément aux normes de la recherche scientifique empirique, la méthode et les résultats chiffrés des calculs seront toujours donnés pour appuyer d'éventuelles conclusions. Il ne suffit pas de dire « des données, il ressort que… »; il faudra dire « les calculs montrent que 68% de….. et 28% de….., ce qui permet de conclure…. ».
Toute interprétation des résultats au-delà d'une interprétation quantitative découlant directement des chiffres présentés et des calculs devra prendre appui sur des faits et les présenter explicitement. Ainsi, on ne pourra pas dire que tel auteur ignore les travaux de tel autre sous prétexte qu'il ne les cite pas. Avant de faire une telle affirmation, il faudra s'assurer que la raison n'est pas un désaccord profond entre les deux, ou l'avis de l'auteur citant qui considère que les travaux de l'autre ne sont pas suffisamment pertinents ou importants pour être cité.
2.2 Utilisation qualitative
L'utilisation qualitative des données scientométriques peut également être très importante, surtout quand on s'en sert à titre évaluatif. On pourra par exemple dire d'un auteur qu'il ne connaît pas la littérature pertinente si non seulement ses références bibliographiques sont peu nombreuses ou anciennes, mais s'il existe d'autres références pertinentes, et d'autres plus récentes (données ‘qualitatives’ ajoutées aux données scientométriques de base, qui sont indispensable à l'inférence).
Dans de nombreux cas, l'utilisation des données scientométriques sera en même temps quantitative et qualitative.
En principe, il n'est pas exclu de faire des études scientométriques sur des articles, livres, thèses etc. isolés. Toutefois, ces études de cas, qui peuvent être très complètes sur le plan descriptif, offrent peu de possibilités inférentielles, car elles ne portent que sur la production d'un auteur à un moment donné (à l'exception des volumes collectifs, qui seront considérés ici comme des ensembles d'articles, donc des textes multiples). Les possibilités d'inférences sont plus intéressantes dans une optique synchronique, quand on examine plusieurs textes d'un même auteur au fil du temps, et leur potentiel s'accroît très sensiblement quand l'analyse porte sur un ensemble d'auteurs, puisque l'on peut voir non seulement les comportements individuels, mais aussi les comportements de groupes.
3. L’analyse des citations
Les citations sont définies ici
comme toute référence complète à un texte précis (« cité ») dans un
texte « citant ». Par exemple l’extrait de texte citant suivant
…Un
récent article de Marianne Lederer (2009) reprend une définition de la notion
de
« déverbalisation »
tirée d’un texte de 1994 (Lederer 1994) qui est bien plus large que les
définitions
initiales de Danica Seleskovitch (1968 : 160 , 1975 : 7)…
contient deux citations de M.
Lederer et deux citations de D. Seleskovitch.
Attention, il ne s’agit pas de « citations » au sens ordinaire du terme, qui désignent la reproduction des paroles ou se réfèrent à ces paroles ou à des avis d’une personne citée.
Les citations font partie des conventions de l’écriture scientifique. Elles permettent à un auteur citant de préciser dans quels travaux il a puisé ses idées et les résultats expérimentaux et autres dont il se sert, dans quel cadre théorique il se situe, dans quelle lignée son travail se positionne, etc. Quand cette convention est respectée, les citations constituent un indicateur d’influence ou d’impact des auteurs cités : plus ils sont cités, plus ils ont d’impact. Les citations constituent donc un outil intéressant pour les sociologues de la science, mais aussi pour différents organismes gouvernementaux et autres qui cherchent à évaluer l’activité d’auteurs, de laboratoires et d’autres organismes scientifiques.
Une analyse des citations relativement simple qui consiste essentiellement à compter le nombre de citations de tel auteur, tel groupe d’auteurs dans un domaine concerné est un exercice intéressant pour les étudiants-chercheurs, car il leur permet de se familiariser avec une démarche scientifique simple et quelques problèmes pratiques qui se posent dans la recherche empirique sans passer par une importante acquisition théorique.
Une analyse des citations plus complexe, dans laquelle les étudiants peuvent chercher à explorer l’apport des citations dans une démarche tant qualitative que quantitative, est bien plus intéressante : ainsi, en analysant non pas le nombre de citations d’un auteur donné par un échantillon d’auteurs citants, mais les types de citations (citations qui se réfèrent à une théorie, à des résultats, à des termes, à une méthode de recherche, etc.), on peut caractériser le type de recherche réalisé dans un domaine particulier (plutôt empirique, plutôt théorique), les influences interdisciplinaires, etc. (voir un exemple dans l’article sur l’interdisciplinarité traductologique sur ce site).
Il est important de réaliser que pour parvenir à une analyse intéressante, il faut un échantillon relativement important, de préférence de plusieurs dizaines d’articles même dans un sous-domaine scientifique précis. Il convient également de bien choisir cet échantillon, afin qu’il soit aussi représentatif que possible en fonction des réponses que l’on cherche à l’analyse des citations. Ainsi, un échantillon composé uniquement d’articles en français sera probablement biaisé en faveur des auteurs francophones, alors qu’un échantillon composé uniquement d’articles en anglais donnera probablement lieu à une sous-représentation de l’activité de recherche concernée en France. Le choix de l’échantillon à analyser constitue une première tâche de réflexion pour l’étudiant-chercheur.
La facilité avec laquelle les citations sont extraites d’un texte scientifique permet d’extraire du corpus un nombre important de citations rapidement. Toutefois, aux fins de l’analyse, la quantité importante d’informations ainsi acquise devra être organisée, faute de quoi son exploitation sera difficile. L’organisation de l’information, la plupart du temps dans une base de données ou dans un tableur, demandera elle aussi à être optimisée, après réflexion et exploration des difficultés. Dans une optique de travail collectif, il apparaît intéressant de normaliser les rubriques de la description scientométrique de chaque texte, afin d'optimiser la comparabilité des données. Pour des raisons techniques, étant donné l'importance relative du travail 'mécanique' de collation et de comparaison, il est également intéressant d'utiliser autant que possible des formats de présentation, voire des logiciels compatibles sinon identiques.
Enfin, les inférences que permet l’information doivent être expliquées et justifiées. La rigueur et la prudence s’imposent, mais la créativité a une part importante dans l’exercice.
Pour que ledit exercice soit le plus utile possible pour l’étudiant-chercheur, il est important que celui-ci note en détail tous ses problèmes, toutes les décisions qu’il a prises et toutes ses observations sur le processus.
Références Générales
http://www2.uibk.ac.at/ub/mitarbeiter_innen/publikationen/hauffe_is_citation_analysis_a_tool.html
http://www.garfield.library.upenn.edu/essays/V1p527y1962-73.pdf
http://www.belspo.be/belspo/stat/output/acrobat/weten3_f.pdf
http://www.eva.inserm.fr/Bibliometrie/EvaBiblioGenSites.htm
Articles de D. Gile sur les citations