Imaginez que vous souhaitiez déterminer quels poètes d'un groupe sont les plus créatifs. Supposons qu'il s'agisse de poètes dont vous ne savez pas grand-chose. Comment pourriez-vous déterminer qui parmi eux sont les poètes les plus créatifs ? Leur feriez-vous passer un test de créativité du type "Combien d'utilisations pouvez-vous imaginer pour une brique ?" qui noterait les réponses en fonction du nombre d'idées produites par le testeur et du caractère habituel de ces idées ?
Cela pourrait vous permettre de classer les poètes du plus créatif au moins créatif.
Vous pouvez aussi leur faire passer une série de tests de personnalité et comparer leurs résultats à ceux de personnes réputées très créatives. Vous pourriez aussi interroger les poètes pour déterminer les procédures qu'ils utilisent (par exemple, toute heuristique de génération d'idées telle que le brainstorming, toute contrainte artificielle qu'ils s'imposent, tout choix environnemental qu'ils font et qui, selon eux, renforce leurs pouvoirs) et comparer leurs réponses aux procédures qui ont été utilisées par des personnes très créatives dans le passé. Ce type d'entretien pourrait nous éclairer sur les poètes qui ont les meilleures approches pour produire des idées créatives. Pour les poètes suffisamment célèbres pour avoir laissé derrière eux un nombre important d'œuvres publiées, on pourrait utiliser des méthodes historiométriques - analyse statistique de données rétrospectives - mais cela se limiterait à des comparaisons entre poètes d'envergure pour lesquels de telles données existent.
Chacune de ces trois approches pourrait vous renseigner sur la créativité des poètes, mais aucune d'entre elles n'est évidente. Pourquoi ne pas demander à un groupe d'experts en poésie (par exemple, d'autres poètes, des éditeurs d'anthologies de poésie, des professeurs de poésie et des critiques de poésie) de juger de la créativité des poèmes écrits par chacun des poètes ? C'est cette dernière option qui est à l'origine de la technique d'évaluation consensuelle (CAT).
Initialement développée par Amabile (1982, 1983, 1996), la CAT évalue la créativité en demandant à des experts d'évaluer la créativité d'un ensemble d'artefacts provenant de n'importe quel domaine. Pratiquement tous les domaines peuvent être testés de cette manière, y compris les recettes, les conceptions d'ingénierie, les spectacles de danse, les œuvres d'art, les théories scientifiques et les conceptions expérimentales, les théories mathématiques, les campagnes publicitaires et les compositions musicales. Les experts du domaine en question travaillent indépendamment pour évaluer la créativité comparative de tous les artefacts de l'ensemble.
Dans l'exemple qui ouvre ce chapitre, on peut demander à un groupe d'experts en poésie d'évaluer tous les poèmes de l'ensemble, du plus créatif au moins créatif, ou leur demander de les classer en piles en fonction de leur niveau de créativité. Il n'y a pas de nombre magique de "piles", mais une fourchette comprise entre cinq et neuf est assez courante ; s'il y en a trop peu, le tri ne se fera pas, et s'il y en a trop, cela reviendra presque à classer tous les poèmes ou autres artefacts.) Les artefacts sont jugés uniquement les uns par rapport aux autres, et non par rapport à une norme ou un idéal externe ou préalablement établi. Les experts des évaluations CAT travaillent de manière indépendante et n'ont pas l'occasion de communiquer ou d'influencer leurs jugements respectifs. Néanmoins, dans chaque domaine, les experts ont tendance à être d'accord.
La fiabilité inter-évaluateurs est généralement très élevée, le plus souvent de 0. 80 ou plus ; ces niveaux élevés d'accord ont été constatés dans de nombreuses études (Amabile, 1982, 1983, 1996 ; Baer, 1991, 1993, 1994, 1996, 1997, 2016 ; Baer, Kaufman, & Gentile, 2004 ; Hennessey, 1994 ; Hennessey & Amabile, 1999 ; Kaufman, Baer, & Cole, 2009 ; Kaufman, Baer,Cole, & Sexton, 2008 ; Kaufman, Baer, Cropley, Reiter-Palmon, & Sinnett2013 ; Kaufman, Baer, & Gentile, 2004 ; Kaufman, Evans, & Baer, 2010). La fiabilité inter-évaluateurs est une mesure de la fiabilité, bien sûr, et non de la validité. Il est important de garder cette distinction à l'esprit lors de l'utilisation du TAO. La fiabilité du TAO est en effet évaluée par des mesures de fiabilité inter-évaluateurs telles que le salpha de Cronbach, mais la validité du TAO est garantie par le fait que cette fiabilité ne se produit que lorsque des juges experts dans un domaine évaluent la créativité des produits de ce domaine. Ce qui est considéré comme créatif dans un domaine est à la fois défini et attesté par l'expertise combinée des évaluateurs. Les opinions des novices peuvent être un indicateur de popularité, mais leurs idées ne sont liées à la créativité que dans la mesure où elles peuvent convaincre l'opinion des gardiens et des décideurs dans ce domaine. Des changements interviennent dans tous les domaines, bien sûr, y compris dans ce qui est considéré comme créatif. Mais ce type de changement ne se produit que lorsque l'expertise combinée du domaine change. Les outsiders (non-experts) peuvent devenir des insiders (experts reconnus), bien sûr, et les nouveaux venus dans un domaine peuvent être les plus susceptibles d'initier des changements dans ce qui est considéré comme créatif (ou même acceptable) dans un domaine. Mais l'argument selon lequel les experts définissent le domaine et déterminent ce qui est créatif dans ce domaine reste vrai même si de tels changements se produisent.
Ce processus de changement est rarement rapide. Kuhn, citant Planck, a suggéré que les nouveaux paradigmes ne sont largement acceptés que lorsque les tenants des opinions antérieures quittent le domaine : Max Planck, faisant le point sur sa propre carrière dans son Autobiographie scientifique, a tristement remarqué qu'"une nouvelle vérité scientifique ne triomphe pas en convainquant ses opposants et en leur faisant voir la lumière, mais plutôt parce que ses opposants finissent par mourir et qu'une nouvelle génération grandit et se familiarise avec elle". (Le CAT a été qualifié d'"étalon-or" de l'évaluation de la créativité (Carson, 2006), et ce pour de bonnes raisons.
La plupart des mesures sont soit générales, soit artificielles, soit fondées sur d'autres concepts (comme l'intelligence). Comment tester autrement la créativité des poètes ? Imaginons qu'une nouvelle évaluation de la créativité soit publiée et que les scores des membres d'un domaine (comme la poésie) soient en désaccord avec le jugement combiné et indépendant des experts de ce domaine. Que pourrait signifier cette divergence ? Si l'on part du principe qu'il n'existe pas de norme objective absolue pour déterminer la créativité des œuvres d'un domaine, le jugement des experts de ce domaine importe plus que les résultats d'une rubrique imposée de l'extérieur.
Les taux élevés de fiabilité entre évaluateurs ne garantissent donc la validité du TAO que lorsque des experts du domaine en question font office de juges. L'accord entre non-experts ne nous dit rien sur la validité d'une évaluation CAT. Serait-il judicieux de demander à des non-mathématiciens de voter pour l'attribution de la médaille Fields en mathématiques ? En fait, la recherche a montré que les jugements des experts et des novices dans de nombreux domaines varient considérablement (voir Kaufman & Baer, 2012, pour un aperçu plus détaillé). Si un groupe de novices est suffisamment important, il peut y avoir un certain niveau d'accord entre les évaluateurs (par exemple, Kaufman et al., 2008, 2009, 2013). Mais si ces jugements ne concordent pas avec ceux des experts (et c'est souvent le cas), ces évaluations ne sont pas des mesures valides, car seules la compréhension et la maîtrise que les experts d'un domaine apportent à la tâche - une expertise qui définit essentiellement les normes du domaine - témoignent de la validité des évaluations (Kaufman et al., 2008, 2009 ; Lee, Lee, & Young, 2005).
En effet, les novices peuvent même être d'accord sur la personne qui devrait recevoir la médaille Fields, même s'ils ne comprennent certainement pas les mathématiques. D'autres novices pourraient se mettre d'accord sur les œuvres d'art abstraites les plus créatives, même s'ils n'ont aucune expérience dans le domaine ; un autre groupe de novices pourrait se mettre d'accord sur les essais les plus créatifs concernant les Contes de Canterbury de Chaucer, même s'ils ne comprennent pas l'anglais moyen. Mais que signifient de tels accords ? La fiabilité inter-évaluateurs ne nous dit rien sur la validité, à moins que les juges ne soient des experts dans le domaine en question.
Les experts utilisés dans les évaluations CAT ne doivent pas nécessairement être les personnes les plus célèbres dans leur domaine. Pour juger de la créativité quotidienne, typique de la plupart des études sur la créativité, le type d'expertise requis pourrait inclure une familiarité avec le genre de choses que les novices dans un domaine créent généralement. Par exemple, les juges de la créativité des œuvres d'art des élèves de huitième année peuvent raisonnablement être des enseignants et des artistes familiers avec le travail des élèves de cet âge. Les artistes dont les œuvres sont exposées au Metropolitan Museum of Modern Art ne sont pas nécessaires (et diraient probablement non). L'expertise comprend la connaissance des types particuliers de choses jugées. Des non-experts peuvent-ils être utilisés pour des évaluations TAO précises ? Oui, mais seulement dans des conditions spécifiques. La règle de base est que si l'on peut démontrer que les non-experts produisent des résultats qui concordent systématiquement avec ceux des experts dans un domaine, ces jugements (étant essentiellement les mêmes) peuvent remplacer ceux des experts.
En général, cependant, les novices purs ne montrent pas un tel chevauchement. En fait, il a été démontré dans certains domaines (mais pas dans d'autres) que les quasi-experts - des personnes ayant un certain niveau de formation ou de compétence dans un domaine, mais pas (encore) au point d'être qualifiées d'experts - peuvent être remplacés par de véritables experts sans que les évaluations ne soient affectées de manière significative (Kaufman et al...), 2008, 2009, 2013 ; Leeet al. 2005). Le CAT se concentre sur les produits créatifs, qui ne sont que l'un des quatre P du modèle classique des 4 P de la créativité (Rhodes, 1961, 1987). Les quatre P sont bien sûr intéressants, mais il convient de rappeler que trois de ces quatre P (personne, processus et presse) ne sont vraiment intéressants qu'en raison du quatrième, le produit. Une pression (environnement) qui nourrit la créativité, un processus de réflexion ou une heuristique qui mène à la créativité, ou encore un trait de personnalité qui favorise les performances créatives ne sont pertinents pour la créativité que parce qu'ils sont associés à des performances, des idées ou des produits créatifs.
Si un environnement, un processus ou un trait de personnalité n'est pas plus susceptible que le hasard de conduire à des résultats plus créatifs, alors il n'a pas de relation particulière avec la créativité. Comme l'affirme Csikszentmihalyi (1999), "si la créativité doit avoir un sens utile, elle doit se référer à un processus qui aboutit à une idée ou à un produit reconnu et adopté par d'autres". L'originalité, la fraîcheur du point de vue et la capacité à penser différemment sont toutes des caractéristiques personnelles souhaitables. Mais sans une certaine forme de reconnaissance publique, elles ne constituent pas une créativité...
L'hypothèse sous-jacente [à tous les tests de créativité] est qu'une qualité objective appelée "créativité" est révélée dans les produits et que les juges et les évaluateurs peuvent la reconnaître" (p. 314). Le CAT se concentre sur les produits créatifs, mais il peut néanmoins être utilisé pour en apprendre davantage sur les processus créatifs, les presses et les personnalités en montrant lesquels de ces éléments tendent à être associés à ce que le CAT juge : des performances créatives ou des produits d'un certain type. Ce qui est considéré comme créatif en Chine, par exemple, peut ne pas correspondre exactement à ce qui est considéré comme créatif aux États-Unis, au Japon, en Arabie Saoudite ou en Corée du Sud (certains des pays où ces comparaisons ont été effectuées).
Prenons l'exemple de la nouveauté et de l'adéquation, deux éléments clés de la créativité. Paletz et Peng (2008) ont constaté que les évaluateurs du Japon, de la Chine et des États-Unis accordaient tous de l'importance à la nouveauté, mais que les juges chinois accordaient moins d'importance à l'adéquation. Niu et Sternberg (2001) ont constaté que les juges chinois attribuaient généralement des notes plus élevées en matière de créativité que les juges américains. Il est toutefois intéressant de noter qu'en dépit de ces différences culturelles mineures, les évaluations CAT des mêmes objets varient généralement peu d'une culture à l'autre (Chen et al., 2002 ; Hennessey, Kim, Guomin, & Weiwei, 2008 ; Paletz & Peng, 2008 ; Rostan, Pariser, & Gruber, 2002).
Dans la mesure où il existe des différences culturelles dans ce que signifie être créatif dans un domaine donné, le TAO produirait de manière appropriée des évaluations quelque peu différentes pour les mêmes artefacts dans différentes cultures. Le TAO permet donc de telles comparaisons. De la même manière, les évaluations du TAO peuvent évoluer dans le temps, tout comme les jugements des experts dans un domaine évoluent avec le temps (Csikszentmihalyi, 1999). La créativité n'est ni univoque ni immuable, et les évaluations CAT devraient refléter (et reflètent) cette réalité.
Le CAT évalue ce qui est créatif à un moment donné et dans une culture donnée.1
Le CAT s'est avéré utile pour tester les théories de la créativité en partie parce qu'il n'est pas lui-même basé sur une théorie particulière de la créativité. En revanche, la plupart des tests de créativité du passé partaient du principe que ce qu'ils testaient était la créativité générale, c'est-à-dire des aptitudes à la pensée créative pouvant être appliquées dans pratiquement n'importe quel domaine. Prenons l'exemple des Tests de pensée créative de Torrance (TTCT), qui sont de loin les évaluations de la créativité les plus utilisées (Kaufman, Plucker & Baer, 2008 ; Torrance & Presbury, 1984). Même s'ils existent en deux versions, figurative et verbale, Plucker (1998) a noté que "[a]ucune hypothèse n'est faite selon laquelle la performance est spécifique uniquement à la tâche ou au domaine de contenu abordé dans un test de pensée divergente particulier. Même la création de versions figuratives et verbales du TTCT n'est pas une reconnaissance [de cette possibilité]" (p. 179). Cela les rend inutilisables pour déterminer si la créativité est un domaine général (comme le supposent ces tests) ou si les compétences sous-jacentes à la performance créative sont différentes dans différents domaines (domaine spécifique).
Par nature, les évaluations CAT portent sur la créativité dans une tâche particulière (et donc dans un domaine particulier). Cependant, le créateur du CAT, Amabile (1983), a initialement développé et utilisé le CAT pour des recherches qui ignoraient les domaines. Sa recherche initiale s'est concentrée sur la motivation à l'égard d'une tâche et a semblé supposer que ce qui a été trouvé sur la motivation en utilisant l'écriture de poèmes ou la création de collages comme mesure serait également vrai pour la motivation à l'égard de toutes les autres tâches liées à la créativité. Mais même si l'on peut interpréter les résultats du TAO comme des mesures générales d'un domaine, il s'agit là d'une hypothèse de l'utilisateur, et non du TAO lui-même. Le TAO n'impose pas d'interprétation générale ou spécifique à un domaine. Cette flexibilité a permis d'utiliser le CAT de manière productive dans de nombreuses études qui se sont concentrées sur la question de savoir si la créativité était générale ou spécifique à un domaine.
Comme l'a noté Plucker (1998), les recherches sur le TAO ont été presque universellement favorables à la spécificité du domaine, bien qu'il ait également noté que "les listes de contrôle de la créativité et d'autres évaluations traditionnelles suggèrent que la créativité est générale sur le plan du contenu" (pp. 179-180). Le TAO peut également être utilisé pour évaluer les performances créatives dans le cadre de concours, d'admissions à des programmes ou d'autres évaluations individuelles à fort enjeu (Baer & McKool, 2009, 2014). Tout comme les auditions d'orchestres sans distinction de sexe ont permis aux juges de se concentrer sur la musicalité et, ce faisant, d'éliminer une source importante de préjugés sexistes qui avaient entravé la sélection des femmes à des postes convoités2, les évaluations de la créativité à l'aide du TAO peuvent réduire une variété de préjugés qui peuvent se produire si quelqu'un est évalué par un enseignant ou un superviseur.
Par exemple, lorsque les produits sont évalués avec des noms visibles, des préjugés peuvent se produire.
Curieusement, les préjugés sexistes peuvent être trouvés dans les deux sens. Kaufman, Baer, Agar et Loomis (2010) ont constaté que les poèmes apparemment écrits par des femmes caucasiennes recevaient les meilleures notes, tandis que Lebuda et Karwowski (2013) ont constaté des préjugés pour les noms masculins. Toutefois, il n'y a généralement pas de différences (ou des différences peu marquées) en fonction du sexe (voir Baer & Kaufman, 2008, pour une vue d'ensemble). En ce qui concerne l'origine ethnique, bien que les mesures de QI et de réussite montrent souvent des biais pour les Caucasiens (Kaufman, 2010, 2015), les mesures de créativité telles que le CAT ne montrent pas de différences en fonction de l'origine ethnique (par exemple, Kaufman et al., 2004, 2010).
Le CAT est l'étalon-or de l'évaluation de la créativité, mais cela signifie-t-il qu'aucune autre méthode d'évaluation de la créativité ne peut être aussi valable ? Bien sûr que non. Par exemple, bien que la créativité auto-déclarée (comme les auto-déclarations en général) puisse avoir une validité discutable dans le cadre d'une évaluation à enjeux élevés, si l'on veut comprendre comment les participants à la recherche perçoivent leur propre créativité, les auto-déclarations seraient plus appropriées que les évaluations réelles de la performance créative. Cette approche a en effet été employée par des chercheurs qui ont étudié la précision des auto-évaluations de la créativité : le TAO a été utilisé pour mesurer la créativité réelle, et les auto-évaluations ont été utilisées pour mesurer le degré de créativité que les participants pensent avoir (Kaufman, Beghetto, & Watson, 2016; Kaufman et al., 2010).
Mais la valeur du TAO ne se limite pas à la recherche axée sur la performance créative. Il peut également être utilisé, seul ou en conjonction avec d'autres approches d'évaluation, pour en savoir plus sur certaines des qualités (par exemple, les environnements, les capacités de réflexion, les heuristiques de résolution de problèmes, les traits de personnalité) qui peuvent conduire à la performance créative dans un domaine. Le TAO n'évalue pas la créativité des environnements, des capacités de réflexion, des heuristiques de résolution de problèmes ou des traits de personnalité. Mais en évaluant les performances créatives réelles, basées sur le TAO,
- (a) de sous-objets travaillant dans différents environnements,
- (b) de sujets ayant des niveaux variables de certaines capacités de réflexion,
- (c) de sujets utilisant différentes heuristiques de résolution de problèmes, et
- (d) de sujets ayant des traits de personnalité différents,
on peut déduire lesquels de ces éléments semblent être associés aux performances créatives réelles dans un domaine ou une circonstance donnés.
L'"or" de la description de l'"étalon-or" suggère que le TAO est peut-être la meilleure technique d'évaluation de la créativité, mais il fait également allusion à une faiblesse du TAO : il est très coûteux, à la fois en termes de temps et de ressources. Ce n'est pas que quelqu'un contrôle le TAO ou le vende - son utilisation est gratuite pour tout le monde - mais il faut des groupes de juges experts pour évaluer les artefacts, et il faut normalement rémunérer les experts pour leur travail. Le fait que la créativité des artefacts soit jugée à l'aide du TAO signifie également que les artefacts eux-mêmes doivent exister. Dans la plupart des études de recherche, les participants doivent donc d'abord créer ces artefacts, ce qui peut prendre beaucoup de temps et d'efforts dans la plupart des domaines.
Même si l'on fait appel à des quasi-experts, il faut s'attendre à une dépense importante de temps et de ressources pour obtenir les évaluations. Le TAO a une autre limite importante : il ne peut pas produire de scores standardisés comme le font le QI et de nombreux tests d'accomplissement. La créativité des objets, des idées ou des performances d'un groupe est jugée les uns par rapport aux autres, et non par rapport à une norme préétablie. Si l'on utilise le CAT sur deux ensembles d'artefacts du même domaine - par exemple, deux ensembles de 50 poèmes - et que les poèmes sont classés du plus créatif au moins créatif, il y aura dans chaque ensemble un poème le plus créatif et un poème le moins créatif (et 48 poèmes classés dans l'ordre intermédiaire).
Il n'y a cependant aucun moyen de savoir, sur la base de ces évaluations CAT, si les poèmes d'un groupe sont plus ou moins créatifs que ceux de l'autre groupe (à moins de mener d'autres recherches, par exemple en demandant à un nouveau groupe d'experts d'évaluer la créativité de l'ensemble des 100 poèmes ou d'un sous-échantillon aléatoire de chaque groupe).
De même, si les experts ont évalué les poèmes des deux groupes séparément sur une échelle de 1 à 5 (ou toute autre échelle) de la moins créative à la plus créative, il n'est pas possible de comparer une note de 4 dans un groupe avec une note de 4 dans l'autre groupe, car les poèmes de chaque groupe ont été comparés uniquement à d'autres poèmes de ce groupe. Cela impose certaines restrictions quant à l'utilisation des notes CAT.
Dans la plupart des cas, cependant, les notes standardisées ne sont pas nécessaires. (L'idée d'évaluations normalisées de la créativité semble presque oxymorique, n'est-ce pas ?)
Pour les groupes d'artefacts qui sont trop nombreux pour être tous jugés par le même groupe d'experts, il existe cependant des techniques pour noter l'ensemble du groupe, par exemple en prélevant quelques artefacts dans chaque groupe et en les utilisant pour égaliser les notes des différents sous-groupes, ou en attribuant au hasard des artefacts aux sous-groupes en partant du principe que la créativité globale de tous les sous-groupes est probablement similaire (Baer & McKool, 2009, 2014). Des méthodes de mise en équation similaires sont utilisées, à plus grande échelle, pour comparer les résultats de différentes formes de tests standardisés comme le SAT (Dorans, 2008 ; Livingston, 2014).
Nous nous intéressons à la créativité, ce qui signifie que nous devons nous intéresser à la manière dont elle est évaluée.
Les tests de créativité qui manquent de validité conduisent à des résultats expérimentaux auxquels nous ne pouvons pas faire confiance (et qui ont tendance à se contredire ; Baer, 2011, 2016). L'utilisation du CAT - l'"étalon-or" - est gourmande en ressources, comme nous l'avons vu plus haut. Mais ne serait-il pas plus sage d'avoir un plus petit nombre d'études sur la créativité basées sur les mesures les plus valides que d'avoir un plus grand nombre d'études dont les résultats ne sont pas fiables ?
