L’effet de modalité est un terme utilisé en psychologie expérimentale pour expliquer l’effet de la manière dont l’information est présentée sur la mémoire et l’apprentissage. Des recherches menées par Sweller et al en 1988 et Moreno et Mayer en 1999 ont montré que la charge mémoire est réduite lorsque l’information est présentée de manière auditive plutôt que visuelle. Plus précisément, il a été constaté qu’il y a une amélioration du rappel des éléments finaux d’une liste lorsque la liste a été prononcée plutôt que lue.
La modalité de présentation et son effet sur l’apprentissage intéressent les psychologues depuis de nombreuses années. Une première revue de la littérature pertinente par McGeoch en 1942 a conclu qu’il n’y a pas d’effet de modalité. Des études ultérieures, cependant, soutiennent l’opinion générale selon laquelle les matériaux présentés auditivement sont mieux rappelés que les matériaux présentés visuellement lors de la mesure de la mémoire à court terme. Cela s’applique davantage aux quatre ou cinq derniers éléments d’une liste, les positions intermédiaires semblant peu affectées par l’effet de modalité.
Une explication de ce phénomène est l’existence d’une mémoire échoïque qui est le registre sensoriel auditif ou la mémoire auditive retenant une entrée sonore pendant deux ou cinq secondes après qu’elle a été prononcée ou entendue. Cette mémoire sensorielle permet à l’apprenant de se rappeler les derniers éléments d’une liste mais, parce que l’information n’a pas été traitée ou étudiée, le rappel à long terme n’est souvent pas possible. La mémoire à long terme nécessite des changements physiques dans le cerveau qui résultent du traitement de l’information.
En 1969, Crowder et Morton ont proposé que les êtres humains aient une mémoire auditive prélinguistique, PAS, qui stocke les sons de la parole pendant deux secondes maximum. Cette information est hautement disponible pour rappel et facilement recirculée mais mal traitée. Pour que les éléments du PAS soient rappelés à une date ultérieure, ils doivent d’abord être encodés dans le cerveau par des méthodes telles que la répétition et la répétition.
Sweller et al, ainsi que Moreno et Mayer soutiennent que lorsque l’instruction multimédia se compose d’un texte et d’une image, la mémoire de travail est fortement sollicitée car l’apprenant doit intégrer des informations visuelles et spatiales. La mémoire de travail est un autre terme pour la mémoire à court terme. La charge de mémoire s’est avérée réduite lorsque l’apprenant devait traiter uniquement des informations auditives. Selon un modèle de mémoire de travail présenté par Baddeley (1992), il existe deux systèmes esclaves spécifiques à une modalité impliqués dans le traitement de l’information. Le premier est destiné au traitement des informations visuelles et spatiales et le second au traitement des informations acoustiques. Lorsque les informations sont présentées dans les deux modalités en même temps, la capacité totale de la mémoire de travail est augmentée.