El efecto de modalidad es un término utilizado en psicología experimental para explicar el efecto que tiene la forma en que se presenta la información sobre la memoria y el aprendizaje. La investigación llevada a cabo por Sweller et al en 1988 y Moreno y Mayer en 1999 ha demostrado que la carga de memoria se reduce cuando la información se presenta de manera auditiva en lugar de visual. Específicamente, se ha encontrado que hay una mejora en el recuerdo de los elementos finales en una lista cuando la lista se dijo en lugar de leerla.
La modalidad de presentación y su efecto sobre el aprendizaje ha sido de interés para los psicólogos durante muchos años. Una revisión temprana de la literatura relevante realizada por McGeoch en 1942 concluyó que no hay efecto de modalidad. Sin embargo, estudios posteriores apoyan la opinión general de que los materiales presentados de forma auditiva se recuerdan mejor que los materiales presentados visualmente cuando se mide la memoria a corto plazo. Esto se aplica más a los últimos cuatro o cinco elementos de una lista con las posiciones intermedias aparentemente poco afectadas por el efecto de la modalidad.
Una explicación de este fenómeno es la existencia de memoria ecoica, que es el registro sensorial auditivo o almacenamiento auditivo que retiene una entrada de sonido durante dos o cinco segundos después de que se ha pronunciado u oído. Esta memoria sensorial permite que el alumno recuerde los últimos elementos de una lista pero, debido a que la información no se ha procesado o estudiado, a menudo no es posible recordarlos a largo plazo. La memoria a largo plazo requiere cambios físicos en el cerebro que se producen mediante el procesamiento de la información.
En 1969, Crowder y Morton propusieron que los seres humanos tuvieran un almacén auditivo prelingüístico, PAS, que almacena los sonidos del habla hasta por dos segundos. Esta información está muy disponible para recordar y se puede volver a circular fácilmente, pero se procesa de manera deficiente. Para que los elementos de PAS se recuperen en una fecha posterior, primero deben codificarse en el cerebro a través de métodos como la repetición y el ensayo.
Tanto Sweller et al como Moreno y Mayer sostienen que cuando la instrucción multimedia consta de un texto y una imagen, existe una gran demanda en la memoria de trabajo, ya que el alumno necesita integrar información visual y espacial. La memoria de trabajo es otro término para la memoria a corto plazo. Se descubrió que la carga de memoria se reducía cuando el alumno tenía que procesar solo información auditiva. De acuerdo con un modelo de memoria de trabajo presentado por Baddeley (1992), hay dos sistemas esclavos de modalidad específica involucrados en el procesamiento de la información. El primero es para procesar información visual y espacial y el segundo es para procesar información acústica. Cuando la información se presenta en ambas modalidades al mismo tiempo, aumenta la capacidad total de la memoria de trabajo.