O efeito da modalidade é um termo usado em psicologia experimental para explicar o efeito de como as informações são apresentadas na memória e no aprendizado. Pesquisas realizadas por Sweller et al em 1988 e Moreno e Mayer em 1999 mostraram que a carga de memória é reduzida quando a informação é apresentada de forma auditiva ao invés de visual. Especificamente, verificou-se que há uma melhoria na recordação dos itens finais de uma lista quando a lista foi falada em vez de lida.
A modalidade de apresentação e seu efeito na aprendizagem têm sido de interesse dos psicólogos há muitos anos. Uma revisão inicial da literatura relevante por McGeoch em 1942 concluiu que não há efeito de modalidade. Estudos posteriores, no entanto, apóiam a visão geral de que materiais apresentados auditivamente são melhor lembrados do que materiais apresentados visualmente ao medir a memória de curto prazo. Isso se aplica mais aos últimos quatro ou cinco itens em uma lista com as posições intermediárias aparentemente pouco afetadas pelo efeito da modalidade.
Uma explicação para esse fenômeno é a existência de memória ecóica, que é o registro sensorial auditivo ou armazenamento auditivo que retém uma entrada de som por dois ou cinco segundos após ter sido emitido ou ouvido. Essa memória sensorial permite ao aluno relembrar os últimos itens de uma lista, mas, como a informação não foi processada ou estudada, muitas vezes não é possível relembrar a longo prazo. A memória de longo prazo requer mudanças físicas no cérebro que ocorrem pelo processamento de informações.
Em 1969, Crowder e Morton propuseram que os seres humanos tivessem um armazenamento auditivo pré-linguístico, o PAS, que armazena os sons da fala por até dois segundos. Essas informações estão altamente disponíveis para serem recuperadas e facilmente recirculadas, mas mal processadas. Para que os itens do PAS sejam relembrados posteriormente, eles primeiro precisam ser codificados no cérebro por meio de métodos como repetição e ensaio.
Tanto Sweller et al e Moreno e Mayer afirmam que quando a instrução multimídia consiste em um texto e uma imagem, há uma alta demanda colocada na memória de trabalho, pois o aluno precisa integrar informações visuais e espaciais. Memória de trabalho é outro termo para memória de curto prazo. A carga de memória foi reduzida quando o aluno teve que processar apenas informações auditivas. De acordo com um modelo de memória de trabalho apresentado por Baddeley (1992), existem dois sistemas escravos de modalidade específica envolvidos no processamento de informações. O primeiro é para o processamento de informações visuais e espaciais e o segundo é para o processamento de informações acústicas. Quando as informações são apresentadas em ambas as modalidades ao mesmo tempo, a capacidade total da memória de trabalho é aumentada.