La densidad léxica se refiere a la proporción de palabras léxicas y funcionales en cualquier texto o colecciones de texto. Es una rama de la lingüística computacional y el análisis lingüístico. Está vinculado al vocabulario, las palabras conocidas de cualquier individuo y se puede utilizar para comparar los léxicos hablados y escritos de cualquier persona. El léxico se diferencia del vocabulario total porque no incluye palabras funcionales como pronombres y partículas.
La densidad de un discurso o texto se calcula comparando el número de palabras léxicas y el número de palabras funcionales. Las oraciones cortas y los textos pequeños se pueden calcular usando aritmética mental o contando simplemente. Las comparaciones más grandes, digamos de Charles Dickens o William Shakespeare, se realizan introduciendo la información en un programa de computadora. El programa tamizará el texto en palabras funcionales y léxicas.
La densidad léxica equilibrada es de aproximadamente el 50 por ciento. Esto significa que la mitad de cada oración se compone de palabras léxicas y la mitad de palabras funcionales. Un texto de baja densidad tendrá una proporción inferior a 50:50 y un texto de alta densidad tendrá más de 50:50. Los textos académicos y los documentos gubernamentales llenos de jerga tienden a producir las densidades más altas.
Una falla en el cálculo de la densidad léxica es que no toma en cuenta las diferentes formas y casos de las palabras constituyentes. El análisis estadístico tiene como objetivo únicamente estudiar la proporción de tipos de palabras. No produce un estudio del conocimiento léxico de un individuo. Si lo hiciera, el análisis de densidad léxica diferenciaría entre formas como «dar» y «dar». Teóricamente, la densidad léxica se puede aplicar a los textos para estudiar la frecuencia de ciertas unidades léxicas.
El léxico escrito de una persona se puede ayudar mediante el uso de diccionarios y tesauros. Estas herramientas proporcionan palabras alternativas y aclaran significados. Al hablar, una persona debe confiar únicamente en su vocabulario mental. Esto significa que la densidad léxica se puede utilizar como una herramienta para comparar léxicos hablados y escritos. La densidad léxica de las lenguas habladas tiende a ser menor que la de un texto escrito.
La lingüística computacional es un área de modelado estadístico del análisis lingüístico. Nació de la Guerra Fría y del deseo de Estados Unidos de usar computadoras para traducir textos del ruso al inglés. Hacerlo requirió el uso de matemáticas, estadística, inteligencia artificial y programación de computadoras. El mayor problema para los programadores era lograr que la computadora entendiera la gramática compleja y la pragmática del lenguaje. Esto dio lugar a la teoría de China Room de que las computadoras pueden realizar traducciones literales de palabras, pero, en última instancia, no pueden comprender idiomas.