La hipótesis distributiva plantea la idea de que las palabras con el mismo significado se agrupan dentro de los textos. La idea examina las palabras por su significado y su distribución a lo largo de un texto. Esto luego se compara con las distribuciones de palabras con significados similares o relacionados. Dichos exámenes determinan que las palabras ocurren juntas dentro de su contexto debido a sus significados similares o relacionados.
La hipótesis distributiva fue sugerida por primera vez por el lingüista británico JR Firth. Es conocido por la cita más famosa sobre la idea «Sabrás una palabra por la compañía que mantiene». Firth, quien también es bien conocido por sus estudios sobre la prosodia, creía que ningún sistema explicaría nunca cómo funciona un idioma. En cambio, creía que se necesitarían varios sistemas superpuestos.
El lingüista estadounidense Zellig Harris se basó en el trabajo de Firth. Quería usar las matemáticas para estudiar y analizar datos lingüísticos. Sus ideas sobre la contribución de las matemáticas a tales estudios son importantes, pero también es conocido por cubrir una amplia gama de ideas lingüísticas durante su vida.
Los estudios sobre la hipótesis distributiva son parte del examen de la lingüística. Se utilizan métodos matemáticos y estadísticos, no lingüísticos, para examinar grandes cantidades de datos lingüísticos. Esto significa, por tanto, que la hipótesis distributiva es parte de la lingüística computacional y la semántica estadística. También se relaciona con ideas de lingüistas y filósofos lingüísticos sobre el desarrollo de las lenguas nativas en los niños, un proceso conocido como adquisición del lenguaje.
La semántica estadística utiliza algoritmos matemáticos para estudiar la distribución de palabras. Estos resultados luego se filtran por significado y se estudian más a fondo para descubrir la distribución de palabras relacionadas por significado. Hay dos métodos principales de semántica estadística: distribución por grupos de palabras y por región de texto.
El estudio de la distribución de palabras por grupos de significados relacionados se denomina Hiperespacio Análogo al Lenguaje (HAL). HAL examina las relaciones de las palabras agrupadas en un texto. Esto puede ser dentro de una oración o dentro de un párrafo, pero rara vez más lejos que eso. La distribución semántica de las palabras está determinada por la frecuencia con la que aparecen unas junto a otras.
Los estudios de texto completo utilizan el análisis semántico latente (LSA). Este es un método de procesamiento de lenguaje natural. Las palabras con un significado cercano aparecerán cerca unas de otras a lo largo de un texto. Dichos textos se examinan en busca de grupos mediante un método matemático llamado Descompresión de valores singulares (SVD).
Los datos extraídos de los estudios sobre la hipótesis distributiva se están utilizando para estudiar los componentes básicos de la semántica y las relaciones de palabras. Más allá de un enfoque estructuralista, la hipótesis se puede aplicar a la Inteligencia Artificial (IA). Esto ayudaría a los programas de computadora a comprender mejor la relación y distribución de palabras. También tiene implicaciones sobre cómo los niños procesan las palabras y crean asociaciones de palabras y oraciones.