El análisis léxico es el proceso de tomar una cadena de caracteres, o, más simplemente, texto, y convertirlo en grupos significativos llamados tokens. Esta metodología tiene usos en una amplia variedad de aplicaciones, desde la interpretación de lenguajes informáticos hasta el análisis de libros. El análisis léxico no es sinónimo de análisis sintáctico; más bien, es el primer paso del proceso de análisis total y crea materia prima para su uso posterior.
Los bloques de construcción de los tokens, también llamados lexemas, se pueden generar de muchas formas, dependiendo de la gramática requerida para el análisis léxico. Un ejemplo común de esto es dividir oraciones por palabras; esto se hace frecuentemente dividiendo oraciones alrededor de espacios. Cada cadena continua de caracteres generada sin espacios es un lexema. Las cadenas de texto se pueden dividir en uno o varios tipos de caracteres, creando múltiples versiones de lexemas con diversa complejidad. Los tokens se generan después de que cada lexema ha sido evaluado y emparejado con su valor correspondiente; por definición, los tokens se refieren a este emparejamiento, no solo al lexema.
El análisis léxico, en cierto modo contrario a la intuición, despoja a una cadena de texto de su contexto. Su propósito es solo generar bloques de construcción para un estudio adicional, no para determinar si esas piezas son válidas o inválidas. En el caso de la interpretación del lenguaje informático, la validación se realiza mediante análisis de sintaxis y la validación del texto se puede realizar en términos de contexto o contenido. Si una cadena de entrada está completamente dividida en lexemas apropiados y cada uno de esos lexemas tiene un valor apropiado, el análisis se considera exitoso.
Sin contexto o la capacidad de realizar la validación, el análisis léxico no se puede utilizar de manera confiable para encontrar errores en la entrada. Una gramática léxica puede tener valores de error asignados a lexemas específicos, y dicho análisis también puede detectar tokens ilegales o mal formados. Aunque encontrar un token ilegal o con formato incorrecto indica una entrada no válida, no influye en si los otros tokens son válidos, por lo que no es estrictamente un tipo de validación.
Aunque el análisis léxico es una parte integral de muchos algoritmos, a menudo debe usarse junto con otras metodologías para crear resultados significativos. Por ejemplo, dividir una cadena de texto en palabras para determinar frecuencias utiliza la creación de lexemas, pero la creación de lexemas por sí sola no puede controlar la cantidad de veces que un lexema en particular aparece en la entrada. El análisis léxico puede ser útil por sí solo si los lexemas en sí son notables, pero una gran cantidad de entrada puede dificultar el análisis de los lexemas en bruto debido al volumen de datos.