Analizador Lexico
por Karla Mendoza

1. Tokens
1.1. Es un par que consiste en un nombre d e token y un valor de atributo opcional
2. Que es?
2.1. Es la primera fase de un compilador consistente en un programa que recibe como entrada el código fuente de otro programa (secuencia de caracteres) y produce una salida compuesta de tokens (componentes léxicos) o símbolos.
3. Elimina
3.1. Espacios en blanco, linea, comentarios y demas
4. Tiene
4.1. Reconocimiento de identificadores y Palabras claves
4.1.1. Es encargado de construir los lexemas que constituyen los identificadores de los lenguajes de programacion
4.2. Reconocimiento de constantes
4.2.1. Tarea de agrupar dígitos para formar enteros