Analizador Lexico.

¿Qué es el analizador léxico?

Esta es la primera fase del compilador, ya que esta es la que se encarga de leer el código fuente y agruparlo en tokens. Esta parte es muy esencial en el proceso de la compilación, ya que al momento de dividir el código en tokens hace posible que el compilador pase a sus siguientes fases.

¿Qué es un token?

Un token puede ser una palabra clave, un operador o un identificador, etc. Por ejemplo, una palabra clave agrupada en tokens sería “else”; ahora, un operador en token sería “+”, y un identificador agrupado en tokens sería “nombre”. En la figura 1 se muestra un código fuente en x lenguaje que esta alado izquierdo y al lado derecho ya se encuentra el código fuente dividido en tokens, el cual describe su categoría y su valor.

Figura 1 Proceso de análisis léxico: descomposición de una expresión en tokens identificados según su categoría, incluyendo identificadores, operadores, y puntuación.

Compiladores UGB. (2016). Concepto de token, patrones, lexema y atributo.  https://compiladoresugb.wordpress.com/2016/06/01/concepto-de-token-patrones-lexema-y-atributo/

 A continuación también dejaré un video donde explican más a fondo y con más detalle sobre el analizador léxico. ya que para la elaboración de este se utilizan los autómatas. 

Video 1.

Compiladores y lenguajes.   (2020, 7 de septiembre). Introducción a los analizadores léxicos | Compiladores [Video]. YouTube. https://www.youtube.com/watch?v=oXQIJRhoFqw

Tokenización del lenguaje 

Figura 2. aqui se puede ver la tokens del lenguaje que se realizo.

Israel Jimenez. creador de la imagen..

En la figura 2 se ve cada token que tiene el lenguaje que se realizó y cuáles son sus atributos

¿Qué es un autómata?

Un autómata es un modelo matemático para una máquina de estado finito.     Y está compuesta de la siguiente manera, como se mostrará en la figura 3.   En los autómatas existen dos variantes, las cuales son los autómatas deterministas y los no deterministas.    En la figura 2 se muestra un código fuente en x lenguaje que está al lado izquierdo y al lado derecho ya se encuentra el código fuente dividido en tokens, el cual describe su categoría y su valor.

Figura 3 pasos que debetener un automata.

Coding or Not. (2018). Simbología de la representación gráfica de un autómata [Imagen]. Coding or Not. https://codingornot.com/wp-content/uploads/2018/07/simbologia-de-la-representacion-grafica-de-un-automata.png 

También dejaré otro video con la explicación más detallada sobre los autómatas.

Video 2

Matemáticas Profe Alex. (2021, septiembre 8). Teoría de autómatas y lenguajes formales clase 1 [Video]. YouTube. https://www.youtube.com/watch?v=4UJ55-tXcAM&list=PLUX4w5Bq5n7NsSgVf1yY5ZymJjDw_ZYIn

Autómata del lenguaje.

Figura 4. en la figura se ve la creación de un autómata para un lenguaje sobre una cakculadora basica.

 Israel 

En la figura 4 se aprecia cómo sobre un lenguaje que está basado sobre una calculadora se pudo crear un autómata para que se vea cómo funcionaría antes de programar.