¿Qué son los tokens en la programación?

¿Qué son los tokens en la programación?

El elemento individual más pequeño de un programa se llama Token. Todo lo que ves dentro de un programa es un token.

Por ejemplo, supongamos una oración en inglés. "El lenguaje C es un lenguaje asombroso. C fue desarrollado por Dennis Ritchie en los laboratorios AT&T Bell en 1972".

La oración anterior está compuesta de Alfabetos (a-z A-Z) , espacios en blanco , Dígitos (0-9) y caracteres especiales (punto final en nuestro caso). Estos son bloques de construcción o elementos básicos de nuestra oración. Del mismo modo, hay varios elementos de programación básicos que hacen cualquier programa.

Hay cinco tipos de fichas.

  1. Palabra clave
  2. Identificador
  3. Operador
  4. Separador
  5. Literales

¿Qué son las palabras clave?

Keyword es una palabra reservada cuyo significado ya está definido por el lenguaje de programación. No podemos usar palabras clave para ningún otro propósito dentro de la programación. Cada lenguaje de programación tiene algún conjunto de palabras clave.
Ejemplos:int, do, while, void, return, etc. (Nota:estas palabras clave son comunes a los lenguajes C y C influenciados).

¿Qué son los Identificadores?

Los identificadores son el nombre que se le da a los diferentes elementos de programación. Ya sea el nombre dado a una variable o una función o cualquier otro elemento de programación, todos siguen algunas convenciones básicas de nomenclatura que se enumeran a continuación:

  1. Las palabras clave no deben utilizarse como identificador.
  2. El identificador debe comenzar con un alfabeto a-z A-Z o un guión bajo_.
  3. El identificador puede contener letras a-z A-Z, dígitos 0-9 y guión bajo _ símbolo.
  4. El identificador no debe contener ningún carácter especial (p. ej., !@$*.'[], etc.), excepto el guión bajo _.

Ejemplos de algunos identificadores válidos

num, Num, _num, _Num, num1, Num1, _num1, _Num1, _1num, _1Num, _num_, number_to_add

etc.

Ejemplos de algunos identificadores inválidos

1num, number to add, 1_num, num-to-add, num@

etc.

¿Qué son los Operadores?

Los operadores son el símbolo dado a cualquier operación aritmética o lógica. Varios lenguajes de programación proporcionan varios conjuntos de operadores, algunos operadores comunes son:
Supongamos dos variables a=10, b=5
- el operador resta el segundo operando del primero, es decir, a - b y da como resultado 5.

Operador Descripción Ejemplo
Operador aritmético
Los operadores aritméticos se utilizan para realizar operaciones aritméticas básicas.
+ Agrega dos operandos. a + b da 15
* Multiplica dos operandos. a * b da 50
/ Dividir dos operandos. a/b da 2
% El operador Módulo divide el primer operando del segundo y devuelve el resto. Generalmente se utiliza para comprobar la divisibilidad. a % b da 0 (Como 10/5 tendrá 0 resto)
Operador de asignación
El operador de asignación se utiliza para asignar valor a una variable. El valor se asigna de derecha a izquierda.
= Asigna valor del operando derecho al operando izquierdo. a =10 asignará 10 en a

Operador relacional

Los operadores relacionales se utilizan para comprobar la relación entre dos operandos cualesquiera. Si alguno de ellos es mayor, igual o no igual.

> Si el valor del operando izquierdo es mayor que el derecho, devuelve verdadero; de lo contrario, devuelve falso (a> b) devolverá verdadero
< Si el valor del operando derecho es mayor que el izquierdo, devuelve verdadero; de lo contrario, devuelve falso (a
== Si ambos operandos son iguales, devuelve verdadero; de lo contrario, falso (a ==b) devolverá falso
!= Si ambos operandos no son iguales, devuelve verdadero; de lo contrario, falso. (a !=b) devolverá verdadero
>= Si el valor del operando izquierdo es mayor o igual que el operando derecho, devuelve verdadero; de lo contrario, falso (a>=b) devolverá verdadero
<= Si el valor del operando derecho es mayor o igual que el operando izquierdo, devuelve verdadero; de lo contrario, falso (a <=b) devolverá falso
Operador lógico
Los operadores lógicos se utilizan para combinar dos expresiones booleanas y dan como resultado un solo valor booleano según el operando y el operador utilizados.
&& Se utiliza para combinar dos expresiones. Si ambos operandos son verdaderos o distintos de cero, devuelve verdadero; de lo contrario, es falso ((a>=1) &&(a<=10)) devolverá verdadero ya que (a>=1) es verdadero y también (a<=10) es verdadero.
|| Si alguno de los operandos es verdadero o distinto de cero, devuelve verdadero o falso ((a>1) || (a<5)) devolverá verdadero. Como (a>1) es verdadera. Dado que el primer operando es verdadero, no hay necesidad de verificar el segundo operando.
! El operador lógico NOT es un operador unario. Devuelve el complemento del valor booleano. !(a>1) devolverá falso. Dado que (a>1) es verdadero, su complemento es falso.
Operador bit a bit
El operador bit a bit realiza operaciones en bits (nivel binario). Supongamos a =10, b =5
a =0000 1010 (representación binaria de 8 bits de 10)
b =0000 0101 (representación binaria de 8 bits de 5)
& Bitwise AND realiza una operación anding en dos valores de bits binarios. Si ambos valores son 1, el resultado será 1; de lo contrario, será 0.
  0000 1010
& 0000 0101
____________
  0000 0000
| Bitwise OR devuelve 1 si alguno de los dos bits binarios es 1; de lo contrario, devuelve 0.
  0000 1010
| 0000 0101
___________
  0000 1111
^ Bitwise XOR devuelve 1 si ambos bits binarios son diferentes; de lo contrario, devuelve 0.
  0000 1010
^ 0000 0101
___________
  0000 1111
~ Bitwise COMPLEMENT es un operador unario. Devuelve el complemento del valor binario, es decir, si el bit binario es 0, devuelve 1; de lo contrario, devuelve 0.
~ 0000 1010
___________
  1111 0101
< El operador SHIFT a la IZQUIERDA bit a bit también es un operador unario. Desplaza los bits binarios a la izquierda. Inserta un valor de 0 bits en el extremo derecho del valor binario. O podemos decir que generalmente multiplica el valor por 2.
  0000 1010 << 2 
= 0010 1000
>> El operador SHIFT DERECHO bit a bit es un operador unario. Desplaza los bits binarios a la derecha. Inserta un valor de 0 bits en el extremo izquierdo del valor binario. O podemos decir que generalmente divide el valor entre 2.
  0000 1010 << 2
= 0000 0010
Operador de incremento/decremento
El operador de incremento/decremento es un operador unario que se utiliza para aumentar un valor entero en 1 o disminuirlo en 1. Los operadores de incremento/decremento son de dos tipos Postfix y Prefijo .
++ El operador de incremento agregará 1 a un valor entero. a++ dará 11
++a también dará 11
-- El operador de decremento restará 1 de un valor entero. a-- dará 9
--a también dará 9
Operador condicional/ternario
El operador ternario es un operador condicional y es similar al simple if-else. Se necesitan tres operandos.
?: Se utiliza como operador condicional. Sintaxis del uso del operador ternario:
(condición) ? (parte verdadera) :(parte falsa)
b =(a>1) ? a :b;
almacenará el valor 10 en b como (a>1) es verdadero, por lo tanto, la parte verdadera se ejecutará, asignando el valor de a en b.

¿Qué son los Separadores?

Los separadores se utilizan para separar diferentes elementos de programación. Los distintos tipos de separadores utilizados en la programación son:
 (Espacio) \t(Tab) \n(Nueva línea) . ,; () {} []

¿Qué son los literales?

Los literales son valores constantes que se utilizan para realizar varias operaciones y cálculos. Hay básicamente tres tipos de literales:

  1. Literal entero

    Un literal entero representa valores enteros o numéricos.
    Ejemplo:1, 100, -12312, etc.

  2. Literal de punto flotante

    El literal de coma flotante representa valores fraccionarios.
    Ejemplo:2,123, 1,02, -2,33, 13e54, -23,3, etc.

  3. Caracter literal

    Los caracteres literales representan valores de caracteres. Los caracteres individuales se encierran entre comillas simples (' '), mientras que la secuencia de caracteres se encierra entre comillas dobles (" ")
    Ejemplo:'a', 'n', "Hola", "Hola123", etc.