Jetons C++
Un jeton est le plus petit volet d'un programme en C++ qui est significatif pour le compilateur. L'analyseur C++ reconnaît ces types de jetons : identificateurs, mots clés, littéraux, opérateurs, signes de ponctuation, et d'autres séparateurs. Un flux de ces jetons constitue une unité de traduction.
Les jetons sont généralement séparés par des « espace blanc. » Un Espace blanc peut être un ou plusieurs :
vides
Tabulations horizontales ou verticales
Nouvelles lignes
Saut de page
Commentaires
Les suivants sont considérés comme des jetons :
keywordidentifierconstantoperatorpunctuator
Ce qui suit est considéré comme des jetons prétraités :
en-tête-nameidentifierpp-numbercharacter-constantstring-literaloperatorpunctuator chaque caractère autre qu'un blanc qui ne peut pas être un des éléments précités
L'analyseur sépare les jetons du flux d'entrée en créant le jeton le plus long possible à l'aide de caractères d'entrée dans une analyse de gauche à droite. Considérons ce fragment de code :
a = i+++j;
Le programmeur qui a entré code peut avoir prévu l'une ou l'autre de ces deux instructions :
a = i + (++j)
a = (i++) + j
Comme l'analyseur crée le jeton le plus long possible depuis du flux d'entrée, il choisit la deuxième translation, créant les jetons i++, +, et j.