Pengertian Token

2

Pengertian token adalah sebuah unit atau elemen dasar bahasa komputer (seperti ‘kata’ di bahasa manusia), dimana unit tersebut tidak terbagi lagi. Token merupakan bagian hasil dari pemecahan sumber program yaitu penerjemahan lexeme pada saat melakukan scanner.

Token mereprentasikan nama :

identifier -> nama variabel, fungsi, tipe atau nama yang didefinisikan pemakai.

  1. Keyword
  2. literal string
  3. operator
  4. label

simbol tanda -> tanda kurung, koma, titik koma.

Token ini akan di pelajari di mata kuliah teknik kompilasi. :)