Java StringTokenizer
La così detta "tokenization" è un processo attraverso il quale spezziamo la stringa in più parti, dove ogni parte è appunto chiamata token.
Java ci mette a disposizione la classe StringTokenizer per spezzare la stringa in token, ed è molto facile usarla.
Se state obbiettando che già possiamo String.split, vi dico che in parte avete ragione, ma ci stanno delle differenze in termini di flessibilità e performance.
Qui potete un articolo che mostra alcune differenze.