com.dfamaj.textproc.xwm
Interface Tokenizer

All Superinterfaces:

ThreadUnsafe

All Known Implementing Classes:

EmptyTokenizer, NoDoubleSpaceTokenizerFilter, OneTokenTokenizer, ReaderTokenizer, TokenArrayTokenizer, TokenizerFilter, TokenListTokenizer, XwmEngineImpl

public interface Tokenizer
extends ThreadUnsafe

itérateur sur des tokens.

Since:

2.0

Version:

2.0 -- 2007-02-01 -- $Revision$

Author:

David Andriana

Method Summary

Location	getLocation() renvoie le positionnement dans la source.
Token	nextToken() renvoie le token suivant, ou null s'il n'y en a plus.

Method Detail

getLocation

Location getLocation()

renvoie le positionnement dans la source.

nextToken

Token nextToken()
                throws java.io.IOException

renvoie le token suivant, ou null s'il n'y en a plus.

Throws:

java.io.IOException