14 lines
257 B
JavaScript
14 lines
257 B
JavaScript
|
var tokenize = require('./index')
|
||
|
|
|
||
|
|
module.exports = tokenizeString
|
||
|
|
|
||
|
|
function tokenizeString(str, opt) {
|
||
|
|
var generator = tokenize(opt)
|
||
|
|
var tokens = []
|
||
|
|
|
||
|
|
tokens = tokens.concat(generator(str))
|
||
|
|
tokens = tokens.concat(generator(null))
|
||
|
|
|
||
|
|
return tokens
|
||
|
|
}
|