TestTokenizer.golden

[]ast.Token{
    {Type:57348, Val:"select", i:0},
    {Type:57396, Val:"c1", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"c2", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"c3", i:0},
    {Type:57353, Val:"from", i:0},
    {Type:57396, Val:"t1", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"t2", i:0},
    {Type:57384, Val:"join", i:0},
    {Type:57396, Val:"t3", i:0},
    {Type:57394, Val:"on", i:0},
    {Type:57396, Val:"t1", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"c1", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57396, Val:"t2", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"c1", i:0},
    {Type:57412, Val:"and", i:0},
    {Type:57396, Val:"t1", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"c3", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57396, Val:"t3", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"c1", i:0},
    {Type:57354, Val:"where", i:0},
    {Type:57396, Val:"id", i:0},
    {Type:62, Val:">", i:0},
    {Type:57399, Val:"1000", i:0},
}
[]ast.Token{
    {Type:57348, Val:"select", i:0},
    {Type:57396, Val:"sourcetable", i:0},
    {Type:44, Val:",", i:0},
    {Type:57453, Val:"if", i:0},
    {Type:40, Val:"(", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"lastcontent", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57402, Val:":v1", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"lastupdate", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"lastcontent", i:0},
    {Type:41, Val:")", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"lastactivity", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"totalcount", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"activity", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"type", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"class", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"type", i:0},
    {Type:44, Val:",", i:0},
    {Type:40, Val:"(", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"nodeoptions", i:0},
    {Type:38, Val:"&", i:0},
    {Type:57402, Val:":v2", i:0},
    {Type:41, Val:")", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"nounsubscribe", i:0},
    {Type:57353, Val:"from", i:0},
    {Type:57396, Val:"node", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:57388, Val:"inner", i:0},
    {Type:57384, Val:"join", i:0},
    {Type:57396, Val:"contenttype", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"type", i:0},
    {Type:57394, Val:"on", i:0},
    {Type:57396, Val:"type", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"contenttypeid", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"contenttypeid", i:0},
    {Type:57388, Val:"inner", i:0},
    {Type:57384, Val:"join", i:0},
    {Type:57396, Val:"subscribed", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"sd", i:0},
    {Type:57394, Val:"on", i:0},
    {Type:57396, Val:"sd", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"did", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"nodeid", i:0},
    {Type:57412, Val:"and", i:0},
    {Type:57396, Val:"sd", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"userid", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57402, Val:":v3", i:0},
    {Type:57347, Val:"union", i:0},
    {Type:57362, Val:"all", i:0},
    {Type:57348, Val:"select", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"name", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"title", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"userid", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"keyval", i:0},
    {Type:44, Val:",", i:0},
    {Type:57402, Val:":v4", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"sourcetable", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"ifnull", i:0},
    {Type:40, Val:"(", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"lastpost", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"joindate", i:0},
    {Type:41, Val:")", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"lastactivity", i:0},
    {Type:44, Val:",", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"posts", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"activity", i:0},
    {Type:44, Val:",", i:0},
    {Type:57402, Val:":v5", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"type", i:0},
    {Type:44, Val:",", i:0},
    {Type:57402, Val:":v6", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"nounsubscribe", i:0},
    {Type:57353, Val:"from", i:0},
    {Type:57396, Val:"user", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:57388, Val:"inner", i:0},
    {Type:57384, Val:"join", i:0},
    {Type:57396, Val:"userlist", i:0},
    {Type:57364, Val:"as", i:0},
    {Type:57396, Val:"ul", i:0},
    {Type:57394, Val:"on", i:0},
    {Type:57396, Val:"ul", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"relationid", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57396, Val:"f", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"userid", i:0},
    {Type:57412, Val:"and", i:0},
    {Type:57396, Val:"ul", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"userid", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57402, Val:":v7", i:0},
    {Type:57354, Val:"where", i:0},
    {Type:57396, Val:"ul", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"type", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57402, Val:":v8", i:0},
    {Type:57412, Val:"and", i:0},
    {Type:57396, Val:"ul", i:0},
    {Type:46, Val:".", i:0},
    {Type:57396, Val:"aq", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57402, Val:":v9", i:0},
    {Type:57357, Val:"order", i:0},
    {Type:57358, Val:"by", i:0},
    {Type:57396, Val:"title", i:0},
    {Type:57359, Val:"limit", i:0},
    {Type:57402, Val:":v10", i:0},
}
[]ast.Token{
    {Type:57348, Val:"select", i:0},
    {Type:57396, Val:"c1", i:0},
    {Type:57353, Val:"from", i:0},
    {Type:57396, Val:"t1", i:0},
    {Type:57354, Val:"where", i:0},
    {Type:57396, Val:"id", i:0},
    {Type:57421, Val:">=", i:0},
    {Type:57399, Val:"1000", i:0},
}
[]ast.Token{
    {Type:57348, Val:"select", i:0},
    {Type:57589, Val:"sql_calc_found_rows", i:0},
    {Type:57396, Val:"col", i:0},
    {Type:57353, Val:"from", i:0},
    {Type:57396, Val:"tbl", i:0},
    {Type:57354, Val:"where", i:0},
    {Type:57396, Val:"id", i:0},
    {Type:62, Val:">", i:0},
    {Type:57399, Val:"1000", i:0},
}
[]ast.Token{
    {Type:57348, Val:"select", i:0},
    {Type:42, Val:"*", i:0},
    {Type:57353, Val:"from", i:0},
    {Type:57396, Val:"tb", i:0},
    {Type:57354, Val:"where", i:0},
    {Type:57396, Val:"id", i:0},
    {Type:61, Val:"=", i:0},
    {Type:57402, Val:":v1", i:0},
    {Type:59, Val:";", i:0},
}
[]ast.Token{
    {Type:57348, Val:"select", i:0},
    {Type:42, Val:"*", i:0},
    {Type:57353, Val:"from", i:0},
    {Type:57396, Val:"tb", i:0},
    {Type:57354, Val:"where", i:0},
    {Type:57396, Val:"id", i:0},
    {Type:57424, Val:"is", i:0},
    {Type:57407, Val:"null", i:0},
    {Type:59, Val:";", i:0},
}
[]ast.Token{
    {Type:57348, Val:"select", i:0},
    {Type:42, Val:"*", i:0},
    {Type:57353, Val:"from", i:0},
    {Type:57396, Val:"tb", i:0},
    {Type:57354, Val:"where", i:0},
    {Type:57396, Val:"id", i:0},
    {Type:57424, Val:"is", i:0},
    {Type:57413, Val:"not", i:0},
    {Type:57407, Val:"null", i:0},
    {Type:59, Val:";", i:0},
}
[]ast.Token{
    {Type:57348, Val:"select", i:0},
    {Type:42, Val:"*", i:0},
    {Type:57353, Val:"from", i:0},
    {Type:57396, Val:"tb", i:0},
    {Type:57354, Val:"where", i:0},
    {Type:57396, Val:"id", i:0},
    {Type:57414, Val:"between", i:0},
    {Type:57399, Val:"1", i:0},
    {Type:57412, Val:"and", i:0},
    {Type:57399, Val:"3", i:0},
    {Type:59, Val:";", i:0},
}
[]ast.Token{
    {Type:57441, Val:"alter", i:0},
    {Type:57448, Val:"table", i:0},
    {Type:57396, Val:"inventory", i:0},
    {Type:57445, Val:"add", i:0},
    {Type:57449, Val:"index", i:0},
    {Type:57396, Val:"idx_store_film", i:0},
    {Type:57396, Val:" (", i:0},
    {Type:57396, Val:"store_id", i:0},
    {Type:57396, Val:",", i:0},
    {Type:57396, Val:"film_id", i:0},
    {Type:57346, Val:");", i:0},
}