用途：tokenize-then-parse 是一种文本处理模式，用于构建解释器或编译器、处理带括号的表达式，以及 token 边界清晰的结构化文本多阶段处理流水线。
主要能力：将处理拆成两个阶段——先做词法分析（lexing），把字符串转成 token 列表；再做语法分析（parsing），把 token 流递归解析为嵌套结构（AST）。资料给出的示例中，tokenize 通过给括号补空格再 split 得到 token；parse/read_from_tokens 用 pop(0) 逐个消费 token，遇到左括号递归收集子表达式，遇到右括号结束；atom 负责把 token 转成 int、float 或符号。示例来自 pytudes lis.py，parse("(+ 2 (* 3 4))") 返回 ['+', 2, ['*', 3, 4]]。
使用方式：按“先分词、再解析”的顺序组织代码；解析时使用可变 token 列表并 pop 消费；对嵌套结构采用递归下降；对格式错误输入抛出 SyntaxError（如 unexpected EOF、unexpected )）；用 atom() 处理字面量转换。
适用场景：解释器/编译器、带括号表达式、token 边界清晰的结构化文本、多阶段处理流水线。
限制：不适合简单固定格式（直接 split 即可）、非常复杂的语法（应使用 parser generator）、以及没有清晰 token 边界的文本。资料未提供安装命令、平台、收费或性能数据。