神经网络、优化算法
Perplexity衡量模型在给定文本上的"困惑程度"——模型对文本的预测有多不确定。
从最小的符号单元出发,反复将训练语料中共现频率最高的相邻符号对合并为一个新符号,直至词表达到预设规模。