章末小测试
1. 自然语言处理流程的顺序是什么？
2. Transformer 模型的输出有的张量多少个维度，每个维度分别是什么？
3．下列哪一个是子词分词的例子（从分词的颗粒度来划分）？
4．什么是模型头（Haed 层）？
5．什么是 AutoModel？
6．当将不同长度的句子序列在一起批处理时，需要进行哪些处理？
7．使用 SoftMax 激活函数对序列分类(Sequence Classification)模型的 logits 输出进行处理有什么意义？
8.Tokenizer API 的核心方法是哪一个？
9．这个代码示例中的 result 变量包含什么？
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")10．下面的代码有什么错误吗？
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")
encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)