📜  如何将特殊标记添加到 bert 标记器 - Python 代码示例

📅  最后修改于: 2022-03-11 14:45:41.128000             🧑  作者: Mango

代码示例1
special_tokens_dict = {'additional_special_tokens': ['[C1]','[C2]','[C3]','[C4]']}
num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
model.resize_token_embeddings(len(tokenizer))