Google 开源语言模型 Switch Transformer，但不包括权值 2021-02- | Solidot

Google 开源语言模型 Switch Transformer，但不包括权值

2021-02-18 20:35 #开源

Google Brain 的研究人员开源了他们最新的 AI 语言模型 Switch Transformer，包括 1.6 万亿个参数，相比上一代的 T5 模型，在精度相似的情况下训练时间只要七分之一。但 Google 并没有开源预训练的权值，而权值对于语言模型是至关重要，因此这一开源被认为打了折扣。权值代表 AI 模型模拟的人脑神经元之间的连接强度，需要反复调整到输出结果与正确答案相同。