Advanced Search
  首页 > 行业动态
Google开源BERT模型源代码

  近日, Google 发布了包括“BERT 模型资料库”。BERT 是一种对语言表征进行预训练的方法, 即是经过大型文本语料库(如维基百科)训练后获得的通用“语言理解”模型, 该模型可用于自然语言处理下游任务(如自动问答)。BERT 之所以表现得比过往的方法要好, 是因为它是首个用于自然语言处理预训练的无监督、深度双向系统。

  BERT 的使用可以分为两个阶段:

  (1) 预训练阶段, 花费较高(在4-16 个TPU 上训练需要花上4 天), 好在每个语种的训练都能一次做好(目前模型只支持英语, 多语言模型会在不久的将来发布)。

  (2) 微调阶段, 花费较小。只要一开始使用同样的预训练模型, 论文中所有成果只需在单个TPU 中训练1 个小时就能复现(在单个GPU 上也只需几个小时就能复现)。

  BERT 的优势是能够轻松适用多种类型的自然语言处理任务。本次资料库共发布了以下成果:

  (1) BERT 模型(主要是标准Transformer 结构)的TensorFlow 代码;

  (2) 全小写语料训练版和正常语料训练版的BERT-Base 与BERT-Large 模型的预训练检查点;

  (3) 自动化复现文中重要的微调实验结果的TensorFlow 代码, 包括在SQuAD、MultiNLI 和MRPC 数据集下的训练。

  资料库里的所有代码都可以在 CPU、GPU 和TPU 集群上运行。

  (编译自: https://github.com/google-research/bert/blob/master/README.md)

(本刊讯)

 

发布时间: 2018-12-11   浏览: 4641
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn