Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
曾经的那一瞬间
Models
提交
f7fd59b8
M
Models
项目概览
曾经的那一瞬间
/
Models
大约 1 年 前同步成功
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
Models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
f7fd59b8
编写于
12月 10, 2019
作者:
C
Chen Chen
提交者:
A. Unique TensorFlower
12月 10, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Internal change
PiperOrigin-RevId: 284792715
上级
558bab5d
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
20 addition
and
4 deletion
+20
-4
official/nlp/bert/common_flags.py
official/nlp/bert/common_flags.py
+4
-0
official/nlp/bert/run_classifier.py
official/nlp/bert/run_classifier.py
+5
-1
official/nlp/bert_models.py
official/nlp/bert_models.py
+11
-3
未找到文件。
official/nlp/bert/common_flags.py
浏览文件 @
f7fd59b8
...
...
@@ -65,6 +65,10 @@ def define_common_bert_flags():
flags
.
DEFINE_string
(
'hub_module_url'
,
None
,
'TF-Hub path/url to Bert module. '
'If specified, init_checkpoint flag should not be used.'
)
flags
.
DEFINE_enum
(
'model_type'
,
'bert'
,
[
'bert'
,
'albert'
],
'Specifies the type of the model. '
'If "bert", will use canonical BERT; if "albert", will use ALBERT model.'
)
# Adds flags for mixed precision training.
flags_core
.
define_performance
(
...
...
official/nlp/bert/run_classifier.py
浏览文件 @
f7fd59b8
...
...
@@ -287,7 +287,11 @@ def run_bert(strategy,
train_input_fn
=
None
,
eval_input_fn
=
None
):
"""Run BERT training."""
bert_config
=
modeling
.
BertConfig
.
from_json_file
(
FLAGS
.
bert_config_file
)
if
FLAGS
.
model_type
==
'bert'
:
bert_config
=
modeling
.
BertConfig
.
from_json_file
(
FLAGS
.
bert_config_file
)
else
:
assert
FLAGS
.
model_type
==
'albert'
bert_config
=
modeling
.
AlbertConfig
.
from_json_file
(
FLAGS
.
bert_config_file
)
if
FLAGS
.
mode
==
'export_only'
:
# As Keras ModelCheckpoint callback used with Keras compile/fit() API
# internally uses model.save_weights() to save checkpoints, we must
...
...
official/nlp/bert_models.py
浏览文件 @
f7fd59b8
...
...
@@ -22,6 +22,7 @@ import tensorflow as tf
import
tensorflow_hub
as
hub
from
official.modeling
import
tf_utils
from
official.nlp
import
bert_modeling
from
official.nlp.modeling
import
losses
from
official.nlp.modeling
import
networks
from
official.nlp.modeling.networks
import
bert_classifier
...
...
@@ -139,14 +140,14 @@ def _get_transformer_encoder(bert_config,
"""Gets a 'TransformerEncoder' object.
Args:
bert_config: A 'modeling.BertConfig' object.
bert_config: A 'modeling.BertConfig' o
r 'modeling.AlbertConfig' o
bject.
sequence_length: Maximum sequence length of the training data.
float_dtype: tf.dtype, tf.float32 or tf.float16.
Returns:
A networks.TransformerEncoder object.
"""
return
networks
.
TransformerEncoder
(
kwargs
=
dict
(
vocab_size
=
bert_config
.
vocab_size
,
hidden_size
=
bert_config
.
hidden_size
,
num_layers
=
bert_config
.
num_hidden_layers
,
...
...
@@ -161,6 +162,12 @@ def _get_transformer_encoder(bert_config,
initializer
=
tf
.
keras
.
initializers
.
TruncatedNormal
(
stddev
=
bert_config
.
initializer_range
),
float_dtype
=
float_dtype
.
name
)
if
isinstance
(
bert_config
,
bert_modeling
.
AlbertConfig
):
kwargs
[
'embedding_width'
]
=
bert_config
.
embedding_size
return
networks
.
AlbertTransformerEncoder
(
**
kwargs
)
else
:
assert
isinstance
(
bert_config
,
bert_modeling
.
BertConfig
)
return
networks
.
TransformerEncoder
(
**
kwargs
)
def
pretrain_model
(
bert_config
,
...
...
@@ -332,7 +339,8 @@ def classifier_model(bert_config,
maximum sequence length `max_seq_length`.
Args:
bert_config: BertConfig, the config defines the core BERT model.
bert_config: BertConfig or AlbertConfig, the config defines the core
BERT or ALBERT model.
float_type: dtype, tf.float32 or tf.bfloat16.
num_labels: integer, the number of classes.
max_seq_length: integer, the maximum input sequence length.
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录