用于开发Task Bots的包
项目描述
Mask-Predict
下载模型
描述 | 数据集 | 模型 |
---|---|---|
MASK-PREDICT | [WMT14 English-German] | 下载 (.tar.bz2) |
MASK-PREDICT | [WMT14 German-English] | 下载 (.tar.bz2) |
MASK-PREDICT | [WMT16 English-Romanian] | 下载 (.tar.bz2) |
MASK-PREDICT | [WMT16 Romanian-English] | 下载 (.tar.bz2) |
MASK-PREDICT | [WMT17 English-Chinese] | 下载 (.tar.bz2) |
MASK-PREDICT | [WMT17 Chinese-English] | 下载 (.tar.bz2) |
预处理
text=PATH_YOUR_DATA
output_dir=PATH_YOUR_OUTPUT
src=source_language
tgt=target_language
model_path=PATH_TO_MASKPREDICT_MODEL_DIR
python preprocess.py --source-lang ${src} --target-lang ${tgt} --trainpref $text/train --validpref $text/valid --testpref $text/test --destdir ${output_dir}/data-bin --workers 60 --srcdict ${model_path}/maskPredict_${src}${tgt}/dict.${src}.txt --tgtdict ${model_path}/maskPredict${src}_${tgt}/dict.${tgt}.txt
训练
model_dir=PLACE_TO_SAVE_YOUR_MODEL
python train.py ${output_dir}/data-bin --arch bert_transformer_seq2seq --share-all-embeddings --criterion label_smoothed_length_cross_entropy --label-smoothing 0.1 --lr 5e-4 --warmup-init-lr 1e-7 --min-lr 1e-9 --lr-scheduler inverse_sqrt --warmup-updates 10000 --optimizer adam --adam-betas '(0.9, 0.999)' --adam-eps 1e-6 --task translation_self --max-tokens 8192 --weight-decay 0.01 --dropout 0.3 --encoder-layers 6 --encoder-embed-dim 512 --decoder-layers 6 --decoder-embed-dim 512 --fp16 --max-source-positions 10000 --max-target-positions 10000 --max-update 300000 --seed 0 --save-dir ${model_dir}
评估
python generate_cmlm.py ${output_dir}/data-bin --path ${model_dir}/checkpoint_best_average.pt --task translation_self --remove-bpe --max-sentences 20 --decoding-iterations 10 --decoding-strategy mask_predict
许可
MASK-PREDICT遵循CC-BY-NC 4.0许可。此许可证也适用于预训练模型。
引用
请引用如下
@inproceedings{ghazvininejad2019MaskPredict,
title = {Mask-Predict: Parallel Decoding of Conditional Masked Language Models},
author = {Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer},
booktitle = {Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing},
year = {2019},
}
项目详情
下载文件
下载适用于您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。
源代码分布
构建分布
taskbots-0.1.0.tar.gz的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 185d20037479b21a4cee42dca9108ce067d98f150ed83b00b9e6d9f5fa0eeb2a |
|
MD5 | 4cc138f3cfb00e55203e2ecf86caff75 |
|
BLAKE2b-256 | 132c93564390acd1201e3c8b34cb3ba8b28188b8323719d2b63b66db4a997406 |
taskbots-0.1.0-py3-none-any.whl的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 2f3923fa446aaf1f09fbc6d9ff25dea4b68e2c7da4db05ddfb60d241e4e8f8c3 |
|
MD5 | a8e45084373752bce809eff0acb16ce3 |
|
BLAKE2b-256 | 2daf5be9490c21e05fce0592763538323e3f44ff84c1ad21f87c4dc51d6648db |