fasttext-serving

fastText模型服务服务

安装

您可以从GitHub发行版下载预构建的二进制文件，或使用Cargo安装它。

cargo install fasttext-serving

使用Docker

docker pull messense/fasttext-serving

用法

$ fasttext-serving --help

USAGE:
    fasttext-serving [OPTIONS] --model <model>

FLAGS:
        --grpc       Serving gRPC API instead of HTTP API
    -h, --help       Prints help information
    -V, --version    Prints version information

OPTIONS:
    -a, --address <address>    Listen address [default: 127.0.0.1]
    -m, --model <model>        Model path
    -p, --port <port>          Listen port [default: 8000]
    -w, --workers <workers>    Worker thread count, defaults to CPU count

提供HTTP REST API服务

HTTP API端点

POST /predict

POST数据应为字符串的JSON数组，例如 ["abc", "def"]

CURL示例

$ curl -X POST -H 'Content-Type: application/json' \
     --data "[\"Which baking dish is best to bake a banana bread?\", \"Why not put knives in the dishwasher?\"]" \
     'http://localhost:8000/predict'
[[["baking"],[0.7152988]],[["equipment"],[0.73479545]]]

提供gRPC API服务

使用--grpc命令运行，以提供gRPC API服务而不是HTTP REST API。

请参阅此处的gRPC Python客户端文档。

许可协议

本作品基于MIT许可协议发布。许可协议的副本在LICENSE文件中提供。