onnx runtime fastapi模型部署

fastapi 模型部署大体流程如下： * torch-> onnx * fastapi做为接口服务，后端使用onnx推理 * Docker打包部署 fastapi官…

Bentoml部署拓展示例

借助Bentoml可以快速的实现模型的部署，这里写了几个Frameworks，用来实现快速的模型部署。 安装 -- > > pip install tkitBentomlFrameworksExpand > > > 包含了两个Artifact，TokenizerArtifact和PytorchLightningArtifact，后续会…

bentoml bulid镜象太慢，更换国内pip源

bentoml bulid镜象太慢，原因在于国外源pip太慢，改下 bentoml-init.sh文件里对应的国内源即可。 修改 bentoml-init.sh 62行 ``` # Install PyPI packages specified in requirements.txt if [ $# -eq 0 ] || [ $1 == "i…