知识付费，请求搭建F5-TTS-triton_trtllm

[xudajun222]

Checks

• This template is only for usage issues encountered.
• I have thoroughly reviewed the project documentation but couldn't find information to solve my problem.
• I have searched for existing issues, including closed ones, and couldn't find a solution.
• I am using English to submit this issue to facilitate community communication.

Environment Details

www.autodl.com，需要在这个租4090服务器搭建，
重点：autodl服务器本身就是容器服务器，他无法在安装容器，等于无法通过容器的方式安装，triton-inference-server。

https://github.com/SWivid/F5-TTS/blob/main/src/f5_tts/runtime/triton_trtllm/README.md

Steps to Reproduce

目前我自己尝试安装，triton-inference-server，不通过容器方法，自己编译装，每次装到，
--backend=openvino \ 报错 Docker 未安装
--backend=tensorflow \报错 Docker 未安装
--backend=pytorch \报错Docker 未安装
--backend=onnxruntime \ 报错Docker 未安装

然后不知道为什么，命名是下面是编译指令，命名已经是禁用容器装，
git clone --branch v2.53.0 https://github.com/triton-inference-server/server.git
cd server

./build.py -v
--no-container-build
--build-dir=$(pwd)/build
--install-dir=/opt/tritonserver
--enable-logging
--enable-stats
--enable-metrics
--enable-gpu-metrics
--enable-cpu-metrics
--enable-tracing
--enable-gpu
--endpoint=grpc
--endpoint=http
--backend=ensemble
--backend=pytorch
--backend=tensorrt
--backend=python
--backend=openvino
--backend=tensorflow
--backend=pytorch
--backend=onnxruntime
--extra-core-cmake-arg=NVINFER_LIBRARY=/root/autodl-tmp/TensorRT-10.7.0.23/targets/x86_64-linux-gnu/lib/libnvinfer.so
--extra-core-cmake-arg=NVINFER_PLUGIN_LIBRARY=/root/autodl-tmp/TensorRT-10.7.0.23/targets/x86_64-linux-gnu/lib/libnvinfer_plugin.so
--extra-core-cmake-arg=NVINFER_INCLUDE_DIR=/root/autodl-tmp/TensorRT-10.7.0.23/include
--extra-backend-cmake-arg=tensorrt:NVINFER_LIBRARY=/root/autodl-tmp/TensorRT-10.7.0.23/targets/x86_64-linux-gnu/lib/libnvinfer.so
--extra-backend-cmake-arg=tensorrt:NVINFER_PLUGIN_LIBRARY=/root/autodl-tmp/TensorRT-10.7.0.23/targets/x86_64-linux-gnu/lib/libnvinfer_plugin.so
--extra-backend-cmake-arg=tensorrt:NVINFER_INCLUDE_DIR=/root/autodl-tmp/TensorRT-10.7.0.23/include \

✔️ Expected Behavior

付费请大佬帮忙搭建。 qq：3571788135

❌ Actual Behavior

付费请大佬帮忙搭建。 qq：3571788135

[tsehangdorjee]

这个ttr项目是个英伟达的大佬弄的，大概是不会理你吧！找专门弄这个的人吧！另外：我在wsl2中尝试，可以开启服务，只是我是custom模型，需要重新做适配，目前正在摸索。