openLLM
インストール
# or pip3 install openllm
pip install openllm
openllm hello
- チャット画面
OpenLLM provides a chat UI at the /chat endpoint for the launched LLM server at http://localhost:3000/chat.
- 使用する
openllm serve llama3.2:1b
openllm run llama3:8b
openllo dmodel list
openllm repo date
openllmodel model llama3.2:1
- モデルを追加
openllm repo add <repo-name> <repo-url>
openllm repo add nightly https://github.com/bentoml/openllm-models@nightly
- test
export VLLM_DEVICE=cpu
openllm serve gemma2:2b