FastAPI 部署 Ollama 可视化对话界面

发布时间：2025-03-18

点击次数：

一、目录结构

仓库 notebook 的 c6 文件夹下：

fastapi_chat_app/
│
├── app.py
├── websocket_handler.py
├── static/
│   └── index.html
└── requirements.txt

app.py FastAPI 应用程序的主要设置和路由。
websocket_handler.py 处理 WebSocket 连接和消息流。
static/index.html HTML页面。
requirements.txt 所需依赖，通过 pip install -r requirements.txt 安装。

二、克隆本仓库

git clone https://github.com/AXYZdong/handy-ollama

三、安装依赖

pip install -r requirements.txt

四、核心代码

app.py 文件中的核心代码如下：

import ollama
from fastapi import WebSocket
async def websocket_endpoint(websocket: WebSocket):
await websocket.accept()  # 接受WebSocket连接
user_input = await websocket.receive_text()  # 接收用户输入的文本消息
stream = ollama.chat(  # 使用ollama库与指定模型进行对话
model='llama3.1',  # 指定使用的模型为llama3.1
messages=[{'role': 'user', 'content': user_input}],  # 传入用户的输入消息
stream=True  # 启用流式传输
)
try:
for chunk in stream:  # 遍历流式传输的结果
model_output = chunk['message']['content']  # 获取模型输出的内容
await websocket.send_text(model_output)  # 通过WebSocket发送模型输出的内容
except Exception as e:  # 捕获异常
await websocket.send_text(f"Error: {e}")  # 通过WebSocket发送错误信息
finally:
await websocket.close()  # 关闭WebSocket连接

接受 WebSocket 连接：

await websocket.accept()：首先，函数接受来自客户端的 WebSocket 连接请求，建立与客户端的通信通道。

接收用户输入：

user_input = await websocket.receive_text()：通过 WebSocket 从客户端接收一条文本消息，获取用户输入的内容。

初始化对话流：

stream = ollama.chat(...)：调用 ollama 库中的 chat 方法，指定使用的模型为 llama3.1。将用户的输入作为消息传递给模型，并启用流式传输（stream=True），以便逐步获取模型生成的回复。

处理模型输出：

eSiteGroup站群管理系统1.0.4

eSiteGroup站群管理系统是基于eFramework低代码开发平台构建，是一款高度灵活、可扩展的智能化站群管理解决方案，全面支持SQL Server、SQLite、MySQL、Oracle等主流数据库，适配企业级高并发、轻量级本地化、云端分布式等多种部署场景。通过可视化建模与模块化设计，系统可实现多站点的快速搭建、跨平台协同管理及数据智能分析，满足政府、企业、教育机构等组织对多站点统一管控的