Myluzh Blog

使用LLM+MCP，实现对话式运维的Demo

2025-5-16 myluzh NOTES

0x01 编写mcp server 基于FastMCP框架的异步工具服务器，提供了多种实用的功能，例如端口可达性测试、域名解析、通过SSH查看服务器监听端口和防火墙规则等。 from mcp.server.fastmcp import FastMCP import socket import asyncio # 创建FastMCP实例 mcp = FastMCP("Demo") @mcp.tool() async def ping_port(host: str, port: int, timeout: float = 2.0) -> str: """ 测试指定主机的端口是否可达。 Args: host: 目标主机名或IP地址 port: 要测试的端口号 timeout: 超时时间（秒），默认为2秒 Returns: str: 端口测试结果 """ try: # 创建异步任务 loop = async...

阅读全文>>

标签: python llm mcp

评论(0) (151)

通过LLaMA-Factory微调ChatGLM3模型笔记

2025-2-7 myluzh NOTES

0x01 下载ChatGLM3大模型 # 创建存放模型的文件夹 mkdir -p /mnt/workspace/models && cd /mnt/workspace/models # 下载大模型 https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files git lfs install git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git 0x02 运行调试模型 下载ChatGLM3 web demo项目，用来运行调试调试模型 1、安装 mkdir -p /mnt/workspace/webcodes && cd /mnt/workspace/webcodes git clone https://github.com/THUDM/ChatGLM3.git # 如果报错就重新执行一次 cd /mnt/workspace/webcodes/ChatGLM3 && pip install -r requirements.txt 2、运行调试模型 测试模型...

阅读全文>>

标签: llm LLaMA-Factory ChatGLM3 大模型 微调

评论(0) (443)

Ollama搭建本地DeepSeek大模型

2025-2-6 myluzh NOTES

0x01 安装ollama 1、安装ollama （1）直接安装：https://ollama.com/download （2）通过 docker：https://hub.docker.com/r/ollama/ollama/tags docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 2、设置ollama监听 docker跑起来的的ollama 只需要-p把11434 api端口暴露出来即可， 安装完成ollama后，默认只监听来自127.0.0.1，为了方便局域网内调用api，配置 Ollama 服务监听所有网络接口 # windows powershell 配置方法如下 PS C:\Users\myluzh> $env:OLLAMA_HOST = "0.0.0.0:11434" #如果你希望永久设置环境变量，可以通过 PowerShell 设置系统环境变量，使其在所有会话中生效： [System.Environment]::SetEnvironmentVariable("OLLAMA...

阅读全文>>

标签: ollama deepseek llm ai

评论(0) (455)