Myluzh Blog

通过LLaMA-Factory微调ChatGLM3模型笔记

2025-2-7 myluzh NOTE

0x01 下载ChatGLM3大模型 # 创建存放模型的文件夹 mkdir -p /mnt/workspace/models && cd /mnt/workspace/models # 下载大模型 https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files git lfs install git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git 0x02 运行调试模型 下载ChatGLM3 web demo项目，用来运行调试调试模型 1、安装 mkdir -p /mnt/workspace/webcodes && cd /mnt/workspace/webcodes git clone https://github.com/THUDM/ChatGLM3.git # 如果报错就重新执行一次 cd /mnt/workspace/webcodes/ChatGLM3 && pip install -r requirements.txt 2、运行调试模型 测试模型...

阅读全文>>

标签: llm LLaMA-Factory ChatGLM3 大模型 微调

评论(0) (201)

Ollama搭建本地DeepSeek大模型

2025-2-6 myluzh NOTE

0x01 安装ollama 1、安装ollama （1）直接安装：https://ollama.com/download （2）通过 docker：https://hub.docker.com/r/ollama/ollama/tags docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 2、设置ollama监听 docker跑起来的的ollama 只需要-p把11434 api端口暴露出来即可， 安装完成ollama后，默认只监听来自127.0.0.1，为了方便局域网内调用api，配置 Ollama 服务监听所有网络接口 # windows powershell 配置方法如下 PS C:\Users\myluzh> $env:OLLAMA_HOST = "0.0.0.0:11434" #如果你希望永久设置环境变量，可以通过 PowerShell 设置系统环境变量，使其在所有会话中生效： [System.Environment]::SetEnvironmentVariable("OLLAMA...

阅读全文>>

标签: ollama deepseek llm ai

评论(0) (231)