Myluzh Blog

通过elasticdump迁移ElasticSearch数据

2025-2-10 myluzh NOTE

0x01 前言 有一台日志es,需要把旧的es数据迁移到新的es上。 在迁移Elasticsearch (ES) 数据时,使用 elasticdump 是一个常见的方法。elasticdump 是一个开源工具,用于将 Elasticsearch 集群中的数据导出和导入。 0x02 部署elasticdump 1、由于我这边是k8s集群,直接跑一个pod起来即可。镜像是node:14,自带npm。方便安装elasticdump。 apiVersion: apps/v1 kind: Deployment metadata: name: es-migration namespace: default spec: replicas: 1 selector: matchLabels: app: es-migration template: metadata: labels: app: es-migration spec: containers: - name: es-migration image: 1...

阅读全文>>

标签: elastic es elasticdump

评论(0) (129)

通过LLaMA-Factory微调ChatGLM3模型笔记

2025-2-7 myluzh NOTE

0x01 下载ChatGLM3大模型 # 创建存放模型的文件夹 mkdir -p /mnt/workspace/models && cd /mnt/workspace/models # 下载大模型 https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files git lfs install git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git 0x02 运行调试模型 下载ChatGLM3 web demo项目,用来运行调试调试模型 1、安装 mkdir -p /mnt/workspace/webcodes && cd /mnt/workspace/webcodes git clone https://github.com/THUDM/ChatGLM3.git # 如果报错就重新执行一次 cd /mnt/workspace/webcodes/ChatGLM3 && pip install -r requirements.txt 2、运行调试模型 测试模型...

阅读全文>>

标签: llm LLaMA-Factory ChatGLM3 大模型 微调

评论(0) (139)

Ollama搭建本地DeepSeek大模型

2025-2-6 myluzh NOTE

0x01 安装ollama 1、安装ollama (1)直接安装:https://ollama.com/download (2)通过 docker:https://hub.docker.com/r/ollama/ollama/tags docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 2、设置ollama监听 docker跑起来的的ollama 只需要-p把11434 api端口暴露出来即可, 安装完成ollama后,默认只监听来自127.0.0.1,为了方便局域网内调用api,配置 Ollama 服务监听所有网络接口 # windows powershell 配置方法如下 PS C:\Users\myluzh> $env:OLLAMA_HOST = "0.0.0.0:11434" #如果你希望永久设置环境变量,可以通过 PowerShell 设置系统环境变量,使其在所有会话中生效: [System.Environment]::SetEnvironmentVariable("OLLAMA...

阅读全文>>

标签: ollama deepseek llm ai

评论(0) (117)

Docker命令与Ctr命令对照表

2025-1-24 myluzh Docker

容器管理相关命令 功能 Docker 命令 ctr 命令 拉取镜像 docker pull <image> ctr image pull <image> 查看镜像列表 docker images ctr image list 删除镜像 docker rmi <image> ctr image remove <image> 启动容器 docker run <image> ctr container create --tty <image> 列出正在运行的容器 docker ps ...

阅读全文>>

标签: docker ctr

评论(0) (75)

Docker设置代理,docker pull 代理

2025-1-20 myluzh Docker

1、docker pull /push 的代理被 systemd 接管,所以需要设置 systemd mkdir -p /etc/systemd/system/docker.service.d touch /etc/systemd/system/docker.service.d/proxy.conf vi /etc/systemd/system/docker.service.d/proxy.conf 2、编辑proxy.conf文件 # proxy.conf [Service] Environment="HTTP_PROXY=http://172.30.172.136:4780" Environment="HTTPS_PROXY=http://172.30.172.136:4780" Environment="NO_PROXY=localhost,127.0.0.1,.example.com,172.16.0.0/12" 3、重启docker服务 sudo systemctl daemon-reload sudo systemctl restart docker # 可以看到设置的环境变量 sud...

阅读全文>>

标签: docker docker代理 docker pull docker proxy

评论(1) (74)

K8S 存储卷使用总结

2025-1-15 myluzh Kubernetes

使用场景 推荐方式 持久化存储(文件、数据库等) PVC 或 volumeClaimTemplates 配置和凭据管理 ConfigMap 和 Secret 临时数据存储 EmptyDir 访问主机文件 HostPath 动态云存储卷分配 CSI 0x01 PersistentVolumeClaim (PVC) 最通用的持久化存储方式。适用于绝大多数需要持久化数据的场景,例如数据库存储、文件共享。与各种存储插件兼容。 典型场景:数据库(MySQL、PostgreSQL、MongoDB)。 volumes: - name: app-data persis...

阅读全文>>

标签: k8s pvc csi

评论(0) (124)