2025-2-10 myluzh
NOTE
0x01 前言
有一台日志es,需要把旧的es数据迁移到新的es上。
在迁移Elasticsearch (ES) 数据时,使用 elasticdump 是一个常见的方法。elasticdump 是一个开源工具,用于将 Elasticsearch 集群中的数据导出和导入。
0x02 部署elasticdump
1、由于我这边是k8s集群,直接跑一个pod起来即可。镜像是node:14,自带npm。方便安装elasticdump。
apiVersion: apps/v1
kind: Deployment
metadata:
name: es-migration
namespace: default
spec:
replicas: 1
selector:
matchLabels:
app: es-migration
template:
metadata:
labels:
app: es-migration
spec:
containers:
- name: es-migration
image: 1...
阅读全文>>
标签: elastic es elasticdump
评论(0)
(129)
2025-2-7 myluzh
NOTE
0x01 下载ChatGLM3大模型
# 创建存放模型的文件夹
mkdir -p /mnt/workspace/models && cd /mnt/workspace/models
# 下载大模型 https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
0x02 运行调试模型
下载ChatGLM3 web demo项目,用来运行调试调试模型
1、安装
mkdir -p /mnt/workspace/webcodes && cd /mnt/workspace/webcodes
git clone https://github.com/THUDM/ChatGLM3.git
# 如果报错就重新执行一次
cd /mnt/workspace/webcodes/ChatGLM3 && pip install -r requirements.txt
2、运行调试模型
测试模型...
阅读全文>>
标签: llm LLaMA-Factory ChatGLM3 大模型 微调
评论(0)
(139)
2025-2-6 myluzh
NOTE
0x01 安装ollama
1、安装ollama
(1)直接安装:https://ollama.com/download
(2)通过 docker:https://hub.docker.com/r/ollama/ollama/tags
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
2、设置ollama监听
docker跑起来的的ollama 只需要-p把11434 api端口暴露出来即可,
安装完成ollama后,默认只监听来自127.0.0.1,为了方便局域网内调用api,配置 Ollama 服务监听所有网络接口
# windows powershell 配置方法如下
PS C:\Users\myluzh> $env:OLLAMA_HOST = "0.0.0.0:11434"
#如果你希望永久设置环境变量,可以通过 PowerShell 设置系统环境变量,使其在所有会话中生效:
[System.Environment]::SetEnvironmentVariable("OLLAMA...
阅读全文>>
标签: ollama deepseek llm ai
评论(0)
(117)
2025-1-24 myluzh
Docker
容器管理相关命令
功能
Docker 命令
ctr 命令
拉取镜像
docker pull <image>
ctr image pull <image>
查看镜像列表
docker images
ctr image list
删除镜像
docker rmi <image>
ctr image remove <image>
启动容器
docker run <image>
ctr container create --tty <image>
列出正在运行的容器
docker ps
...
阅读全文>>
标签: docker ctr
评论(0)
(75)
2025-1-20 myluzh
Docker
1、docker pull /push 的代理被 systemd 接管,所以需要设置 systemd
mkdir -p /etc/systemd/system/docker.service.d
touch /etc/systemd/system/docker.service.d/proxy.conf
vi /etc/systemd/system/docker.service.d/proxy.conf
2、编辑proxy.conf文件
# proxy.conf
[Service]
Environment="HTTP_PROXY=http://172.30.172.136:4780"
Environment="HTTPS_PROXY=http://172.30.172.136:4780"
Environment="NO_PROXY=localhost,127.0.0.1,.example.com,172.16.0.0/12"
3、重启docker服务
sudo systemctl daemon-reload
sudo systemctl restart docker
# 可以看到设置的环境变量
sud...
阅读全文>>
标签: docker docker代理 docker pull docker proxy
评论(1)
(74)
2025-1-15 myluzh
Kubernetes
使用场景
推荐方式
持久化存储(文件、数据库等)
PVC 或 volumeClaimTemplates
配置和凭据管理
ConfigMap 和 Secret
临时数据存储
EmptyDir
访问主机文件
HostPath
动态云存储卷分配
CSI
0x01 PersistentVolumeClaim (PVC)
最通用的持久化存储方式。适用于绝大多数需要持久化数据的场景,例如数据库存储、文件共享。与各种存储插件兼容。
典型场景:数据库(MySQL、PostgreSQL、MongoDB)。
volumes:
- name: app-data
persis...
阅读全文>>
标签: k8s pvc csi
评论(0)
(124)