MoreRSS

site iconChenshaowen | 陈少文修改

一个数据分析、Python主题向的博客。
请复制 RSS 到你的阅读器,或快速订阅到 :

Inoreader Feedly Follow Feedbin Local Reader

Chenshaowen | 陈少文的 RSS 预览

LVM 日常运维

2026-02-13 08:00:00

1. 基本概念 物理卷 PV (Physical Volume) 由一个或者多个物理硬盘组成,也可以是一个 RAID 设备。 卷组 VG (Volume Group) 由一个或者多个 PV 组成。 逻辑卷 LV (Logical Volume) 从 VG 中划分出来的空间,格式化之后,挂载目录使用。 数据安全 LVM 自带 RAID 功能,也可以提前组建 RAID 设备,交给 LVM 管理。 2. 管理物理卷 查看存储设

MinIO 基础设施选型与优化

2026-02-12 08:00:00

1. 硬件 1.1 CPU 支持 AVX/AVX-512,用于纠删码计算、SIMD 操作 支持 AES-NI,用于加密对象 单机存储总量 推荐的 vCPU 数 最多 1 TB 8 最多 10 TB 16 最多 100 TB 32 最多 1 PB 64 大于 1 PB 128 1.2 内存 尽可能大一点能提高并发,增加 Page Cache 命中率。 磁盘数量 32 GiB 64 GiB 内存 128 GiB 内

容器部署中间件

2026-02-11 08:00:00

1. ClickHouse 单节点 配置环境变量 1 2 3 4 5 6 7 8 export CONTAINER_CLI=nerdctl export IMAGE=clickhouse/clickhouse-server:24 export CLICKHOUSE_INSTANCE_NAME=clickhouse export CH_DATA=/data/ops/clickhouse/$CLICKHOUSE_INSTANCE_NAME mkdir -p $CH_DATA/data $CH_DATA/log export CLICKHOUSE_PORT=9000 export CLICKHOUSE_USER=default export CLICKHOUSE_PASSWORD=xxxxxx 启动服务 1 2 3 4 5 6 7 8 9 10 11 12 13 14 $CONTAINER_CLI run -d \ --name $CLICKHOUSE_INSTANCE_NAME \ --restart always \ --network host \ --ulimit memlock=-1 \ --ulimit stack=67108864 \ --ulimit nofile=1048576:1048576 \ --memory-swappiness=0 \ -v $CH_DATA/data:/var/lib/clickhouse \ -v $CH_DATA/log:/var/log/clickhouse-server \ -e CLICKHOUSE_USER=$CLICKHOUSE_USER \ -e CLICKHOUSE_PASSWORD=$CLICKHOUSE_PASSWORD \ -e CLICKHOUSE_PORT=$CLICKHOUSE_PORT \ $IMAGE 测试连接 1 $CONTAINER_CLI exec -it $CLICKHOUSE_INSTANCE_NAME clickhouse-client --host 127.0.0.1 --port $CLICKHOUSE_PORT 打印交付结果 1 2 3 4 5

容器部署多节点 FoundationDB 及运维

2026-02-10 08:00:00

1. 生成集群ID 1 cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w 16 | head -n 1 下面以 CLUSTER_ID=fKbIga9RHP79OIx1 为例 2. 第一个节点上 清理旧数据 1 2 3 $CONTAINER_CLI rm -f $FDB_INSTANCE_NAME mv $FDB_DIR $FDB_DIR.$(date +%Y%m%d%H%M%S).bak mkdir -p $FDB_DIR 配置环境变量 1 2 3 4 5 6 7 8 9 export CONTAINER_CLI=nerdctl export IMAGE=foundationdb/foundationdb:7.1.26 export CLUSTER_ID=fKbIga9RHP79OIx1 export FDB_INSTANCE_NAME=fdb_server export FDB_CLUSTER_FIRST_IP=$(hostname -I | awk '{print $1}') export FDB_PORT=4500 export FDB_DIR=/data/ops/fdb/$FDB_INSTANCE_NAME 创建 cluster 文件 1 2 echo "${FDB_INSTANCE_NAME}:${CLUSTER_ID}@${FDB_CLUSTER_FIRST_IP}:4500" > $FDB_DIR/fdb.cluster cat $FDB_DIR/fdb.cluster 启动服务器节点 1 2 3 4 5 6 7 8 9 10 11 12

使用 HAProxy 代理 MinIO 及性能测试

2026-02-08 08:00:00

1. 配置文件准备 minio 集群 1 mc admin info local 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 ● minio1:9000 Uptime: 55 minutes Version: 2025-04-22T22:12:26Z Network: 2/2 OK Drives: 4/4 OK Pool: 1 ● minio2:9000 Uptime: 55 minutes Version: 2025-04-22T22:12:26Z Network: 2/2 OK Drives: 4/4 OK Pool: 1 ┌──────┬───────────────────────┬─────────────────────┬

多机多盘 MinIO 集群在不同纠删码配置下的性能测试

2026-02-08 08:00:00

1. 纠删码配置 默认的纠删位配置如下: Erasure Set Size Default Parity (EC:M) 1 EC:0 2-3 EC:1 4-5 EC:2 6 - 7 EC:3 8 - 16 EC:4 Parity 最大值是 ERASURE_SET_SIZE/2,也就是校验位不能超过数据位。 参考 https://docs.min.io/enterprise/aistor-object-store/reference/aistor-server/settings/storage-class/ 2. minio 集群环境 2.1 创建 minio 集群 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30