Nick's Blog

Argo CD 实践 GitOps

Sat, 30 Jul 2022 11:00:00 +0800

介绍

书接上文 OneDev 自建 Git 服务和 CI/CD，这次通过 ArgoCD 实现项目部署，项目编译、镜像构建依然通过 OneDev 流水线实现。当然用别的 Git 服务也是可以的。

Argo CD 被实现为一个 kubernetes 控制器，它持续监控正在运行的应用程序并将当前的活动状态与所需的目标状态（如 Git repo 中指定的）进行比较。Argo CD 报告和可视化差异，同时提供自动或手动将实时状态同步回所需目标状态的工具。

上次 git 仓库只有一个，这次 git 仓库分为两个

wx-msg-push 为项目代码 gitops 应用部署定义

整体流程为：

wx-msg-push 正常开发提交
当创建 tag 推送时，触发 OneDev 流水线构建
检出 wx-msg-push 代码，在容器中编译可执行文件，生成多平台可执行文件压缩包制品
通过 kaniko 构建 wx-msg-push 项目镜像，推送至镜像仓库
检出 gitops 代码，修改 wx-msg-push 项目 yaml 文件的镜像版本后 push
在 argocd 中发现 gitops 配置变更
同步应用最新状态

安装部署

高可用配置请参考 High Availability

$ kubectl create namespace argocd
$ kubectl apply -n argocd -f https://raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/install.yaml

安装之后默认会启用 TLS 验证和 http 强制跳转至 https。我这里不需要，直接修改 argocd-server 配置 kubectl -n argocd edit deployments.apps argocd-server，增加运行 insecure 运行参数，取消该限制。

OneDev 自建 Git 服务和 CI/CD

Tue, 12 Jul 2022 22:30:00 +0800

介绍

今天介绍一个可以自建的开源 Git 服务 OneDev, 功能强大，资源占用少，国人 Java 开发。

开箱即用的符号跳转、符号搜索
全功能的 CI/CD，支持 GUI
强大易用的 Commit/Issue/Build/Pull Request 查询语言
代码标注和讨论
更多功能特性看官网说明

目前不足是全英文，文档简洁，还不知道什么时候支持中文，也不算什么大事。另外小 Bug 多，不过作者修复神速。

部署安装

运行环境 k8s v1.21.5，容器运行时 containerd。

安装方式直接参考官方文档 helm 装就完事，除了在 k8s 运行也可以直接 docker run 和裸机跑。 helm 安装完成会创建一个 onedev 的 service type 是 LoadBalancer，由于我使用 apisix ingress 所以直接改成 ClusterIP 然后外面再套负载均衡走流量。细节不展开了可以参考实践 Apache APISIX Ingress。

符号跳转、搜索

支持 Java, JavaScript, C, C++, CSharp, Go, PHP, Python, CSS, SCSS, LESS and R 语言，IDE 级别的功能。据作者说使用 ANTLR 分析主流语言的语法，并提取符号定义进行增量存储，速度快，占用空间小。

实践 Apache APISIX Ingress

Tue, 05 Jul 2022 10:00:00 +0800

介绍

Apache APISIX 是一个动态、实时、高性能的 API 网关。基于 Nginx 和 Etcd 实现。

作为 API 网关，APISIX 提供了灵活插件机制、动态上游、动态路由、灰度发布、熔断限流、身份认证、可观测性、Serverless、Wasm等功能。可以处理L4、L7层的流量支持HTTP、HTTPS、TCP、UDP、MQTT、gRPC等协议。

安装部署

在 kubesphere 中创建一个 Workspace，添加 APISIX Helm Chart 仓库 https://charts.apiseven.com/。

然后新建一个 ingress-apisix 的 projects，也就是 namespace。在该 project 下创建一个 apisix App，选择刚才添加的仓库。创建 apisix 会同时创建 APISIX Gateway + Dashboard + Ingress Controller。

版本选择 0.10.0 [2.14.1]

我最终的配置：

global:
 imagePullSecrets: []
apisix:
 enabled: true
 enableIPv6: true
 setIDFromPodUID: false
 customLuaSharedDicts: []
 luaModuleHook:
 enabled: false
 luaPath: ''
 hookPoint: ''
 configMapRef:
 name: ''
 mounts:
 - key: ''
 path: ''
 enableCustomizedConfig: false
 customizedConfig: {}
 image:
 repository: apache/apisix
 pullPolicy: IfNotPresent
 tag: 2.14.1-alpine
 kind: Deployment
 replicaCount: 1
 podAnnotations: {}
 podSecurityContext: {}
 securityContext: {}
 podDisruptionBudget:
 enabled: false
 minAvailable: 90%
 maxUnavailable: 1
 resources: {}
 nodeSelector: {}
 tolerations: []
 affinity: {}
 podAntiAffinity:
 enabled: false
 timezone: Asia/Shanghai
 extraEnvVars: []
nameOverride: ''
fullnameOverride: ''
gateway:
 type: NodePort
 externalTrafficPolicy: Cluster
 externalIPs: []
 http:
 enabled: true
 servicePort: 80
 containerPort: 9080
 tls:
 enabled: false
 servicePort: 443
 containerPort: 9443
 existingCASecret: ''
 certCAFilename: ''
 http2:
 enabled: true
 stream:
 enabled: false
 only: false
 tcp: []
 udp: []
 ingress:
 enabled: false
 annotations: {}
 hosts:
 - host: apisix.local
 paths: []
 tls: []
admin:
 enabled: true
 type: ClusterIP
 externalIPs: []
 port: 9180
 servicePort: 9180
 cors: true
 credentials:
 admin: edd1c9f034335f136f87ad84b625c8f1
 viewer: 4054f7cf07e344346cd3f287985e76a2
 allow:
 ipList:
 - 0.0.0.0/0
plugins:
 - api-breaker
 - authz-keycloak
 - basic-auth
 - batch-requests
 - consumer-restriction
 - cors
 - echo
 - fault-injection
 - grpc-transcode
 - hmac-auth
 - http-logger
 - ip-restriction
 - ua-restriction
 - jwt-auth
 - kafka-logger
 - key-auth
 - limit-conn
 - limit-count
 - limit-req
 - node-status
 - openid-connect
 - authz-casbin
 - prometheus
 - proxy-cache
 - proxy-mirror
 - proxy-rewrite
 - redirect
 - referer-restriction
 - request-id
 - request-validation
 - response-rewrite
 - serverless-post-function
 - serverless-pre-function
 - sls-logger
 - syslog
 - tcp-logger
 - udp-logger
 - uri-blocker
 - wolf-rbac
 - zipkin
 - traffic-split
 - gzip
 - real-ip
 - ext-plugin-pre-req
 - ext-plugin-post-req
 - server-info
stream_plugins:
 - mqtt-proxy
 - ip-restriction
 - limit-conn
pluginAttrs: {}
extPlugin:
 enabled: false
 cmd:
 - /path/to/apisix-plugin-runner/runner
 - run
customPlugins:
 enabled: true
 luaPath: /opts/custom_plugins/?.lua
 plugins:
 - name: prometheus
 attrs:
 export_addr:
 ip: 0.0.0.0
 port: 9091
 configMap:
 name: prometheus
 mounts: []
updateStrategy: {}
extraVolumes: []
extraVolumeMounts: []
discovery:
 enabled: false
 registry: null
logs:
 enableAccessLog: true
 accessLog: /dev/stdout
 accessLogFormat: >-
 $remote_addr - $remote_user [$time_local] $http_host \"$request\" $status
 $body_bytes_sent $request_time \"$http_referer\" \"$http_user_agent\"
 $upstream_addr $upstream_status $upstream_response_time
 \"$upstream_scheme://$upstream_host$upstream_uri\"
 accessLogFormatEscape: default
 errorLog: /dev/stderr
 errorLogLevel: warn
dns:
 resolvers:
 - 127.0.0.1
 - 172.20.0.10
 - 114.114.114.114
 - 223.5.5.5
 - 1.1.1.1
 - 8.8.8.8
 validity: 30
 timeout: 5
initContainer:
 image: busybox
 tag: 1.28
autoscaling:
 enabled: false
 minReplicas: 1
 maxReplicas: 100
 targetCPUUtilizationPercentage: 80
 targetMemoryUtilizationPercentage: 80
configurationSnippet:
 main: ''
 httpStart: ''
 httpEnd: ''
 httpSrv: ''
 httpAdmin: ''
 stream: ''
serviceMonitor:
 enabled: false
 namespace: ''
 name: ''
 interval: 15s
 path: /apisix/prometheus/metrics
 metricPrefix: apisix_
 containerPort: 9091
 labels: {}
 annotations: {}
etcd:
 enabled: true
 host:
 - 'http://etcd.host:2379'
 prefix: /apisix
 timeout: 30
 auth:
 rbac:
 create: false
 user: ''
 password: ''
 tls:
 enabled: false
 existingSecret: ''
 certFilename: ''
 certKeyFilename: ''
 verify: true
 sni: ''
 service:
 port: 2379
 replicaCount: 3
dashboard:
 enabled: true
 service:
 type: NodePort
ingress-controller:
 enabled: true
 config:
 apisix:
 serviceNamespace: ingress-apisix
 serviceMonitor:
 enabled: true
 namespace: ingress-apisix
 interval: 15s

慢慢等待相关镜像下载运行完成。找到 apisix-dashboard Service 的 Node port 在浏览器中打开进入 dashboard，默认用户名、密码都是 admin。

KubeSphere k8s 集群管理

Sat, 25 Jun 2022 20:00:00 +0800

介绍

KubeSphere 是一个 k8s 集群管理平台，可以管理多云多集群，进行统一的应用分发和运维管理，避免云厂商绑定。提供了运维友好的操作界面，支持多租户，DevOps，服务网格，多种监控纬度。

目前稳定版是 KubeSphere v3.2.1，我之前装的 k8s 集群是 v1.22.7，KubeSphere 目前对 v1.22 是实验性支持，为了避免踩坑先把 k8s 集群重装了 v1.21.5。

安装使用

KubeSphere 的安装步骤就省略了，直接按官网的走就可以。记得要给 k8s 配默认 StorageClass，生产环境建议直接上云存储或者 rook+ceph，我为了节省资源直接就用 NFS 了。

NFS 安装配置参考： How to Install and Configure an NFS Server on Ubuntu 20.04 How To Set Up an NFS Mount on Ubuntu 20.04

KubeSphere 安装：在 Kubernetes 上安装 KubeSphere

安装完成后随便找个节点访问 30880 端口进入 dashboard。

登录之后进入 defult 集群，在配置多集群前只有这一个。默认展示当前集群资源用量。

界面可以切换中文显示。Projects 等同于 k8s 中的 namespace 概念，Projects 之上还有一层 workspace，用于多租户资源、计费隔离，当然也有用户权限管理。

Nodes 可以看到集群节点状态

Ubuntu 20.04 下部署 k8s v1.22.7 集群

Sun, 03 Apr 2022 14:00:00 +0800

介绍

虽然是一篇 k8s 的部署文，但也充满了曲折。归其原因也是基础一般。本文并未涉及 k8s 多主高可用，可参考其它文章通过 ipvs 来实现。

首先通过上次的文章组网通过 Netmaker 配置 WireGuard 跨 VPC 组网，组网完成部署 k8s、k3s 都可以，我这三台小弱鸡更适合 k3s。

hostname	外网ip	内网ip	wg ip	os
ten-1	62.234.xxx.xxx	172.21.0.1	10.1.0.1	Ubuntu 20.04
ten-2	82.156.xxx.xxx	10.0.8.1	10.1.0.2	Ubuntu 20.04
ten-3	81.70.xxx.xxx	10.0.24.1	10.1.0.3	Ubuntu 20.04

先说下为何换到了 Ubuntu，之前在 CentOS 7.6 下已经组网完成且部署完 k8s ，使用中发现容器经常报这个错 failed to write 1 to memory.kmem.limit_in_bytes xxxx memory.kmem.limit_in_bytes: operation not supported，内存指令相关错误。

尝试将容器内存资源限制删除，该错误可消失恢复正常。这也不是长久之计，网上参考别人经验，我当时内核为 5.16，可以降级内核解决，但是我要用 WireGuard 低版本内核就使不了。

索性换了系统算了，且 Ubuntu 20.04 的 5.4 内核已经包含了 WireGuard，而且也没见人说 Debian 系有 memory.kmem.limit_in_bytes 的问题。

通过 Netmaker 配置 WireGuard 跨 VPC 组网

Sun, 13 Mar 2022 20:15:00 +0800

介绍

最近云服务商做活动，手里云主机又多了一个，国内的有三台了，可以组个 k8s 集群了。本文介绍如何跨 VPC 组网，机器情况如下。

hostname	外网ip	内网ip	os
ten-1	62.234.xxx.xxx	172.21.0.1	CentOS 7.6
ten-2	82.156.xxx.xxx	10.0.8.1	CentOS 7.9
ten-3	81.70.xxx.xxx	10.0.24.1	CentOS 7.6
MacBook	-	-	Darwin 10.15.6

WireGuard 是由 C 语言写的开源 VPN 方案。概括来讲更快、更简单、更安全，Linux 内核 5.6 版本开始自带。且支持全平台。
Netmaker 是一个可视化操作工具，方便我们对 WrireGuard 的配置管理，相比于直接写配置，当节点多起来会便捷不少。

简单说下运行流程，Netmaker 分服务端和客户端，客户端是 netclient。我们在 Netmaker 上创建虚拟网络，然后在想要加入网络的节点上通过 netclient 加入。Netmaker 会对加入网络的节点自动同步 WireGuard 的配置信息，创建相应的路由规则，之后节点与节点之间的通信直接进行。本文只是介绍了一部分 Netmaker 功能，更多内容请看 Netmaker 官方文档。

为了方便 CentOS 内核都已升级至 5.16，自带了 WireGuard。升级内核教程很多就不多说了。

Netmaker 部署

在 ten-1 上先创建所需目录

$ mkdir -p /etc/netclient/config
$ mkdir -p /data/netmaker

直接容器化部署，compose yml 如下：

关于学习和记忆的原理《考试脑科学》

Sat, 26 Feb 2022 16:40:00 +0800

近期阅读了《考试脑科学：脑科学中的高效记忆法》做个笔记。该书前面讲解了人脑记忆的原理，海马体、杏仁核、θ波等。后面讲解了记忆的种类，人处于什么状态记忆力更好等等。

《高中生学习法》出版已有十余年。这期间，脑科学研究不断进步，十几年前无法解释的事情现在已经开始逐渐明晰。同时，书中有些内容甚至已经被明确证实是错误的。也就是说，《高中生学习法》这本书，仅十余年就已落后于时代了。

需要说明的是《考试脑科学》是《高中生学习法》(出版于2002年)的修订版。《考试脑科学》原书于2011年出版，中文翻译版于2019年出版。现在2022年已经又过去十年了，不知道脑科学进步没。

◆ 2-4 蛮干终究是徒劳

潜在记忆的保存时间只有 1 个月左右，如果不在 1个月以内复习学到的知识，潜在记忆就无法发挥作用了。

意思是一个月之后再去复习和学习新知识没有什么区别

在复习时也要像初次学习那样用功，不仅要用眼看，还要动笔写、出声读，尽可能地调动自己的感官。这样一来，通过视觉、听觉、触觉等传达的信息都会对刺激海马体起到积极作用。

刺激方面越多对知识的记忆越深刻

结合海马体的性质，我建议大家按照如下计划展开复习。第 1 次复习：学习后的第 2 天第 2 次复习：第 1 次复习 1 周后第 3 次复习：第 2 次复习 2 周后第 4 次复习：第 3 次复习 1 个月后

◆ 3-2 童心是提高成绩的“营养素”

畅销书作家韦恩·戴尔 5 曾这样说：“一个人在早上醒来后，首先想到的是‘很好，新的一天开始了’，还是‘哎，怎么又要起床了’，完全取决于他的心态。”确实如此。学习也和心情有关，我们要像孩子一样，无论在何时都应该保持一颗易受感动的心。包含好奇心和憧憬心的“童心”，正是促使θ波出现的重要因素。

大家上学时应该都有过的经历，感兴趣的科目学起来很快，没兴趣的怎么学也不会。这里可以说是做了解释，当你对知识好奇、感兴趣时会出现 θ脑电波，θ波的出现有对记忆力增强的效果，可以事半功倍。

◆ 3-5 狮子记忆法

通过狮子记忆法，我们可以推测出饥饿、走动和降低室温这 3 种能提高记忆力的技巧。

如果要解释得稍微专业一些，那就是当肚子饿的时候我们的胃会分泌一种名为食欲刺激激素 (ghrelin)的饥饿激素。这种饥饿激素能随血液循环进入海马体，促使海马体神经元产生LTP。相反，在吃饱后不仅饥饿激素的水平会降低，而且血液还会相对集中于胃部和肠道，这往往会导致脑的活动水平降低。

来回走动及坐车或脑能感知到正在移动时会自动产生θ波。

◆ 4-3 睡眠和记忆

在睡觉前把题目过一遍也是一种很重要的学习技巧。

◆ 4-6 能有效利用全天时间的学习方案

饭前处于饥饿状态，正适合学习。睡觉前也是学习的黄金期。早饭或晚饭后处于饱腹状态时，不学习也不要紧。

睡觉前非常适合学习那些需要记忆的知识，比如数据库原理、调度器原理；上午可以说是人在一天之中最清醒的时间，用来学习对逻辑思维能力要求比较高的比如刷题；最后，因为在早上刚起床的这段时间内不适合背诵，所以只要做一些简单的计算或者复习就可以了。

做了些修改替换，哈哈。

◆ 5-2 面对失败，毫不气馁的积极态度最重要

每次经历失败后，我们都应该思考下一次要怎么做才能成功。如果还是失败了，就再次思考其他解决方案……像这样不断循环下去。失败的次数越多，就越能形成准确牢固的记忆。即使偶尔取得了几次不错的成绩，对于大家来说其实也并没有什么实质性的收获。所以，即使考试成绩不理想也没必要闷闷不乐，大家可以转换思维，把它当作一件好事而非坏事。失败后最重要的是带着疑问找出失败原因，并想出解决方案

通过企业微信构建消息推送服务

Mon, 15 Mar 2021 23:33:00 +0800

之前用server酱的微信消息推送服务，但是最近老抽风，准备换别的推送服务。

目前发现企业微信的应用消息很合适优点不少。个人也可注册使用。

图文消息 mpnews 内容最大支持666K字节
一次可最多发送八条消息，虽然基本都是发单条
可以显示摘要
可以消息免打扰

虽然是企业微信的应用消息，但是通过关注微信插件可以直接在微信app内查看消息。

简单使用 Golang 编写了一个腾讯 Serverless 云函数，实现了类似于server酱的消息推送，GET、POST方式调用均可。

腾讯云函数目前每月都有免费额度个人完全够用了，API网关新开会送一年资源包也是够用完全白嫖。可以绑定自有域名，选择香港区域，不用备案。

一年到期之后，可以转战阿里云。代码很简单，改改也可以直接docker部署。

详见GitHub wx-msg-push-tencent

nps 内网穿透

Thu, 07 Jan 2021 21:33:32 +0800

nps 是一款轻量级、高性能、功能强大的内网穿透代理服务器。目前支持 tcp、udp 流量转发，可支持任何 tcp、udp 上层协议（访问内网网站、本地支付接口调试、ssh 访问、远程桌面，内网 dns 解析等等……），此外还支持内网 http 代理、内网 socks5 代理、p2p 等，并带有功能强大的 web 管理端。

实现结构图

 +---------------+ +---------------------------------------+ +--------------------------------------------+
 | | | | | |
 | traffic | | Server x.x.x.x | | |
 | | | | | |
 | | | nps web | | |
 | | | +---------+ +--------------+ | | intranet |
 | nps.test.com -----> | Traefik | +--> |127.0.0.1:8081| | | |
 | | | +---------+ +--------------+ | | |
 | | | | | |
 | | | | | nps Client |
 | | | +---------+ x.x.x.x:8024 | +-------------+ :5900 +-------------+ |
 | x.x.x.x:8001 -----> | nps | <------------------------------> | 10.1.50.100 | +-----> | 10.1.50.101 | |
 | | | +---------+ | | +-------------+ +-------------+ |
 | | | | | |
 +---------------+ +---------------------------------------+ +--------------------------------------------+

服务端：CentOS 7.9 客户端：MacOS 10.15

Swoole slowlog 乱码修复

Mon, 11 May 2020 00:00:00 +0800

先说结果：fork 了 swoole 的源码，修复之后打了个 v1.10.7 的版本。

发现问题

由于各种原因项目在使用 swoole 的 v1.x 远古版本跑 TCP 服务，基础环境如下。

CentOS 6.9
PHP 5.5.38

然后遇到了程序偶发性超时情况严重。怀疑是版本bug，首先将 swoole 升级到了当前环境可用的最高版本 v1.10.6，问题依然没有解决。但是这个版本已经有了慢日志功能，将慢日志功能开起来，模拟程序阻塞超时，试试看功能可用否。

tcp_server.php

<?php

class tcpTest {
 static public function aa() {
 self::bb();
 }
 static public function bb() {
 sleep(3);
 }
}

class Server {

 static private $serv = null;

 private function __construct() {
 $serv = new \swoole_server("0.0.0.0", 9577);
 $serv->set([
 'reactor_num' => 2,
 'worker_num' => 8,
 'task_worker_num' => 0,
 'dispatch_mode' => 2,
 'daemonize' => false,
 'tcp_fastopen' => true,
 'request_slowlog_timeout' => 2,
 'request_slowlog_file' => '/tmp/swoole_slow.log',
 'trace_event_worker' => true,
 ]);

 $serv->on('Start', array($this, 'onStart'));
 $serv->on('Connect', array($this, 'onConnect'));
 $serv->on('Receive', array($this, 'onReceive'));
 $serv->on('Close', array($this, 'onClose'));
 $serv->start();
 }

 public function onStart($serv) {
 echo __METHOD__ . PHP_EOL;
 }

 public function onConnect($serv, $fd, $from_id) {
 echo __METHOD__ . " worker_id:{$serv->worker_id} work_pid:{$serv->worker_pid} fd:{$fd} from_id:{$from_id}" . PHP_EOL;
 }

 public function onReceive($serv, $fd, $from_id, $data) {
 $fdinfo = $serv->connection_info($fd,$from_id,true);
 echo __METHOD__ . " ip:{$fdinfo['remote_ip']} worker_id:{$serv->worker_id} work_pid:{$serv->worker_pid} fd:{$fd} from_id:{$from_id} data:{$data}" . PHP_EOL;

 \tcpTest::aa();
 $res_data = ['time' => date('Y-m-d H:i:s')];
 $serv->send($fd, json_encode($res_data));
 }

 public function onClose($serv, $fd, $from_id) {
 echo __METHOD__ . " worker_id:{$serv->worker_id} work_pid:{$serv->worker_pid} fd:{$fd} from_id:{$from_id}" . PHP_EOL . PHP_EOL;
 }

 static public function inst() {
 if (!(self::$serv instanceof self)) {
 self::$serv = new self;
 }
 return self::$serv;
 }

}
$res = \Server::inst();

tcp_client.php

用 Consul 和 Traefik 实现 Docker 容器的服务注册与发现

Thu, 06 Feb 2020 22:43:52 +0800

docker 实现应用的容器化 consul 集群实现服务的注册、发现 traefik 处理外部流量的负载均衡与路由

启动 consul 集群与 docker

通过 vagrant 起三台虚拟机实现基本的 consul 集群环境（为了节约资源把 docker 也运行在这上面了）。 consul 的 vagrant 配置文件如下：

# -*- mode: ruby -*-
# vi: set ft=ruby :

# All Vagrant configuration is done below. The "2" in Vagrant.configure
# configures the configuration version (we support older styles for
# backwards compatibility). Please don't change it unless you know what
# you're doing.
Vagrant.configure("2") do |config|

$script = <<SCRIPT

echo "Installing"

yum install -y wget
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum clean all
yum makecache

yum install -y jq unzip vim wget net-tools bind-utils dnsmasq

sudo cp /vagrant/consul /usr/bin/consul

echo "Installing docker.."
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install -y docker-ce docker-ce-cli containerd.io
sudo systemctl start docker

echo "success"

SCRIPT
 # The most common configuration options are documented and commented below.
 # For a complete reference, please see the online documentation at
 # https://docs.vagrantup.com.

 # Every Vagrant development environment requires a box. You can search for
 # boxes at https://vagrantcloud.com/search.
 config.vm.box = "centos/7"
 config.vm.provision "shell", inline: $script

 config.vm.define "node1" do |node1|
 node1.vm.hostname = "node1"
 node1.vm.network "private_network", ip: "172.17.17.11"

 end

 config.vm.define "node2" do |node2|
 node2.vm.hostname = "node2"
 node2.vm.network "private_network", ip: "172.17.17.12"
 end

 config.vm.define "node3" do |node3|
 node3.vm.hostname = "node3"
 node3.vm.network "private_network", ip: "172.17.17.13"
 end
 # Disable automatic box update checking. If you disable this, then
 # boxes will only be checked for updates when the user runs
 # `vagrant box outdated`. This is not recommended.
 config.vm.box_check_update = false

 # Create a forwarded port mapping which allows access to a specific port
 # within the machine from a port on the host machine. In the example below,
 # accessing "localhost:8080" will access port 80 on the guest machine.
 # NOTE: This will enable public access to the opened port
 # config.vm.network "forwarded_port", guest: 80, host: 8080

 # Create a forwarded port mapping which allows access to a specific port
 # within the machine from a port on the host machine and only allow access
 # via 127.0.0.1 to disable public access
 # config.vm.network "forwarded_port", guest: 80, host: 8080, host_ip: "127.0.0.1"

 # Create a private network, which allows host-only access to the machine
 # using a specific IP.
 # config.vm.network "private_network", ip: "192.168.33.10"

 # Create a public network, which generally matched to bridged network.
 # Bridged networks make the machine appear as another physical device on
 # your network.
 # config.vm.network "public_network"

 # Share an additional folder to the guest VM. The first argument is
 # the path on the host to the actual folder. The second argument is
 # the path on the guest to mount the folder. And the optional third
 # argument is a set of non-required options.
 # config.vm.synced_folder "../data", "/vagrant_data"

 # Provider-specific configuration so you can fine-tune various
 # backing providers for Vagrant. These expose provider-specific options.
 # Example for VirtualBox:
 #
 config.vm.provider "virtualbox" do |vb|
 # # Display the VirtualBox GUI when booting the machine
 # vb.gui = true
 #
 # # Customize the amount of memory on the VM:
 vb.memory = "1024"
 end
 #
 # View the documentation for the provider you are using for more
 # information on available options.

 # Enable provisioning with a shell script. Additional provisioners such as
 # Puppet, Chef, Ansible, Salt, and Docker are also available. Please see the
 # documentation for more information about their specific syntax and use.
 # config.vm.provision "shell", inline: <<-SHELL
 # apt-get update
 # apt-get install -y apache2
 # SHELL
end

为了节省时间我直接下载好了 consul 的可执行文件放到了 vagrant 配置文件同目录下，vagrant 会把当前目录下的文件都复制进虚拟机的 /vagrant 目录下，还有三个节点的 consul 配置文件。

年前线上问题总结

Thu, 30 Jan 2020 23:46:46 +0800

Intro

在家中除了带娃、看书也无事可做。把节前值班遇到的问题总结下。

除夕那天我们公司依然正常上班，很多同事都已经提前回家了，在的人也不多，中午吃完饭没什么事就都走了。突然领导发来贺电以为什么好事，居然线上出问题了。前端同事反馈后端无响应，这个反馈也是没谁了，问了下具体调用的后端url，某个同事的 php 项目，没辙硬上吧。找运维查了下对应的机器有四台，先上 kibana 看下 nginx access 日志有大量请求404，error 日志没问题。再看 php error 日志有响应很慢的请求，应该是进来了，再看下 php 慢日志看调用栈应该是走到了一个 redis 类。这时候运维还在先让运维看下 redis 有问题没。我接着追代码，看代码发现这老哥没用框架定义的 redis 实例化类，自己整了个，真难受啊，一行行看 redis 配置从哪取的八成是这 redis 的问题。这时候运维反馈线上 redis 没问题。我接着撸代码，终于看到调的配置名了，去项目下 grep 下。这一搜发现这个配置有测试环境的，有预发环境的，还有个默认的配置，线上配置文件没有，不用说线上环境肯定用的默认的配置，默认的配的是测试环境的 redis。然而测试环境因为春节放假都关机了。

问题查清楚了，加上了线上环境的 redis 配置。

但是这个 bug 太tm智障了，全是问题。

生产环境调测试环境

生产环境和测试环境要实现网络隔离，配置文件方式还是有点老，整个配置中心。

自行实现 redis 类

框架已经提供了 redis 类，还要自行实现，直接影响排查效率。屏蔽了 redis 链接不上，然后给前端扔了个 404。没有规矩不成方圆要多 code review 啊。

另

最近新型冠状病毒肆虐异常，各地陆续启动公共卫生事件一级响应，春节假期国家也延长到了正月初十。北京这边有的村不让从外回京的人进村，要外隔离，也是没谁了。

Golang 与 PHP 的 json 序列化问题

Mon, 23 Dec 2019 22:32:00 +0800

Intro

最近在做 Golang 与 PHP 的 RPC 实现。因 PHP 业务端已上线稳定，Golang 方面则需要完全兼容。其中使用了 json 序列化，发现区别还是很大的，见下面代码。

$ php -a
php > echo json_encode("<test我爱中国>");
"<test\u6211\u7231\u4e2d\u56fd>"

package main

import (
 "encoding/json"
 "fmt"
)

func main() {

 st := "<test我爱中国>"
 res, err := json.Marshal(st)
 if err != nil {
 fmt.Println("json err:", err.Error())
 }
 fmt.Printf("json is: %s", string(res)) // json is: "\u003ctest我爱中国\u003e"
}

PHP 默认的 json_encode() 函数会把多字节字符转成 \uXXXX 当然通过设置 JSON_UNESCAPED_UNICODE 可以解决这个问题。这里不动 PHP 代码。 Golang 这里用 json 包的 Marshal 方法实现序列化，对多字节字符是不进行处理的。但是这个方法出于安全考虑会将"<", “>”, “&“这三个字符转成 \uXXXX 形式。这还不是最魔幻的，这个方法没有可选参数进行设置。

Golang 生成 O'Reilly 在线学习平台的电子书

Thu, 31 Oct 2019 21:49:27 +0800

O’Reilly 是有名的动物书出版公司，当然他们也不仅仅出电子书还有很多别的业务。O’Reilly 在线学习平台上有他们所有出版过的图书都是原版的，但是仅提供在线阅读，虽然也有 App，但是想在 kindle 上看提高阅读体验。

于是抽时间练习练习 Golang 写了个程序，生成 mobi 格式的电子书。Github 地址 oreilly_kindle_book 。

使用说明

目前仅支持 macOS、linux, windows 改改应该也可以，但是我手头没有 windows 测不了，或者编个 Docker image 也 ok。
需要 O’Reilly 在线学习平台的账号，这是必须的。
安装 kindlegen，mobi 的生成就靠它。

oreilly_kindle_book 编译

基于 golang 1.13 开发，目前没有上传二进制包，自行编译吧。

推荐 clone 之后直接 make && make install。

$ git clone https://github.com/zyh94946/oreilly_kindle_book.git
$ cd oreilly_kindle_book
$ make && make install
Building oreilly_kindle_book...
Building success...
Installing oreilly_kindle_book...
Install success to /usr/local/bin/oreilly_kindle_book.
Usage of oreilly_kindle_book:
 -email string
 you login email of https://www.oreilly.com/member/
 -help
 help
 -n string
 the num of https://learning.oreilly.com/library/view/BOOK-NAME/***
 -p string
 you login password of https://www.oreilly.com/member/
 -version
 print version and exit

当然 go get 也可以

容器服务化方向的一些探索

Wed, 28 Aug 2019 17:31:40 +0800

本文参考使用Docker打造自己的云平台编写

本文基于 Docker Swarm Mode 实现容器化，虽然目前 k8s 更火一些，但实在是太重了，以后再折腾。使用 traefik 来实现反向代理、负载均衡，traefik 还自带了服务发现、后端断路器、健康检查等，相当于是自带服务发现的 nginx。当然它还支持其他的容器编排工具如，服务发现工具如 Consul。使用 Portainer 来管理 Docker 容器，可以兼容 Docker Swarm 模式。

Docker 的安装就不说了。装完初始化 Swarm 模式。

$ docker swarm init

先设置一下环境变量。

$ export DOCKER_DEV_PATH=/usr/local/src/docker-dev

日志文件都会统一存到 ${DOCKER_DEV_PATH}/logs。

traefik

新建一个编排文件 traefik.yml。

version: '3.3'
services:
 reverse-proxy:
 image: traefik:1.7-alpine
 command: --web --docker --docker.domain=cloud-labs.io --docker.watch --docker.swarmmode=true --loglevel=INFO --accesslog --accesslog.filepath=/logs/access.log --traefiklog --traefiklog.filepath=/logs/traefik.log
 deploy:
 mode: replicated
 replicas: 1
 labels:
 - traefik.enable=true
 - traefik.backend=traefik
 - traefik.frontend.rule=Host:monitor.cloud-labs.io
 - traefik.port=8080
 - traefik.docker.network=traefik_proxy
 networks:
 - proxy
 ports:
 - 8081:80
 volumes:
 - /var/run/docker.sock:/var/run/docker.sock
 - ${DOCKER_DEV_PATH}/logs/traefik:/logs
 - /dev/null:/traefik.toml
networks:
 proxy:

简单解释下 labels 中配置的含义

PHP7 数组排序函数源码解析

Wed, 22 May 2019 19:14:33 +0800

今天来看看经常使用的数组排序函数如 sort, rsort, asort, arsort, ksort, krsort 。话不多说直接找 sort 函数吧。

在 php7.3 源码中搜索 PHP_FUNCTION(sort) 可以搜到如下

其中 .h 文件是C语言的头文件，直接打开 .c 文件。 sort 函数如下，其中我加了一点注释。

PHP_FUNCTION(sort)
{
 zval *array;
 zend_long sort_type = PHP_SORT_REGULAR; // 默认的排序规则
 compare_func_t cmp;

 // 这里开始接请求参数
 ZEND_PARSE_PARAMETERS_START(1, 2)
 Z_PARAM_ARRAY_EX(array, 0, 1)
 Z_PARAM_OPTIONAL
 Z_PARAM_LONG(sort_type)
 ZEND_PARSE_PARAMETERS_END_EX(RETURN_FALSE);

 // 根据排序规则获取使用的排序函数
 cmp = php_get_data_compare_func(sort_type, 0);

 // 进行排序
 if (zend_hash_sort(Z_ARRVAL_P(array), cmp, 1) == FAILURE) {
 RETURN_FALSE;
 }
 RETURN_TRUE;
}

不但 rsort, asort, arsort, ksort, krsort 这些函数在 array.c 文件中，PHP数组相关的也都在其中。先说下 rsort, asort, arsort, ksort, krsort 函数内容与 sort 只有细微的差别。 ksort、krsort 是根据键排序所以排序规则获取排序函数用的是 php_get_key_compare_func 参数与 php_get_data_compare_func 是一样的。 php_get_data_compare_func、php_get_key_compare_func 函数第二个参数意思是是否降序排列，rsort、arsort、krsort 第二个参数都是1。进行排序时 zend_hash_sort(Z_ARRVAL_P(array), cmp, 1) 第三个参数意思是是否重新排列索引， sort、rsort 传的都是1。做个表格看下

JetBrains IDE 文件对比功能

Tue, 07 May 2019 13:10:22 +0800

之前用Beyond Compare对比文件，功能非常强大。但是试用期到了就用不了了，而且授权非常的贵，很多功能一般也用不到。

一般文件对比直接用系统自带的diff命令就可以了。但是，如果临时复制粘贴不同版本文件对比，又不想为了对比而创建文件，JetBrains家IDE对比功能就派上用场了。

Mac下按 ⇧⌘A ，搜索 open diff ，回车。

左右两边可以随意复制粘贴对比了。

⇧⌘A这其实是一个功能搜索快捷键，可以搜索任何功能。也可以快速开关一个功能。

编写Go的TCP服务来替代PHP的Swoole

Tue, 30 Apr 2019 21:22:46 +0800

背景说明

目前公司采用微服务架构，主要开发语言为PHP，通过Swoole开启TCP服务供业务端调用。通过公司内部编写的PHP扩展封装客户端调用逻辑。

需求

暂定使用Go语言开发新的业务，并提供TCP服务。其中老的PHP项目要通过原有的客户端扩展实现无修改调用。

解决方案

通过阅读客户端扩展源码了解调用逻辑。编写简单的测试如下。

<?php

$_client = new \swoole_client(SWOOLE_SOCK_TCP | SWOOLE_KEEP);
$_client->set([
 'open_length_check' => true,
 'package_length_type' => 'N',
 'package_length_offset' => 0,
 'package_body_offset' => 4,
 'package_max_length' => 24657920,
]);
if (false == $_client->connect("127.0.0.1", 8880)) {
 printf("err_msg: %s err_code: %s" . PHP_EOL, var_export($_client->errMsg, true), var_export($_client->errCode, true));
}

// 随便测试个请求参数
$data = [
 'api' => 'getUserInfo',
 'params' => [
 'user_id' => 123
 ]
];
$data = json_encode($data);
$data = gzcompress($data, 9);
$_client->send(pack("N", strlen($data)) . $data);

$res = $_client->recv();
$end = getTime();

$data = json_decode($res, true);

其中前4个字节是head，表示body长度，采用二进制大端字节序编码。body先进行json编码再进行了zlib压缩。这都是编写Go的TCP服务时需要处理的。

写个简单的Go TCP服务试试，先不考虑过多的错误边界处理。

package main

import (
 "bytes"
 "compress/zlib"
 "encoding/binary"
 "fmt"
 "io"
 "net"
)

func main() {
 ln, err := net.Listen("tcp", ":8880")
 if err != nil {
 fmt.Printf("%s", err)
 }
 for {
 conn, err := ln.Accept()
 if err != nil {
 fmt.Printf("accept err:%s", err)
 }
 go handleConnection(conn)
 }
}

func handleConnection(conn net.Conn) {
 fmt.Println("on conn")

 var err error
 headLen := 4
 head := make([]byte, headLen)
 if _, err = conn.Read(head); err != nil {
 fmt.Println(err.Error())
 return
 }

 // 解码大端字节序获取body长度
 bodyLen := binary.BigEndian.Uint32(head)

 allBody := make([]byte, 0)
 readLen := 0
 for bodyLen > 0 {
 body := make([]byte, bodyLen)
 readLen, err = conn.Read(body)
 if err != nil {
 fmt.Println(err.Error())
 return
 }

 bodyLen = bodyLen - uint32(readLen)
 allBody = append(allBody, body[:readLen]...)
 }

 // 解压zlib压缩的数据 RFC 1950
 b := bytes.NewReader(allBody)
 uncompressRead, err := zlib.NewReader(b)
 if err != nil {
 fmt.Printf("uncompress data err:%s", err)
 }
 var uncompressData bytes.Buffer
 io.Copy(&uncompressData, uncompressRead)

 // 解出的json字符串
 fmt.Printf("Received:%s", uncompressData.Bytes())

 // 路由调用实际业务逻辑处理 ...
 // conn.Write()

 conn.Close()
 return
}

运行Go的TCP服务，跑一个PHP请求测试。

PHP5下的Error错误处理及问题定位

Tue, 08 Jan 2019 14:30:18 +0800

背景说明

来说说当PHP出现E_ERROR级别致命的运行时错误的问题定位方法。例如像Fatal error: Allowed memory size of内存溢出这种。当出现这种错误时会导致程序直接退出，PHP的error log中会记录一条错误日志说明报错的具体文件和代码行数，其它的任何信息都没有了。如果是PHP7的话还可以像捕获异常一样捕获错误，PHP5的话就不行了。

一般想到的方法就是看看报错的具体代码，如果报错文件是CommonReturn.class.php像下面这个样子。

<?php

/**
 * 公共返回封装
 * Class CommonReturn
 */
class CommonReturn
{

 /**
 * 打包函数
 * @param $params
 * @param int $status
 *
 * @return mixed
 */
 static public function packData($params, $status = 0)
 {
 $res['status'] = $status;
 $res['data'] = json_encode($params);
 return $res;
 }

}

其中json_encode那一行报错了，然后你查了下packData这个方法，有很多项目的类中都有调用，这时要怎么定位问题呢？

场景复现

好，首先我们复现下场景。假如实际调用的程序bug.php如下

<?php

require_once './CommonReturn.class.php';

$res = ini_set('memory_limit', '1m');

$res = [];
$char = str_repeat('x', 999);
for ($i = 0; $i < 900 ; $i++) {
 $res[] = $char;
}

$get_pack = CommonReturn::packData($res);

// something else

运行bug.php PHP错误日志中会记录

RabbitMQ 消息队列：队列的参数与消息的属性

Wed, 31 Jan 2018 23:18:08 +0800

队列的参数即声明Queues时的Arguments。消息的属性即向Exchange发布消息时的Properties。

Queues Arguments

Message TTL 消息的存活时间，写入队列后被消费前可以存活的时间单位毫秒，通过x-message-ttl属性设置。

Auto expire 队列的存活时间，指定时间内没有consumer或get方式请求队列消息则会自动删除，通过x-expires属性设置。

Dead letter exchange 死信消息的exchange，通过x-dead-letter-exchange属性设置。

Dead letter routing key 死信消息的路由键，通过x-dead-letter-routing-key属性设置。

Maximum priority 消息支持的最大优先级，可实现优先级消息队列，通过x-max-priority属性设置。

Max length 队列的最大消息数，通过x-max-length属性设置。

Max length bytes 队列的消息的最大字节数，通过x-max-length-bytes属性设置。

Lazy mode 懒惰队列模式，将队列内容移动到磁盘上，当消息者请求时加载入内存，这样可以支持非常长的队列，通过x-queue-mode属性设置。

Master locator 在RabbitMQ的高可用镜像模式中，队列消息首先会写入主节点再依次备份至从节点，通过x-queue-master-locator属性设置队列的主节点选择策略。

选择承担主节点最少的节点min-masters
选择声明队列客户端连接到的节点client-local
随机挑选一个节点random

死信相关当消息满足以下三种情况之一时会当做死信来处理：

消息被拒绝 (basic.reject or basic.nack)
消息未消费超时
超出队列长度限制

队列最大长度相关通过x-max-length、x-max-length-bytes来设置队列的最大长度。一个可以控制队列消息的个数，一个可以控制队列占用的空间。如果两个都设置任何一个触发都会执行队列溢出行为，默认的队列溢出后会从队列头开始丢弃消息或进行死信处理。通过x-overflow可以设置队列溢出后的行为，值为drop-head(默认值)或reject-publish(拒绝新消息)。

Message Properties

属性	说明
content_type	MIME类型
content_encoding	MIME编码
priority	消息优先级
correlation_id	业务应用关联标识
reply_to	回复队列名称
expiration	过期时间
message_id	业务应用消息标识
timestamp	消息写入时间戳
type	消息类型
user_id	用户id
app_id	应用id
cluster_id	集群id

RabbitMQ 消息队列：浅谈

Thu, 28 Dec 2017 22:21:12 +0800

简介

消息队列用来解决不同项目间通信、业务解耦。消息队列有很多种比如用Redis实现的轻量级消息队列。RabbitMQ是消息队列的一种，基于AMQP协议，用Erlang语言编写，属于一种消息队列中间件。

消息机制

Connection 链接

真实的TCP链接

Channel 信道

基于Connection创建的Channel，所有的数据传输都是基于Channel的。大家都知道TCP链接需要三次握手，业务频繁每次开TCP链接对性能也会有不小的损耗，TCP链接数也有限制。Channel的存在主要是为了复用TCP链接。

Exchange 交换机

消息生产者生产的所有消息都会先写入Exchange中，再路由到Queues中，如果Exchange没有绑定或未匹配到Queues则消息会被丢弃。

Queues 队列

生产者生产的消息会从Exchange中路由到Queues中，消费者从Queues中消费消息。

Binding 绑定

Binding将Exchange与Queues关联起来。

Routing key 路由键

路由键是消息从Exchange进入到某个Queues的规则。在将Queues绑定至Exchange时会设置消息从Exchange路由至Queues的绑定路由键规则。在将消息写入Exchange时会附带消息的路由键。

Exchange类型为direct或topic时，消息的投递会根据消息的路由键和绑定的路由键进行匹配，Exchange将消息投递给所有匹配上的Queues。

路由键写法

路由键可以由. 进行分隔，如computer.mac或computer.win。路由键还支持通配符来模糊匹配，*与# *匹配一个分隔的单词 #匹配多个或零个分隔的单词

应用举例

Exchange	Routing key	Queues
X	`..imac`	apple
X	`apple.#`	apple
X	`.phone.`	phone
此时写入一条消息路由键为`apple.phone.iphone4`会被投递到队列apple与phone。
再写入一条消息路由键为`apple.computer.imac`仅会被投递到apple，此时apple队列匹配了两个路由键，但是也只会投递到apple一次。
再写入一条消息路由键为`micro.computer.win`因为没有匹配的路由键队列该消息会被丢弃。

Exchange Types 交换机类型

fanout 广播

fanout类型的Exchange会无视路由键，将消息投递给所有绑定到该Exchange上的Queues。

direct 单播

direct类型的Exchange会将消息投递给路由键完全匹配的Queues中。

topic 组播

topic类型的Exchange会将消息投递给路由键模糊匹配的Queues中。

headers

headers类型的Exchange也会无视路由键，会根据headers中的属性来进行匹配。该类型应用较少，不过在RabbitMQ内部还是有使用。

Nick's Blog

Argo CD 实践 GitOps

介绍

安装部署

OneDev 自建 Git 服务和 CI/CD

介绍

部署安装

符号跳转、搜索

实践 Apache APISIX Ingress

介绍

安装部署

KubeSphere k8s 集群管理

介绍

安装使用

Ubuntu 20.04 下部署 k8s v1.22.7 集群

介绍

通过 Netmaker 配置 WireGuard 跨 VPC 组网

介绍

Netmaker 部署

关于学习和记忆的原理《考试脑科学》

通过企业微信构建消息推送服务

nps 内网穿透

实现结构图

Swoole slowlog 乱码修复

发现问题

用 Consul 和 Traefik 实现 Docker 容器的服务注册与发现

启动 consul 集群与 docker

年前线上问题总结

Intro

生产环境 调 测试环境

自行实现 redis 类

另

Golang 与 PHP 的 json 序列化问题

Intro

Golang 生成 O'Reilly 在线学习平台的电子书

使用说明

oreilly_kindle_book 编译

容器服务化方向的一些探索

traefik

PHP7 数组排序函数源码解析

JetBrains IDE 文件对比功能

编写Go的TCP服务来替代PHP的Swoole

背景说明

需求

解决方案

PHP5下的Error错误处理及问题定位

背景说明

场景复现

RabbitMQ 消息队列：队列的参数与消息的属性

Queues Arguments

Message Properties

RabbitMQ 消息队列：浅谈

简介

消息机制

Connection 链接

Channel 信道

Exchange 交换机

Queues 队列

Binding 绑定

Routing key 路由键

路由键写法

Exchange Types 交换机类型

fanout 广播

direct 单播

topic 组播

headers

生产环境调测试环境