非对等gp集群迁移

老gp：单机1maste+4p

新gp：1+2集群，4p4m

为方便操作，n2n到服务器

pg_dump与pgrestore

dump为sql，太慢（dump全库一个通宵未完成，官方说一般只用来dump ddl，不dump data）

用做kettl资源库的备份还原尚可

/usr/local/greenplum-db-5.0.0/bin/gptransfer -t bigdata.edw.dim_date --source-map-file=seg_hosts_file -a --dest-host=172.18.1.49 --dest-database=bigdata --dest-user=gpadmin --batch-size=2 --truncate >gptranfer.log

原有gptranser方式，但gp5取消了该功能，其思路：

根据此原理，开发了以下步骤，并优化去掉了scp这步：

老gp172.18.120：

新gp2个数据节点开启，减少数据传输，双写加快速度

171.18.1.50：

171.18.1.51：

由1.20写到50和51

测试本地导出txt再压缩，速度太慢：

直接导出压缩格式：

sql命令copy导出到压缩：copy to program功能

5.1+才提供该功能，顺便将老gp5.0升级到5.8，参考： https://www.jianshu.com/p/8398625f9f91

外部表导入数据

需要将/home/gpdata/gpfdist路径修改为远程服务器的目录路径：（nfs方式？）

为了玩树莓派用尽了脑子...

n2n是用来实现p2p的程序.

p2p不用占用服务器资源, 网速取决于各个客户端的速度, 是内网穿透的"最佳方案"(如果稳定的话).

但是p2p并不能穿透所有的NAT, 比如NAT4目前还没有好用的穿透软件.

如果你对你所在的网络自信的话建议使用一下这个软件, 运行超级简单, 几分钟就可以搞定内网穿透问题. 而且不用再配置端口, 直接使用虚拟网卡ip就能访问节点.

但笔者在实验之后发现n2n并不稳定, 所以就不再大篇写它了. 这是相关资料:

项目地址: https://github.com/fatedier/frp

frp也实验性的加入了p2p支持, 名为xtcp, 但穿透效果也不够稳定, 不建议使用.

frp需要一个公网服务器作为中转器, 这个服务的叫 frps , 启动frps也非常简单: 使用docker

对了 还有config文件

其中端口的配置看官方文档即可, 不难.

现在就需要为内网机器启动客户端了, 这个程序叫 frpc , 可以直接在项目的 releases 页面找到你系统对应的版本. 由于frpc经常需要访问到宿主机的网络, 用docker不好折腾, 所以就直接运行之:

frpc.init的配置稍微有一点复杂, 这里举例说明一个: 访问内网机器的Admin UI.

frpc支持远程管理配置文件, 也就是 Admin UI

现在在客户端访问localhost:8080就能看到

现在开始编辑你的配置文件吧,

既然是内网机(现在我们称它为A), 所以不能随时都能连接上, 那么需要将admin暴露出去以便随时修改配置(当然也可以暴露ssh端口).

好了, 现在访问远程服务器xxxx:10010就能看到admin页面了.

不过这是不安全的(就算添加了basic auth也一样), 任何人都能访问到这个页面乱改一通. 并且admin并不需要随时修改, 为了安全放弃点便利是有必要的.

这就需要使用到稍微麻烦一点的stcp协议:

可以看到没有了remote_port配置项, 那么如何访问他呢? 这时就需要在访问端(另一个机器, 我们称它为B)运行另一个frpc并配置如下

这个配置说明要访问admin服务, 并且映射到本机的127.0.0.1:8080端口. 现在在B机器上访问127.0.0.1:8080也能看到同样的界面了.

推荐使用Termux, 无需root就能直接运行frpc程序(arm64版本), 运行方式和在linux上一样.

frp并没有n2n在易用, 但也够用了, 测试也很稳定, 在没找到更好的替代方案之前就用他了吧.

其实frp也可以像n2n一样包一个类似VPN的壳, 易用性就能提升很多啦. 有兴趣的朋友可以再研究, https://github.com/fatedier/frp/issues/279

---