dds可以无中心吗

dds可以无中心吗,第1张

可以。DDS(数据分发服务)是一种可以多播的,可以无中心的,低延迟的,低延迟的,通过网络协议传输数据的技术。它可以将数据广播到多个客户机,并且它还可以在来自多个源的数据流之间轻松切换。由于无需维护中心服务器,DDS可以让软件开发人员更快地开发和部署分布式应用程序。

1、数据分发服务器

数据分发服务器由dispserver、dispcli两个服务组成。这两个服务以tar包的形式单独提供,用户使用时,只需使用tar命令解压即可。配置数据加载的任务文件和dispcli工具必须存在于一台物理机器上,数据源文件和dispserver工具必须在同一台物理机器上。

2.2、数据加载步骤

1 启动服务器端 ./dispserver

2 设置配置数据加载的任务文件,如:xxxx.txt

disp_server=192.168.80.250:6666 ####服务端地址

file_list=path ####源文件目录

table_name=aaa ####加载的数据表名称

db_user=root ####登陆的用户名

db_name=bigdata ####加载的数据库名称

format=0 ####文本文件

delimiter=' ' ####源文件中数据的分隔符

socket=/tmp/gbase_8a_5050.sock

extra_loader_args=--parallel=12 ####数据的格式相关

hash_parallel=4 ####并发数,与硬件环境相关,硬件性能越高,此参数可以加大在本次集群环境中使用此配置

3 启动客户端加载程序

【数据加载实例】

将exmple.TXT.gz文件中的数据导入bigdata数据库的aaa表中,

数据加载过程

1 服务端dispserver与数据放在192.168.80.250服务器上,并进入dispserver所在目录,启动服务端 ./dispserver

2 设置配置数据加载的任务文件 aaa

[loader]

disp_server=192.168.80.250:6666 ####服务端地址

file_list=path ####源文件目录

table_name=aaa ####加载的数据表名称

db_user=root ####登陆的用户名

db_name=bigdata ####加载的数据库名称

format=0 ####0表示文本文件

delimiter=' ' ####源文件中数据的分隔符,此处为tab

socket=/tmp/gbase_8a_5050.sock

extra_loader_args=--parallel=12 ####数据的格式相关

hash_parallel=4 ###Hash操作使用的线程个数,最小为1,最大为节点个数

3、数据加载常见问题解决方案

2.3.2一张表中只有一种时间格式时

如,2013-09-10 00:00:00.000,只需要将配置文件的extra_loader_args参数设置为

extra_loader_args=12--def-datetime-format='%Y-%m-%d %H:%i:%s.%f'

一张表中有多种不同的时间格式的字段

需要在配置数据加载的任务文件中对每个字段单独指定时间格式,如:

extra_loader_args=--parallel=12 --table_fields=

CompletedDate date "%Y-%m-%d %H:%i:%s.%f",

OdsDateTime date "%Y-%m-%d",

DynamicFlag'

分隔符delimiter参数设定

该参数必须与数据文件中一样;注意tab与空格的区别。

数据导入后出现乱码

在数据导入之前,使用iconv -c -fgb18030 -t utf8 xxx.txt >yyy.txt

再使用yyy.txt导入数据


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/280637.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-21
下一篇2023-04-21

发表评论

登录后才能评论

评论列表(0条)

    保存