下表为规划的集群组件分配
域名 | starrocks1 | starrocks2 | starrocks3 |
---|---|---|---|
组件 | mysql、FE(follower)、BE1、datax-executor、datax FE(leader) | BE2、datax-executor、datax | FE(follower)、BE3、datax-admin、datax-executor、datax |
hostnamectl set-hostname starrocks1hostnamectl set-hostname starrocks2hostnamectl set-hostname starrocks3
groupadd starrocksuseradd -g starrocks starrockspasswd starrocks
starrocks1/ starrocks2/ starrocks3 都得配置
echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
ulimit -n 65535
rpm -qa | grep mariadbrpm -e --nodeps 文件名
建立用户,为了方便数据库管理,对于安装的MySQL数据库,生产上我们都会建立一个mysql用户和mysql用户组:
# 添加mysql用户组
groupadd mysql
# 添加mysql用户
useradd -g mysql mysql -d /home/mysql
# 修改mysql用户的登陆密码
passwd mysql
上传 mysql-5.7.40-linux-glibc2.12-x86_64.tar 安装包到 /usr/local 目录下
# 解压缩tar -zxvf mysql-5.7.40-linux-glibc2.12-x86_64.tar.gz# 建立软链接,便于以后版本升级ln -s mysql-5.7.40-linux-glibc2.12-x86_64 mysql# 修改mysql文件夹下所有文件的用户和用户组chown -R mysql:mysql /home/mysql/
# 创建配置文件cd /etc# 在my.cnf文件中添加对应的配置项,文章末尾会提供一个默认的 my.cnf 配置【然后填入下面配置】注意设置 secureCRT 的编码格式为 UTF-8vi my.cnf
[client] # 客户端设置,即客户端默认的连接参数port = 3306 # 默认连接端口socket = /home/mysql/3306/tmp/mysql.sock # 用于本地连接的socket套接字,mysqld守护进程生成了这个文件[mysqld] # 服务端基本设置# 基础设置server-id = 1 # Mysql服务的唯一编号 每个mysql服务Id需唯一port = 3306 # MySQL监听端口basedir = /usr/local/mysql # MySQL安装根目录datadir = /home/mysql/3306/data # MySQL数据文件所在位置tmpdir = /home/mysql/3306/tmp # 临时目录,比如load data infile会用到socket = /home/mysql/3306/tmp/mysql.sock # 为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件pid-file = /home/mysql/3306/log/mysql.pid # pid文件所在目录skip_name_resolve = 1 # 只能用IP地址检查客户端的登录,不用主机名character-set-server = utf8mb4 # 数据库默认字符集,主流字符集支持一些特殊表情符号(特殊表情符占用4个字节)transaction_isolation = READ-COMMITTED # 事务隔离级别,默认为可重复读,MySQL默认可重复读级别collation-server = utf8mb4_general_ci # 数据库字符集对应一些排序等规则,注意要和character-set-server对应init_connect='SET NAMES utf8mb4' # 设置client连接mysql时的字符集,防止乱码lower_case_table_names = 1 # 是否对sql语句大小写敏感,1表示不敏感max_connections = 400 # 最大连接数max_connect_errors = 1000 # 最大错误连接数explicit_defaults_for_timestamp = true # TIMESTAMP如果没有显示声明NOT NULL,允许NULL值max_allowed_packet = 128M # SQL数据包发送的大小,如果有BLOB对象建议修改成1Ginteractive_timeout = 1800 # MySQL连接闲置超过一定时间后(单位:秒)将会被强行关闭wait_timeout = 1800 # MySQL默认的wait_timeout值为8个小时, interactive_timeout参数需要同时配置才能生效tmp_table_size = 16M # 内部内存临时表的最大值 ,设置成128M;比如大数据量的group by ,order by时可能用到临时表;超过了这个值将写入磁盘,系统IO压力增大max_heap_table_size = 128M # 定义了用户可以创建的内存表(memory table)的大小query_cache_size = 0 # 禁用mysql的缓存查询结果集功能;后期根据业务情况测试决定是否开启;大部分情况下关闭下面两项query_cache_type = 0# 用户进程分配到的内存设置,每个session将会分配参数设置的内存大小read_buffer_size = 2M # MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySQL会为它分配一段内存缓冲区。read_rnd_buffer_size = 8M # MySQL的随机读缓冲区大小sort_buffer_size = 8M # MySQL执行排序使用的缓冲大小binlog_cache_size = 1M # 一个事务,在没有提交的时候,产生的日志,记录到Cache中;等到事务提交需要提交的时候,则把日志持久化到磁盘。默认binlog_cache_size大小32Kback_log = 130 # 在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中;官方建议back_log = 50 + (max_connections / 5),封顶数为900# 日志设置log_error = /home/mysql/3306/log/error.log # 数据库错误日志文件slow_query_log = 1 # 慢查询sql日志设置long_query_time = 1 # 慢查询时间;超过1秒则为慢查询slow_query_log_file = /home/mysql/3306/log/slow.log # 慢查询日志文件log_queries_not_using_indexes = 1 # 检查未使用到索引的sqllog_throttle_queries_not_using_indexes = 5 # 用来表示每分钟允许记录到slow log的且未使用索引的SQL语句次数。该值默认为0,表示没有限制min_examined_row_limit = 100 # 检索的行数必须达到此值才可被记为慢查询,查询检查返回少于该参数指定行的SQL不被记录到慢查询日志expire_logs_days = 5 # MySQL binlog日志文件保存的过期时间,过期后自动删除# 主从复制设置log-bin = mysql-bin # 开启mysql binlog功能binlog_format = ROW # binlog记录内容的方式,记录被操作的每一行binlog_row_image = minimal # 对于binlog_format = ROW模式时,减少记录日志的内容,只记录受影响的列# Innodb设置innodb_open_files = 500 # 限制Innodb能打开的表的数据,如果库里的表特别多的情况,请增加这个。这个值默认是300innodb_buffer_pool_size = 64M # InnoDB使用一个缓冲池来保存索引和原始数据,一般设置物理存储的60% ~ 70%;这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少innodb_log_buffer_size = 2M # 此参数确定写日志文件所用的内存大小,以M为单位。缓冲区更大能提高性能,但意外的故障将会丢失数据。MySQL开发人员建议设置为1-8M之间innodb_flush_method = O_DIRECT # O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突innodb_write_io_threads = 4 # CPU多核处理能力设置,根据读,写比例进行调整innodb_read_io_threads = 4innodb_lock_wait_timeout = 120 # InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒innodb_log_file_size = 32M # 此参数确定数据日志文件的大小,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间
# 创建目录mkdir -p /home/mysql/3306/data
mkdir -p /home/mysql/3306/tmp
mkdir -p /home/mysql/3306/log
chown -R mysql:mysql /home/mysql/
cd /usr/local/mysql/bin# 初始化数据库,并指定启动mysql的用户./mysqld --initialize --user=mysql
# 这里最好指定启动mysql的用户名,否则就会在启动MySQL时出现权限不足的问题
# 安装完成后,在my.cnf中配置的datadir目录下生成一个 /home/mysql/3306/log/error.log 文件,里面记录了root用户的随机密码。
cat /home/mysql/3306/log/error.log | grep pass
# 复制启动脚本到资源目录cp /usr/local/mysql-5.7.40-linux-glibc2.12-x86_64/support-files/mysql.server /etc/rc.d/init.d/mysqld # 增加mysqld服务控制脚本执行权限 chmod +x /etc/rc.d/init.d/mysqld # 将mysqld服务加入到系统服务 chkconfig --add mysqld # 检查mysqld服务是否已经生效 chkconfig --list mysqld # 切换至mysql用户,启动|停止|重启|状态service mysqld start|stop|restart|status
为了更好的操作mysql,配置环境变量
# 切换至mysql用户su - mysql# 修改配置文件vi .bash_profileMYSQL_HOME=/usr/local/mysqlPATH=$MYSQL_HOME/bin# 立即生效source .bash_profile
使用 root 用户 mysql -uroot -proot 进行登录即可
# 登陆mysqlmysql -u root -p# 修改root用户密码set password for root@localhost=password("1qaz@WSX");
设置允许所有IP访问GRANT ALL ON *.* to root@'%' IDENTIFIED BY '1qaz@WSX';FLUSH PRIVILEGES;
上传 StarRocks 并解压二进制安装包。
tar -xzvf StarRocks-x.x.x.tar.gz
注意:将以上文件名修改为下载的二进制安装包名。上传完成后,将安装包分发至各节点。
本小节介绍如何配置部署 Frontend (FE) 节点。FE 是 StarRocks 的前端节点,负责管理元数据,管理客户端连接,进行查询规划,查询调度等工作。
# 进入 StarRocks-x.x.x/fe 路径。
cd /opt/starrocks/fe# 修改 FE 配置文件 conf/fe.conf。
LOG_DIR = /var/log/starrocks/fe
meta_dir = /hdisk1/starrocks/fe/meta
priority_networks = 192.168.10.21/24
sys_log_dir = /var/log/starrocks/fe
audit_log_dir = /var/log/starrocks/fe
注意: JAVA_HOME = 将这个路径修改为 Java 所在的本地路径。
创建 FE 节点中的元数据路径 meta。
mkdir -p meta
注意:该路径需要与 conf/fe.conf 文件中配置路径保持一致。
tar -zxvf StarRocks-2.4.2.tar.gz -C /opt/cd /optln -s StarRocks-2.4.2/ starrockschown -R starrocks:starrocks /opt/chmod -R 755 /opt/mkdir -p /hdisk1/starrocks/fe/metamkdir -p /var/log/starrocks/femkdir -p /hdisk1/starrocks/be/storagemkdir -p /hdisk2/starrocks/be/storagemkdir -p /hdisk3/starrocks/be/storagemkdir -p /var/log/starrocks/bechown -R starrocks:starrocks /hdisk1/starrockschown -R starrocks:starrocks /hdisk2/starrockschown -R starrocks:starrocks /hdisk3/starrockschown -R starrocks:starrocks /var/log/starrockschmod -R 755 /hdisk1/starrockschmod -R 755 /hdisk2/starrockschmod -R 755 /hdisk3/starrockschmod -R 755 /var/log/starrocks
chown -R starrocks:starrocks /var/log
运行以下命令启动 FE 节点。
bin/start_fe.sh --daemon
通过以下方式验证 FE 节点是否启动成功:
2020-03-16 20:32:14,686 INFO 1 [FeServer.start():46] thrift server started. // FE 节点启动成功。
2020-03-16 20:32:14,696 INFO 1 [NMysqlServer.start():71] Open mysql server success on 9030 // 可以使用 MySQL 客户端通过 `9030` 端口连接 FE。
2020-03-16 20:32:14,696 INFO 1 [QeService.start():60] QE service start.
2020-03-16 20:32:14,825 INFO 76 [HttpServer$HttpServerThread.run():210] HttpServer started with port 8030
说明:如果由于端口被占用导致 FE 启动失败,可修改配置文件 conf/fe.conf 中的端口号 http_port。
您可通过 MySQL 客户端连接 StarRocks 以添加 FE 节点。
在 FE 进程启动后,使用 MySQL 客户端连接 FE 实例。
mysql -h 127.0.0.1 -P9030 -uroot
说明:root 为 StarRocks 默认内置 user,密码为空,端口为 fe/conf/fe.conf 中的 query_port 配置项,默认值为 9030。
修改root 密码
set password=PASSWORD('1qaz@WSX');
查看 FE 状态
SHOW PROC '/frontends'\G
示例:
MySQL [(none)]> SHOW PROC '/frontends'\G*************************** 1. row ***************************Name: 172.26.xxx.xx_9010_1652926508967IP: 172.26.xxx.xxHostName: iZ8vb61k11tstgnvrmrdfdZEditLogPort: 9010HttpPort: 8030QueryPort: 9030RpcPort: 9020Role: LEADERClusterId: 1160043595Join: trueAlive: true
ReplayedJournalId: 1303LastHeartbeat: 2022-10-19 11:27:16IsHelper: trueErrMsg:StartTime: 2022-10-19 10:15:21Version: 2.4.0-c0fa2bb
1 row in set (0.02 sec)
• 当 Role 为 LEADER 时,当前 FE 节点为选主出的主节点。
• 当 Role 为 FOLLOWER 时,当前节点是一个能参与选主的 FE 节点。
如果 MySQL 客户端连接失败,可以通过查看 log/fe.warn.log 日志文件发现问题。
如果在初次部署时遇到任何意外问题,可以在删除并重新创建 FE 的元数据目录后,重新开始部署。
StarRocks 的 FE 节点支持 HA 模型部署,以保证集群的高可用。
使用 MySQL 客户端连接已有 FE 节点,添加新 FE 节点的信息,包括角色、IP 地址、以及 Port。
注意一定先添加再启动
• 添加 Follower FE 节点。
ALTER SYSTEM ADD FOLLOWER "host:port";
• 添加 Observer FE 节点。
ALTER SYSTEM ADD OBSERVER "host:port";
参数:
• host:机器的 IP 地址。如果机器存在多个 IP 地址,则该项为 priority_networks 设置项下设定的唯一通信 IP 地址。
• port:edit_log_port 设置项下设定的端口,默认为 9010。
出于安全考虑,StarRocks 的 FE 节点和 BE 节点只会监听一个 IP 地址进行通信。如果一台机器有多块网卡,StarRocks 有可能无法自动找到正确的 IP 地址。例如,通过 ifconfig 命令查看到 eth0 IP 地址为 192.168.1.1,docker0 IP 地址为 172.17.0.1,您可以设置 192.168.1.0/24 子网以指定使用 eth0 作为通信 IP。此处采用 CIDR 的表示方法来指定 IP 所在子网范围,以便在所有的 BE 及 FE 节点上使用相同的配置。
如出现错误,您可以通过命令删除相应 FE 节点。
• 删除 Follower FE 节点。
ALTER SYSTEM DROP FOLLOWER "host:port";
• 删除 Observer FE 节点。
ALTER SYSTEM drop OBSERVER "host:port";
FE 节点需两两之间建立通信连接方可实现复制协议选主,投票,日志提交和复制等功能。当新的FE节点首次被添加到已有集群并启动时,您需要指定集群中现有的一个节点作为 helper 节点,并从该节点获得集群的所有 FE 节点的配置信息,才能建立通信连接。因此,在首次启动新 FE 节点时候,您需要通过命令行指定 --helper 参数。
./bin/start_fe.sh --helper host:port --daemon
参数:
• host:机器的IP 地址。如果机器存在多个 IP 地址,则该项为 priority_networks 设置项下设定的唯一通信 IP 地址。
• port:edit_log_port 设置项下设定的端口,默认为 9010。
例如:
/opt/starrocks/fe/bin/start_fe.sh --helper 192.168.10.22:9010 --daemon
查看集群状态,确认部署成功。
mysql> SHOW PROC '/frontends'\G
*************************** 1. row ***************************Name: 192.168.10.21_9010_1672903151744IP: 192.168.10.21EditLogPort: 9010HttpPort: 8030QueryPort: 9030RpcPort: 9020Role: FOLLOWERClusterId: 114599321Join: trueAlive: true
ReplayedJournalId: 443LastHeartbeat: 2023-01-05 15:26:42IsHelper: trueErrMsg: StartTime: 2023-01-05 15:23:56Version: 2.4.2-3994421
*************************** 2. row ***************************Name: 192.168.10.23_9010_1672903157548IP: 192.168.10.23EditLogPort: 9010HttpPort: 8030QueryPort: 9030RpcPort: 9020Role: FOLLOWERClusterId: 114599321Join: trueAlive: true
ReplayedJournalId: 443LastHeartbeat: 2023-01-05 15:26:42IsHelper: trueErrMsg: StartTime: 2023-01-05 15:26:21Version: 2.4.2-3994421
*************************** 3. row ***************************Name: 192.168.10.22_9010_1672902152503IP: 192.168.10.22EditLogPort: 9010HttpPort: 8030QueryPort: 9030RpcPort: 9020Role: LEADERClusterId: 114599321Join: trueAlive: true
ReplayedJournalId: 444LastHeartbeat: 2023-01-05 15:26:41IsHelper: trueErrMsg: StartTime: 2023-01-05 15:02:44Version: 2.4.2-3994421
3 rows in set (0.10 sec)
节点的 Alive 项为 true 时,添加节点成功。
本小节介绍如何配置部署 Backend (BE) 节点。BE 是 StarRocks 的后端节点,负责数据存储以及 SQL 执行等工作。以下例子仅部署一个 BE 节点。您可以通过重复以下步骤添加多个 BE 节点。
进入 StarRocks-x.x.x/be 路径。
cd /opt/starrocks/be/
修改 BE 节点配置文件 conf/be.conf。因默认配置即可启动集群,以下示例并未修改 BE 节点配置。
注意
当一台机器拥有多个 IP 地址时,需要在 BE 配置文件 conf/be.conf 中设置 priority_networks,为该节点设定唯一 IP。
priority_networks = 192.168.10.21/24
storage_root_path = /hdisk1/starrocks/be/storage;/hdisk2/starrocks/be/storage;/hdisk3/starrocks/be/storage
sys_log_dir = /var/log/starrocks/be
通过 MySQL 客户端将 BE 节点添加至 StarRocks 集群。
mysql> ALTER SYSTEM ADD BACKEND "host:port";
例如:
ALTER SYSTEM ADD BACKEND "192.168.10.21:9050";
ALTER SYSTEM ADD BACKEND "192.168.10.22:9050";
ALTER SYSTEM ADD BACKEND "192.168.10.23:9050";
注意:host 需要与 priority_networks 相匹配,port 需要与 be.conf 文件中的设置的 heartbeat_service_port 相同,默认为 9050。
如添加过程出现错误,需要通过以下命令将该 BE 节点从集群移除。
mysql> ALTER SYSTEM decommission BACKEND "host:port";
说明:host 和 port 与添加的 BE 节点一致。
运行以下命令启动 BE 节点。
bin/start_be.sh --daemon
3.3.4确认 BE 启动成功
通过 MySQL 客户端确认 BE 节点是否启动成功。
SHOW PROC '/backends'\G
示例:
MySQL [(none)]> SHOW PROC '/backends'\G*************************** 1. row ***************************BackendId: 10003Cluster: default_clusterIP: 172.26.xxx.xxHostName: sandbox-pdtw02HeartbeatPort: 9050BePort: 9060HttpPort: 8040BrpcPort: 8060LastStartTime: 2022-05-19 11:15:00LastHeartbeat: 2022-05-19 11:27:36Alive: trueSystemDecommissioned: false
ClusterDecommissioned: falseTabletNum: 10DataUsedCapacity: .000AvailCapacity: 1.865 TBTotalCapacity: 1.968 TBUsedPct: 5.23 %MaxDiskUsedPct: 5.23 %ErrMsg:Version: 2.2.0-RC02-2ab1482Status: {"lastSuccessReportTabletsTime":"2022-05-19 11:27:01"}DataTotalCapacity: 1.865 TBDataUsedPct: 0.00 %
1 row in set (0.01 sec)
当 Alive 为 true 时,当前 BE 节点正常接入集群。
如果 BE 节点没有正常接入集群,可以通过查看 log/be.WARNING 日志文件排查问题。
如果日志中出现类似以下的信息,说明 priority_networks 的配置存在问题。
W0708 17:16:27.308156 11473 heartbeat_server.cpp:82\] backend ip saved in master does not equal to backend local ip127.0.0.1 vs. 172.16.xxx.xx
如遇到以上问题,可以通过 DROP 错误的 BE 节点,然后重新以正确的 IP 添加 BE 节点的方式来解决。
ALTER SYSTEM DROP BACKEND "172.16.xxx.xx:9050";
如果在初次部署时遇到任何意外问题,可以在删除并重新创建 BE 的数据路径后,重新开始部署。
http://192.168.10.22:8030
后面的操作是为了方便StarRocks数据迁移的。
上传 2 个安装包
在 starrocks 用户下执行
tar -zxvf datax.tar.gz -C /opt/tar -zxvf datax-web-2.1.2.tar.gz -C /opt/
执行 datax-web 的 install.sh
注意选择 yynn
只生成目录不安装
修改 /opt/datax-web-2.1.2/modules/datax-admin/conf/ bootstrap.properties
DB_HOST=192.168.10.21
DB_PORT=3306
DB_USERNAME=root
DB_PASSWORD=1qaz@WSX
DB_DATABASE=dataxweb
修改 datax-executor 的 application.yml 文件:
# web port
server:port: ${server.port}#port: 8081# log config
logging:config: classpath:logback.xmlpath: ${data.path}/applogs/executor/jobhandler#path: ./data/applogs/executor/jobhandlerdatax:job:admin:### datax admin address list, such as "http://address" or "http://address01,http://address02"#addresses: http://127.0.0.1:8080addresses: http://192.168.10.23:${datax.admin.port}executor:appname: datax-executorip: 192.168.10.23#port: 9999port: ${executor.port:9999}### job log path#logpath: ./data/applogs/executor/jobhandlerlogpath: ${data.path}/applogs/executor/jobhandler### job log retention dayslogretentiondays: 30### job, access tokenaccessToken:executor:#jsonpath: D:\\temp\\executor\\json\\jsonpath: ${json.path}#pypath: F:\tools\datax\bin\datax.pypypath: ${python.path}
cd /optscp -r datax starrocks1:/opt/scp -r datax starrocks2:/opt/scp -r datax-web-2.1.2/ starrocks1:/opt/scp -r datax-web-2.1.2/ starrocks2:/opt/
同时需要通过 navicat 连接 starrocks1 上面的mysql,执行下面的sql
create database dataxweb;
执行 datax-web 的 install.sh
注意选择 nnyy
只安装
注意如果安装失败则需要通过 navicat 连接 starrocks1 上面的mysql,手动执行 datax-web.sql 文件中的 SQL。
修改 .bash_profile 文件
DATAX_HOME=/opt/datax
export PATH DATAX_HOME
source .bash_profile
修改 admin 的 logback.xml
admin %d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{5} - %msg%n ${LOG_PATH}/datax-admin.log ${LOG_PATH}.%d{yyyy-MM-dd}.zip %date %level [%thread] %logger{36} [%file : %line] %msg%n
scp logback.xml starrocks1:/opt/datax-web-2.1.2/modules/datax-admin/conf/scp logback.xml starrocks2:/opt/datax-web-2.1.2/modules/datax-admin/conf/
修改 executor 的 logback.xml
exe %d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{10} - %msg%n ${LOG_PATH}/datax-executor.log ${LOG_PATH}.%d{yyyy-MM-dd}.zip %date %level [%thread] %logger{20} [%file : %line] %msg%n
scp logback.xml starrocks1:/opt/datax-web-2.1.2/modules/datax-executor/conf/scp logback.xml starrocks2:/opt/datax-web-2.1.2/modules/datax-executor/conf/
su - starrocks
starrocks3 执行 ./start-all.sh
starrocks1 和 2 执行 ./start.sh -m datax-executor
http://192.168.10.23:9527/index.html#/dashboard