
文章插图
②全新的业务 , 或由业务自行导入到 TiDB 集群中 , 这种业务数据量一般都会比较大 , 也是看中了 TiDB 支持 ACID 和分布式的特点 。
目前网盾业务有多张表都过 10 亿级别 , 其中有张表到达了 100 亿+ , 建索引花了近 10 天(这块其实我们应当注意 , 不是分布式就一张表就完事儿了 , 因为表量级过大 , 清理老旧数据都是个问题) 。
TiDB 现在支持分区表 , 但我们在使用过程中发现性能上和普通表有差距 , 期待后续版本能够让分区表功能和性能更加的完善 。
TiDB在360云平台的使用情况对于这一全新的数据库 , 我们本着大胆用 , 不拘泥于传统的态度进行使用 。
我们的 MySQL 现在也正在适配 8.0 版本 , MongoDB、ES 也都是时刻关注着新版本情况来评估是否适合云平台 。
因此 TiDB 的上线也是从离线业务→边缘业务→核心业务来过渡的 。
经过大量的测试、也参考了其他公司的使用情况 , 我们计划将 TiDB 纳入 360 HULK 云平台 , 并计划后期对其不断完善在云平台中的功能 , 对全公司业务线开放使用 。
定制化开发一些 MySQL 已经具备的 , 例如 SQL 审核、慢查统计、冗余索引检测、自增索引阈值等各项基础功能等等 。
虽然在使用过程中遇到了一些小问题 , 例如索引的选取、参数的调优 , 因为一些配置导致的性能抖动 , 但都得到了 PingCAP 同学快速的响应和回复 , 这对我们推进 TiDB 有重大的帮助 。
一键迁移工具 DM 干货分享
DM 使用经验如下:①权限官网手册上只说明需要如下权限:
TiDB Lightning 需要以下权限:
- SELECT
- UPDATE
- ALTER
- CREATE
- DROP
- INSERT
- DELETE
- 上游 (REPLICATION SLAVE 权限必须具备 , 要不增量同步会 access deny) 。
- 下游 (不加 super 会导致 checksum table 无法执行) 。
③PD 调度原理
Region 负载均衡调度主要依赖 balance-leader 和 balance-region 两个调度器 。
二者的调度目标是将 Region 均匀地分散在集群中的所有 Store 上 , 但它们各有侧重:
- balance-leader 关注 Region 的 Leader , 目的是分散处理客户端请求的压力 。
- balance-region 关注 Region 的各个 Peer , 目的是分散存储的压力 , 同时避免出现爆盘等状况 。

文章插图
调度期间 , 不可避免的会出现 IO 争用、磁盘的 lantency , 都会出现不同程度的上涨 , 从业务上的反馈看 , 就会出现积压 , 响应不及时等等 。而当 Region Balance 完成后 , Duration 等都会恢复正常水平 。
因此 , 我们要关注的地方有两点:
- 如何控制或减小 Region Balance 大规模迁移时对业务的影响;
- 如何提前规避因磁盘导致的大规模 Region Balance 。
例如:
- high-space-ratio 0.7 #设置空间充裕阈值为 0.7 。当节点的空间占用比例小于指定值时 , PD 调度时会忽略剩余空间这个指标 , 主要针对实际数据量进行均衡 。
- region-schedule-limit 8 #最多同时进行 8 个 Region 调度 。这个值主要影响 Region Balance 的速度 , 值越大调度得越快 , 设置为 0 则关闭调度 。Region 调度的开销较大 , 所以这个值不宜调得太大 。也可以通过减小该值来限制调度region对集群产生的影响 。
推荐阅读
- 明明是4KHDMI线,为什么高清电视变标清?究竟错在哪?
- 实例详解,百度搜索oCPC优化技巧
- 计算机端口详解
- 怎么回事?明明是4KHDMI线,为什么高清电视变标清?究竟错在哪?
- 基于oAuth的授权登陆
- 为什么子宫会隐隐作痛
- 为什么没有母乳?
- 淘宝卖家修改价格为什么修改不了了 手机淘宝怎么提交订单让卖家改价
- 竞品怎么比较 淘宝竞品分析主要从哪几个方面
- 淘宝店库存为什么不能改 淘宝修改库存技巧
