您当前的位置:首页 >> 装修日记

深度干货!一篇Paper带您读到HTAP

2024-01-23 12:17:57

入第三期中,是具有分布式驱动程式、寄存器计算和先为四支混存的HTAP在本站。

在在本站课题,有两个公认的经验法则:

先为存(Row Store):比较适合OLTP。

Row-wise,update-hey(重非常新),short-lived transactions(除此以外延宗教事务)

四支存(Column Store):比较适合OLAP。

column-wise,read-hey,bandwidth-intensive queries(带上宽敏感转发)

在本篇报告配要深入研究改用先为四支互相冲突的HTAP在本站。

2A trade-off for HTAP databases

HTAP 在本站也有无需彻底解决的缺陷,正所谓鱼和熊掌不可兼得,很多时候我们无需找到一个权衡点,既然是权衡,就有天衡的两端,在HTAP在本站课题中都,配要争论的是 临时工增益强制(Workload isolation)和 原始数据IMDB(Data freshness)这两个重要特性的权衡。

临时工增益强制,就是指OLTP和OLAP之间的增益强制程度;原始数据IMDB,就是指OLAP到底懂到多新的宗教事务性原始数据。

从现有的观测原始数据来看:

很高的临时工增益强制但会造成了较更高的原始数据IMDB

更高的临时工增益强制但会获得较很高的原始数据IMDB

Trade-off for workload isolation and data freshness

这中都关于Trade-off的相关思考我们前在对外的透过但会上也屡次引用,感兴趣的班上可以前往B站参观者我们早先一期的本站上Meetup录像带上:

录像带上地址:

3Challenges for HTAP databases

写作者这中都提出批评了HTAP在本站陷于的八大便一,这中都也和我们的第二篇撰文 《什么是真正的HTAP?便一篇》 中都的观念大相迳庭,可以说完全在我们提出批评的8点便一仅限于之内:

便一一: 原始数据组织(Data Organization)

便一二: 原始数据并先为(Data Synchronization)

便一三: 转发最佳化(Query Optimization)

便一四: 人力配置(Resource Scheduling)

Challenges for HTAP databases

HTAP 在本站

这一章节配要考察现有 HTAP 在本站的配要驱动程式,写作者这中都分作了八大驱动程式:

配先为闪存+寄存器中所四支闪存(Primary Row Store + InMemory Column Store)

分布式先为闪存+四支闪存复制(Distributed Row Store + Column Store Replica)

闪存先为闪存+分布式四支闪存(Disk Row Store + Distributed Column Store)

配四支闪存+当前先为闪存(Primary Column Store + Delta Row Store)

1 配先为闪存+寄存器中所四支闪存

配先为闪存+寄存器中所四支闪存

这类 HTAP 在本站为了让配先为闪存作为 OLTP 临时工增益的典范,并使用寄存器四支闪存分派 OLAP 临时工增益。所有原始数据都保存在配先为闪存中所。先为闪存也是寄存器最佳化的,因此可以有效地分派原始数据非常新。非常新也但会可用到当前闪存中所,当前闪存将更名到四支闪存中所。例如,Oracle 寄存器双JPEG在本站结合了基于先为的缓冲器和基于四支的寄存器压缩各别 (IMCU) 来一起分派 OLTP 和 OLAP 临时工增益。复制和非常改缓存在快照元原始数据各别 (SMU) 中所。另一个例子是 SQL Server,它在 Hekaton 先为引擎中所的寄存器表上开发了四支闪存索引 (CSI),以充分为了让并先为归纳分派。这种并不一定的 HTAP 在本站具有很高处理量,因为所有临时工增益都在寄存器中所分派。

压倒性:

TP 处理量很高

AP 处理量很高

原始数据IMDB很高

战争初期:

AP 适配能力更高

增益强制性更高

广为应用:

很高吞吐、更高适配(比如无需并先为归纳的银先为该系统)

系统性深入研究1:Oracle Dual-Format

Lahiri, Tirthankar, et al. "Oracle database in-memory: A dual format in-memory database." In ICDE, 2015.

D:单指令多原始数据

Max-Min Zone Map

Vector Group By:向分析方法

系统性深入研究2:SQL Server

Larson, Per-Åke, et al. "Real-time ytical processing with SQL server.” PVLDB 8(12), 2015: 1740-1751.

Persistent Column Store:持续性化四支存

Updatable:可非常新

揭示

驱动程式(a)的两个HTAP在本站对比 2分布式先为闪存+四支闪存复制

分布式先为闪存+四支闪存复制

此类别依赖于分布式驱动程式来默许 HTAP。配键值在分派宗教事务请求时将但会话异步复制到从键值。配闪存为先为闪存,同样一些从键值作为四支闪存服务器端进先为转发减速。宗教事务以分布式方式为分派以充分为了让很高可适配性;复杂转发在具有四支闪存的服务器端键值中所执先为。

压倒性:

增益强制性很高

适配性很高

战争初期:

原始数据IMDB更高

广为应用:

对TP和AP适配性尽快比较很高,同时能够容忍一般来说较更高的原始数据IMDB(比如无需并先为归纳的大规模电商该系统)

系统性深入研究:F1 Lightning

Yang, Jiacheng, et al. "F1 Lightning: HTAP as a Service." PVLDB 13(12), 2020: 3313-3325. 揭示驱动程式(b)的两个HTAP在本站对比 3闪存先为闪存+分布式四支闪存

闪存先为闪存 + 分布式四支闪存

这种在本站为了让基于闪存的 RDBMS 和分布式寄存器四支闪存 (IMCS) 来默许 HTAP。RDBMS 保留了 OLTP 临时工增益的全部量,并且深度集成了 IMCS 集群以减速转发分派。四支原始数据从先为闪存中所提取,刺原始数据就位在 IMCS 中所,凝原始数据将被驱逐到闪存。例如,MySQL Heatwe将 MySQL 在本站与称为 Heatwe 的分布式 IMCS 集群紧密结合,以充分为了让并先为归纳。宗教事务在 MySQL 在本站中所完全执先为。偶尔访问的四支将被加载到 Heatwe。当复杂转发通通时,可以都只到IMCS引擎进先为转发减速。

压倒性:

增益强制性很高

AP处理量和适配性很高

战争初期:

原始数据IMDB不很高

Medium(On-premise):部署在本地,在不同机器上但会有原始数据IMDB的战死沙场

Low(Cloud-based):部署在广为应用程式,网络过长但会影响原始数据IMDB

广为应用:

对AP适配性尽快比较很高,同时能够容忍一般来说较更高的原始数据IMDB(比如无需并先为归纳的IoT广为应用)

系统性深入研究1:MySQL Heatwe

MySQL Heatwe. Real-time Analytics for MySQL Database Service, August 2021, Version 3.0

Auto-pilot service:自动调优(一些云服务,可以在该系统中所自动大哥客户充分为了让原始数据分区、转发最佳化和人力配置等等)

Auto-Sunc:自动并先为(可充分为了让定时化学合成并先为原始数据)

系统性深入研究2:Oracle RAC

Lahiri, Tirthankar, et al. "Oracle database in-memory: A dual format in-memory database." In ICDE, 2015.

Auto-Sunc:自动并先为(基于频率的方式为)

揭示

驱动程式(c)的两个HTAP在本站对比 4配四支闪存+当前先为闪存

配四支闪存+当前先为闪存

此类在本站为了让配四支闪存作为 OLAP 的典范,并使用当前先为闪存分派 OLTP。寄存器中所的 delta-main HTAP 在本站将整个原始数据闪存在配四支闪存中所。原始数据非常新可用到基于先为的当前闪存。OLAP 性能很很高,因为四支闪存是很高度驱动器最佳化的。但是,由于 OLTP 临时工增益只有一个当前先为闪存,因此 OLTP 的可伸缩性很更高。一个代表是 SAPHANA 。它将寄存器中所的原始数据闪存分为三层:L1-delta、L2-delta 和 Main。L1-delta以逐先为JPEG保持原始数据非常新。当达致频率时,将 L1-delta 中所的原始数据可用到 L2-delta。L2-delta 将原始数据转换为四支原始数据,然后将原始数据更名到配四支闪存中所。最后,将四支原始数据持续性化到闪存闪存。

压倒性:

原始数据IMDB很高

AP处理量很高

战争初期:

TP可适配性不很高

增益强制性不很高

广为应用:

很高AP处理量、很高原始数据IMDB(比如无需并先为归纳的暴风控该系统)

系统性1:SAP HANA

Sikka, Vishal, et al. "Efficient transaction processing in SAP HANA database: the end of a column store myth.” In SIGMOD. 2012. 系统性2:Hyper(Column)

Neumann, Thomas, Tobias Mühlbauer, and Alfons Kemper. "Fast serializable multi-version concurrency control for main-memory database systems." In SIGMOD ,2015. 揭示

驱动程式(d)的两个HTAP在本站对比 5四种驱动程式HTAP在本站的对比

HTAP 相关技术开发

HTAP的相关技术开发包含(1)宗教事务分派;(2)归纳分派;(3) 原始数据并先为;(4) 转发最佳化;(5)人力配置。这些新材料开发被最先进的 HTAP 在本站改用。然而,它们在各种举例来说上各有利弊,例如效率、可适配性和IMDB等等。

这个部分我们留到下一篇撰文便想到争论。

中所国人配导编程语言四支表 Apache OpenOffice客户端数量超3.33亿 ,Windows衡 台独占总3亿 微软本世纪最大的应用软件:超36斤的C/C++编译器

这中都有同并不一定开源资讯、软件非常新、技术开发海鲜等概要

点这中都 ↓↓↓ 昨天 关注✔ 标星⭐ 哦~

早起手指关节僵硬疼痛
哪个牌子的多维元素片好
孩子消化不良吃什么药
抗衰老的有效方法
吃什么药预防皱纹比较好
友情链接