乐胖代购免代理版

Doris数据库FE——FeServer

如下即为初始化中关于FeServer类的构造函数和start函数的具体代码。其start函数流程和构建thrift server行为一致，这里不介绍，仅说明其提供的接口。来承载，而查看代码仅用于 snapshot 的管理过程，其他的并非通过该接口实现。注这里存在疑问 gRpc 和 thrift 接口混着用的目的，不太明确。在 FE 端与 BE 端均存在一个任务 Queue，如上图所示，从当

数据库

oracle

sed

构造函数

System

原创 2023-12-01 15:15:46 203 阅读

Diving Into Delta Lake: Unpacking The Transaction Log

The transaction log is key to understanding Delta Lake because it is the common thread that runs through many of its most important

数据库

JSON

json

ci

翻译 2023-12-01 11:49:41 66 阅读

Doris数据库FE——全局事务状态机

从上述报错可以看出begin、commit、rollback等操作只有和insert操作结合使用。从上述可以猜测Doris数据库的事务性仅限于此。如下

数据库

java

apache

原创精选 2023-12-01 11:49:35 470 阅读

ORCA优化器浅析——DXLToPlStmt[CTranslatorDXLToPlStmt]

如上图所示是将plan_dxl转为plan_stmt的主入口函数。其主要工作就是创建plan_id_generator、motion_id_generator、param_id_gene

windows

linux

运维

List

ide

原创 2023-10-31 11:26:23 92 阅读

ORCA优化器浅析——DXLToPlStmt ForeignScan

将dyn_foreign_scan的foreignscan成员设置为foreign_scan_first_part，将dyn_foreign_scan->foreignscan.scan.plan.type设置为T_DynamicForeignScan，

windows

List

perl

存储类型

原创 2023-10-31 11:26:13 71 阅读

Understanding Modern Storage APIs: A systematic study of libaio, SPDK, and io_uring

Recent high-performance storage devices have exposed software inefficiencies in existing storage stacks, leading to a new breed of I/

数据库

API

ide

sed

翻译 2023-10-30 10:27:10 244 阅读

How we built a vectorized execution engine

How we built a vectorized execution engine Written byAlfonso Subiotto Marques and Rafi Shamim on October 31, 2019CockroachDB is an OLTP database, specialized fo

数据库

执行引擎

ci

ide

翻译 2023-10-25 10:45:23 101 阅读

Substrait: Cross-Language Serialization for Relational Algebra

For extensions, we need to provide extensionUris with the locations of the YAML files we used and extensions with the list of functions we used and which ext

算法

SQL

JSON

字段

翻译 2023-10-25 10:45:00 154 阅读

Internal and Tape Sorting Using the Replacement-Selection Technique

A general technique for sequencing unsorted records is presented. The technique is shown to be applicable for the first st

算法

初始化

字段

字符串

原创 2023-10-22 21:42:42 79 阅读

Assembling a Query Engine From Spare Parts

构建一个新的云数据仓库是一项艰巨的挑战，需要对查询引擎和周围的云基础设施进行大量投资。考虑到成熟的空间，作为一家小型初创公司进入市

数据库

SQL

数据仓库

sed

原创 2023-10-22 21:42:35 169 阅读

Linux I/O schedulers类型简介

Changing an I/O scheduler is performed on a per block device basis. For example, for non-multi queue device /dev/sda one can se

linux

数据库

运维

Ubuntu

调度程序

原创 2023-10-19 11:46:10 158 阅读

Doris数据库BE——冷热数据方案

其中 ROWSET 代表着数据导入批次，同一个ROWSET 一般代表着一个批次的导入任务，比如一次 stream load，一个 begin/c

数据库

数据

缓存文件

缓存

原创精选 2023-10-19 11:46:03 436 阅读

Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics

本文认为，我们今天所知的数据仓库架构将在未来几年消亡，取而代之的是一种新的架构模式Lakehouse，它将（i）基于开

数据湖

数据

数据仓库

ci

原创 2023-10-18 11:49:03 201 阅读

ORCA优化器浅析——CXform base class for all transformations

CXforml类作为所有transformation的基础类，其包含了pattern成员m_pexpr。主要是在exploration和implementation expression流程中使用，主要调用Transform函数。其还包含返回相关xforms的集合函数，比如PbsIndexJoinXforms等。

java

前端

javascript

ci

bc

原创 2023-10-16 13:57:31 78 阅读

ORCA优化器浅析——CDXLScalar Base class for representing scalar DXL operators

CDXLScalar类作为Base class for representing scalar DXL operators，该类只是定义一些接口，其中实现了GetDXLOperatorType函数，其返回EdxloptypeScalar，代表scalar DXL operators。

数据库

scala

ci

原创 2023-10-16 13:57:23 66 阅读

ORCA优化器浅析——IMDRelation Storage type of a relation GP6与GP7对比

下面是ErelstorageVirtual存储类型所涉及到的代码：CTranslatorRelcacheToDXL::RetrieveRelStorageType Get relation storage type根据

java

linux

数据库

存储类型

枚举类型

原创 2023-10-15 12:44:16 183 阅读

ORCA优化器浅析——Lifecyle Exploration, Implementation Optimization

一旦当前子组优化任务完成，它将检查继续是否有意义（例如，我们是否为前一个子组找到了有效的计划，以及我们是否已经超过了

数据库

运算符

逻辑表达式

迭代

转载 2023-10-15 12:44:09 100 阅读

ORCA优化器浅析——CDXLOperator Base class for operators in a DXL tree

如上图所示，CDXLOperator作为Base class for operators in a DXL tree，其子类CDXLLogical、CDXLScalar、CDXLPhysical作为逻辑

数据库

xml

子类

ci

原创 2023-10-14 07:58:20 101 阅读

ORCA优化器浅析——CDXLScalarFilter Class for DXL filter operators

但是该函数在greeplum使用orca优化器流程中都没有调用，因为ScalarFilter是在Expr Tree转化为DXL Tree的流程中创建的，而非在Qu

数据库

scala

List

子类

原创 2023-10-14 07:58:15 110 阅读

Doris数据库FE——SQL handleQuery

SQL解析在下文中指的是将一条sql语句经过一系列的解析最后生成一个完整的物理执行计划的过程。这个过程包括以下四个步骤：词法edule。

数据库

sql

数据

SQL

子节点

原创 2023-10-11 17:51:54 461 阅读

Doris数据库FE——启动流程源码详细解析

Doris中FE主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。代码路径：doris/fe/fe-core/src/main/java/org/apache/doris/DorisFE.java环境检查在启动FE的时候，主要做环境检查。检查一些启动时必要的环境变量以及初始化配置文件，比如DORIS_HOME_DIR如果没有人为配置 DORIS_HOME_DIR，则该变量的值就

数据库

oracle

IP

System

java

原创 2023-10-11 17:51:45 545 阅读

PostgreSQL数据库IPC——SI Message Queue

SI Message Queue代码位于src/backend/storage/ipc/sinvaladt.c和src/backend/storage/ipc/sinval.c文件中，属于PostgreSQL数据库IPC进程间通信的一种方式【之前介绍过PostgreSQL数据库PMsignal——后端进程\Postmaster信号通信也是作为PostgreSQL数据库IPC进程间通信的一种方式，主

数据库

postgresql

数组

缓存

元组

原创 2023-10-07 11:00:37 124 阅读

PostgreSQL数据库事务系统——获取virtual transaction id

如果一个事务没有进行INSERT、UPDATE、DELETE操作，那么就步会分配事务ID，但事务仍然用一个虚拟事务ID代表自己。虚拟事务ID由两部分组成，第一部分是Backend

数据库

postgresql

sed

取值

原创精选 2023-09-28 18:00:34 872 阅读

Doris数据库FE——SQL 接收

不同类型的查询select, insert, show, set, alter table, create table等经过Parse阶段后生成不同的数据结构（SelectStmt, InsertStmt, ShowStm

数据库

sql

Doris

mysql

Server

原创精选 2023-09-26 14:43:42 720 阅读

Doris数据库BE——Stream load流程中事务状态

当数据在所有Executor BE节点完成写入之后，Coordinator BE节点会向FE发送Commit Transaction请求，FE会判断每一个Ta

数据库

事务管理

回滚

数据

原创 2023-09-07 16:08:20 592 阅读

Doris数据库BE——rowset版本追踪

Doris构建一个版图来为维护上述版本的变更过程，实现过程：[0-0],[1-1],[2-2],[3-3],[4-4],[5-5],[6-6],[7-7],[8-8],[9-9],[10,10]。那么会生成10个rowset,rowset

数据库

版本信息

数据

字段

原创 2023-09-07 16:08:15 226 阅读

Doris数据库BE——Stream load

Doris是一款快速、可靠的分布式大数据仓库，是由阿里巴巴集团在2016年底开源发起的。它采用了分布式存储和计算技术

数据库

数据

数据导入

数据仓库

原创 2023-09-07 16:07:46 388 阅读

ORCA优化器浅析——Query DXL high level

Instead of rewritten parse tree, will use the term query tree going forward. In order to view the below serialized DXL Representation (gene

java

数据库

前端

ide

xml

翻译 2023-08-13 01:18:09 129 阅读

ORCA优化器浅析——CQueryContext对优化器的要求

从ORCA优化器浅析——重要主流程概述中可以知道进入真正优化器引擎执行流程之前需要对优化器提出要求，比如后面会提到的required columns、required sort

java

服务器

数据库

赋值

sed

原创 2023-08-13 01:18:04 145 阅读

ORCA优化器浅析——CFunctionProp function properties

从代码实现可以看出其也是通过CExpressionHandle接口来获取对应子表达式的CFunctionProp function properties，从而获取其易变属性

数据库

sed

SQL

构造函数

原创 2023-08-13 01:17:55 100 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb62de8abf75c00的博客

Doris数据库FE——FeServer

Diving Into Delta Lake: Unpacking The Transaction Log

Doris数据库FE——全局事务状态机

ORCA优化器浅析——DXLToPlStmt[CTranslatorDXLToPlStmt]

ORCA优化器浅析——DXLToPlStmt ForeignScan

Understanding Modern Storage APIs: A systematic study of libaio, SPDK, and io_uring

How we built a vectorized execution engine

Substrait: Cross-Language Serialization for Relational Algebra

Internal and Tape Sorting Using the Replacement-Selection Technique

Assembling a Query Engine From Spare Parts

Linux I/O schedulers类型简介

Doris数据库BE——冷热数据方案

Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics

ORCA优化器浅析——CXform base class for all transformations

ORCA优化器浅析——CDXLScalar Base class for representing scalar DXL operators

ORCA优化器浅析——IMDRelation Storage type of a relation GP6与GP7对比

ORCA优化器浅析——Lifecyle Exploration, Implementation Optimization

ORCA优化器浅析——CDXLOperator Base class for operators in a DXL tree

ORCA优化器浅析——CDXLScalarFilter Class for DXL filter operators

Doris数据库FE——SQL handleQuery

Doris数据库FE——启动流程源码详细解析

PostgreSQL数据库IPC——SI Message Queue

PostgreSQL数据库事务系统——获取virtual transaction id

Doris数据库FE——SQL 接收

Doris数据库BE——Stream load流程中事务状态

Doris数据库BE——rowset版本追踪

Doris数据库BE——Stream load

ORCA优化器浅析——Query DXL high level

ORCA优化器浅析——CQueryContext对优化器的要求

ORCA优化器浅析——CFunctionProp function properties

欢迎