DolphinDB的博客_DolphinDB_51CTO博客
51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 25年5月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# DolphinDB
DolphinDB 基于 Glibc 升级的性能优化实战案例

DolphinDB 基于 Glibc 升级的性能优化实战案例

在高并发查询、查询需要涉及很多个分区的情况下，低版本的 glibc（低于2.23）会严重影响查询性能。需要升级 glibc 解决该问题优化性能。我们撰写了本文，通过 patchelf 工具修改可执行文件和动态库的 rpath，达到无需升级系统便可以使用高版本 glibc 的目的。

性能优化
数据查询
高并发查询
数据库
原创 精选 2023-11-20 11:29:23 407 阅读

数据迁移教程 | 从 PostgreSQL 到 DolphinDB

PostgreSQL 是最广泛使用的开源数据库之一，但是由于存在并发问题和扩容问题等，PostgreSQL 的发展仍面临着许多瓶颈。DolphinDB 作为一种高效、分布式的数据管理和分析平台，操作简单，可扩展性强，具有良好的容错能力及优异的多用户并发访问能力，适合于各种大规模数据处理场景。这篇文章带你了解如何从 PostgreSQL 数据库迁移到 DolphinDB，点击了解！

PostgreSQL
数据迁移
DBMS
数据库迁移
Greenplum
原创 2023-11-13 14:20:23 131 阅读 yyds干货盘点

DolphinDB 流计算优化实践：时延统计与性能调优

DolphinDB 内置的流数据框架支持流数据的发布与订阅、流式增量计算、实时关联等，用户能够快速实现复杂的实时计算任务，达到毫秒级甚至亚毫秒级的效果，而无需编写大量代码。

流计算
数据分析
实时计算
时序数据库
原创 2023-11-09 14:16:25 172 阅读 yyds干货盘点
DolphinDB 与 KeyarchOS 完成浪潮信息澎湃技术兼容性认证

DolphinDB 与 KeyarchOS 完成浪潮信息澎湃技术兼容性认证

DolphinDB 获得浪潮信息澎湃技术认证授权证书！

时序数据库
DolphinDB
浪潮信息
产品互认
大数据分析
原创 2023-07-11 10:10:05 200 阅读

DolphinDB社区版永久免费

DolphinDB承诺决不会停止提供免费社区版，我们将始终坚持为广大社区用户提供免费的技术支持服务。

时序数据库
DolphinDB
分布式系统
原创 2022-05-17 11:39:02 2426 阅读
基于 K8S 的 DolphinDB 部署教程

基于 K8S 的 DolphinDB 部署教程

Kubernetes（简称 K8S）是一个开源的容器编排引擎，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。DolphinDB Operator 和 Webserver（简称DolphinDB套件）是部署于 Kubernetes 上的 DolphinDB 集群自动运维系统，提供包括部署、升级、扩缩容、配置变更的 DolphinDB 全生命周期管理。通过 DolphinDB 套件，DolphinDB 可以无缝运行在公有云或私有部署的 Kubernetes 集群上。

docker
Kubernetes
DolphinDB
原创 推荐 2022-04-19 10:19:37 2014 阅读 2点赞

DolphinDB节点启动时的流计算自动订阅教程

DolphinDB 内置的流数据框架支持流数据的发布、订阅、预处理、实时内存计算、复杂指标的滚动窗口计算等，是一个运行高效、使用便捷的流数据处理框架。本教程主要解决基于 DolphinDB 流数据处理框架完成业务代码开发后，如何部署节点启动时的流计算自动订阅问题。

流计算
实时计算
流数据
DolphinDB
原创 精选 2021-12-17 11:17:39 1188 阅读

从一次 SQL 查询的全过程看 DolphinDB 的线程模型

分布式系统较为复杂，无论写入还是查询，都需要多个节点的配合才能完成操作。本教程以一个分布式 SQL 查询为例，介绍 DolphinDB 分布式数据库的数据流以及其中经历的各类线程池。通过了解 SQL 查询的全过程，也可以帮助我们更好地优化 DolpinDB 的配置和性能。1. DolphinDB 线程类型woker常规交互作业的工作线程，用于接收客户端请求，将任务分解为多个小任务，根据任务的粒度自

DolphinDB
时序数据库
分布式系统
原创 精选 2021-12-16 10:57:48 1760 阅读

更强大、更灵活、更全面丨一文搞懂DolphinDB窗口计算

在时序数据的处理中经常需要使用​窗口计算​​。在DolphinDB中，窗口计算不仅仅应用于全量的历史数据计算，还可以应用于增量的流计算。​窗口函数​​既可应用于SQL（处理表中的列），也可应用于面板数据（处理​矩阵​​中的列）。DolphinDB对于窗口计算进行了精心优化，与其它系统相比，拥有显著的性能优势。除此之外，DolphinDB的窗口函数使用上更加灵活，不仅内置的或自定义的​vector函

时序数据库
DolphinDB
数据分析
窗口计算
原创 推荐 2021-12-14 16:33:44 1343 阅读
「DolphinDB教程」如何正确定位节点宕机的原因

「DolphinDB教程」如何正确定位节点宕机的原因

在使用DolphinDB时，有时客户端会抛出异常信息：Connection refused。此时，linux操作系统上使用ps命令查看，会发现DolphinDB进程不见了。本教程针对出现这种情况的各种原因进行定位分析，并给出相应解决方案。1.查看节点日志排查原因DolphinDB每个节点的运行情况会记录在相应的日志文件中。通过分析日志，能有效地掌握DolphinDB运行状况，从中发现和定位一些错误

linux
DolphinDB
时序数据库
数据库
宕机
原创 推荐 2021-11-11 11:42:20 7134 阅读
实时计算，连接时序数据库和核心业务

实时计算，连接时序数据库和核心业务

随着物联网IoT场景的兴起，大量的时序数据需要存储与计算。时序场景不同于传统OLTP，其写入吞吐要求极高，同时数据量也远大于OLTP场景，必须要进行多机分布式存储；同时事务又是一个很好的特性，许多工业控制IoT场景和金融场景需要事务，而现有时序数据库产品鲜有事务的支持。如何构建一个支持读写事务、高写入吞吐、读不影响写吞吐的分布式时序数据库是一个很大的挑战。DolphinDB时序数据库集成了功能强大

时序数据库
物联网
存储引擎
DolphinDB
原创 精选 2021-11-08 14:39:01 1205 阅读 1收藏

超级干货预告丨DolphinDB直播系列第二弹！新TSDB存储引擎架构与特性

DolphinDB直播系列的第二弹要来啦~ 这一次，我们跟大家聊聊： 新TSDB存储引擎架构与特性 干货满满！精彩不容错过！     内容介绍 1. 为什么要开发新的TSDB存储引擎？ 随着TSDB的快速普及，TSDB面对的应用场景也越来越复杂。写数据时，既要能满足海量时间线的快速写入，又要保持存储的低成本，还能满足乱序状态下自动去重等特性。读数据时，既能极速读取每跟时间线最新的状态，高并发高速读

DolphinDB
存储引擎
时序数据库
架构设计
原创 2021-06-23 09:55:08 2007 阅读

DolphinDB案例分享丨帆软报表软件如何连接DolphinDB数据源

1. 概述2. 安装并启动FineReport3. 配置JDBC连接4. 实例4.1 创建DolphinDB数据源4.2 定义数据库查询和创建表格1. 概述FineReport（帆软报表软件）是一款集数据展示和数据录入功能于一身的企业级工具，具有专业、简捷、灵活的特点，仅需简单的拖拽操作便可以设计复杂的报表或搭建数据决策分析系统，目前在各行各业有着广泛的应用。DolphinDB用于海量时序数据的存

时序数据库
帆软
DolphinDB
大数据分析
原创 精选 2021-05-20 09:54:32 1869 阅读

DolphinDB案例分享丨帆软报表软件如何连接DolphinDB数据源

1. 概述2. 安装并启动FineReport3. 配置JDBC连接4. 实例4.1 创建DolphinDB数据源4.2 定义数据库查询和创建表格1. 概述FineReport（帆软报表软件）是一款集数据展示和数据录入功能于一身的企业级工具，具有专业、简捷、灵活的特点，仅需简单的拖拽操作便可以设计复杂的报表或搭建数据决策分析系统，目前在各行各业有着广泛的应用。DolphinDB用于海量时序数据的存

时序数据库
帆软
DolphinDB
大数据分析
原创 2021-05-20 09:54:24 2218 阅读

DolphinDB智臾科技CEO周小华：《从反向控制的终极目标谈时序数据库的架构设计》

2021年4月25-26日，由极客邦科技与InfoQ中国主办的2021ArchSummit全球架构师峰会在上海召开。本次大会聚焦业界强大的技术成果，秉承“实践第一、案例为主”的原则，展示先进技术在行业中的典型实践，以及技术在企业转型、发展中的推动作用。DolphinDB智臾科技CEO周小华博士受邀参加本次会议，并在主会场做《从反向控制的终极目标谈时序数据库的架构设计》演讲。主会场其他演讲主题还包括

DolphinDB
时序数据库
软件架构设计
量化金融
物联网
原创 2021-04-28 14:48:01 1853 阅读

最简最快的WorldQuant 101 Alpha因子实现

DolphinDB是一款高性能分布式时序数据库(time-series database)，它特别适用于投资银行、对冲基金和交易所的定量查询和分析，可以用于构建基于历史数据的策略测试。下面我们将举例说明如何在DolphinDB中快速构建复杂的Alpha因子。著名论文 101 Formulaic Alphas 给出了世界顶级量化对冲基金之一的WorldQuant所使用的101个Alpha因子公式。很

DolphinDB
时序数据库
大数据分析
量化交易
quant
原创 精选 2021-04-20 09:25:55 2208 阅读

测试报告丨DolphinDB与Pandas对于大文本文件处理的性能对比

DolphinDB Database 是一款高性能的分布式时序数据库。它集成了功能强大的编程语言和高容量高速度的流数据分析系统，为海量数据（特别是时间序列数据）的快速存储、检索、分析及计算提供一站式解决方案。Pandas是Python的一个包，最初被作为金融数据分析工具而开发，为时间序列分析提供了很好的支持。DolphinDB是一个分布式系统，但也可以作为工作站使用。DolphinDB和Panda

DolphinDB
时序数据库
pandas
大数据分析
分布式系统
原创 2021-04-16 09:45:28 665 阅读

DolphinDB 1.30.3版本更新：流计算引擎再升级，助你轻松搞定实时计算

在最近推出的1.30.3版本中，我们针对DolphinDB强大的流数据计算功能进行了改进和升级，让用户在复杂计算场景中（例如金融高频因子实时计算）可以拥有更好的体验。本次版本更新中主要有4大亮点：· 流批一体解决方案· 多引擎流水线处理· 流引擎快照功能· 时间序列聚合引擎支持多个时间窗口流批一体解决方案量化金融的研究和实盘中，越来越多的机构需要根据高频的行情数据（L1/L2以及逐笔委托数据）来计

DolphinDB
时序数据库
流计算
大数据分析
分布式系统
原创 2021-04-14 09:42:29 506 阅读

金融市场高频数据应当如何管理——DolphinDB与pickle的性能对比测试和分析

金融市场L1/L2的报价和交易数据是量化交易研究非常重要的数据。国内全市场L1/L2的历史数据约为20~50T，每日新增的数据量约为20~50G。传统的关系数据库如MS SQL Server或MySQL均无法支撑这样的数据量级，即便分库分表，查询性能也远远无法达到要求。例如Impala和Greenplum的数据仓库，以及例如HBase的NoSQL数据库，可以解决这个数据量级的存储，但是这类通用的存

DolphinDB
量化交易
时序数据库
数据分析
分布式计算
原创 精选 2021-04-12 09:20:24 2614 阅读

DolphinDB实现EMQ X的数据接入

导语DolphinDB 是由浙江智臾科技有限公司研发的一款高性能分布式时序数据库，融合了分布式存储、分布式计算、流计算和编程语言，为客户提供了轻量级、一站式的大数据解决方案，特别适合量化金融及工业物联网等领域。DolphinDB为用户提供了多种API接入方式，同时还支持MQTT/OPC/KAFKA等多种数据注入方式。随着DolphinDB的发展，更多厂商开展了与DolphinDB的深度合作。杭州映

DolphinDB
时序数据库
大数据分析
EMQ
分布式系统
原创 精选 2021-04-07 09:26:20 1548 阅读 1收藏

DolphinDB实现EMQ X的数据接入

导语DolphinDB 是由浙江智臾科技有限公司研发的一款高性能分布式时序数据库，融合了分布式存储、分布式计算、流计算和编程语言，为客户提供了轻量级、一站式的大数据解决方案，特别适合量化金融及工业物联网等领域。DolphinDB为用户提供了多种API接入方式，同时还支持MQTT/OPC/KAFKA等多种数据注入方式。随着DolphinDB的发展，更多厂商开展了与DolphinDB的深度合作。杭州映

DolphinDB
时序数据库
大数据分析
EMQ
分布式系统
原创 2021-04-07 09:26:15 797 阅读

DolphinDB模块复用教程

在软件团队开发项目中，要提升开发效率和质量，代码必然要进行封装和重用。在使用DolphinDB的脚本进行开发时，可以使用module和use方法，来声明和使用可重用模块。1. Module(模块)介绍在DolphinDB中，模块是指只包含函数定义的代码包。它具有以下特点：以.dos作为模块文件的后缀，dos是"dolphindb script"的缩写模块文件保存在DolphinDB节点的 [hom

DolphinDB
时序数据库
大数据分析
分布式系统
数据库
原创 精选 2021-04-06 09:14:06 1443 阅读

DolphinDB的权限管理和安全

DolphinDB database 提供了强大、灵活、安全的权限控制系统。控制节点（controller）作为权限管理中心，使用RSA加密方式对用户关键信息进行加密。主要功能：提供用户和组角色，方便权限控制提供8种权限控制类别，适应各种场景丰富的权限控制函数函数视图兼顾保护数据隐私与提供分析结果对任务调度和流数据任务动态鉴权，保证系统安全使用RSA对用户关键信息加密支持SSO，简化登录，方便系统

DolphinDB
时序数据库
大数据分析
信息安全
权限管理
原创 精选 2021-04-02 09:50:35 2072 阅读

DolphinDB内存管理详解

DolphinDB是一款支持多用户多任务并发操作的高性能分布式时序数据库软件(distributed time-series database)。针对大数据的高效的内存管理是其性能优异的原因之一。本教程涉及的内存管理包括以下方面：变量的内存管理：为用户提供与回收编程环境所需内存。分布式表的缓存管理：多个session共享分区表数据，以提高内存使用率。流数据缓存：流数据发送节点提供持久化和发送队列缓

DolphinDB
时序数据库
大数据处理
内存管理
分布式系统
原创 精选 2021-04-01 09:28:54 1605 阅读

干货丨DolphinDB通用计算教程

DolphinDB不仅可以分布式地存储数据，而且对分布式计算有良好支持。在DolphinDB中，用户可以用系统提供的通用分布式计算框架，通过脚本实现高效的分布式算法，而不需关注具体的底层实现。本文将对DolphinDB通用计算框架中的重要概念和相关函数作出详细解释，并提供丰富的具体使用场景和例子。1. 数据源数据源(Data Source)是DolphinDB的通用计算框架中的基本概念。它是一种特

DolphinDB
时序数据库
MapReduce
分布式计算
大数据处理
原创 推荐 2021-03-31 09:35:48 2358 阅读

DolphinDB脚本语言的混合范式编程

开发大数据应用，不仅需要一个能支撑海量数据的分布式数据库，一个能高效利用多核多节点的分布式计算框架，更需要一门能与分布式数据库和分布式计算有机融合，高性能易扩展，表达能力强，满足快速开发和建模需要的编程语言。DolphinDB从流行的SQL和Python语言汲取了灵感，设计了大数据处理脚本语言。本教程讲解如何通过混合范式编程，快速开发大数据分析的应用。从中你也可以了解DolpinDB的编程语言（以

DolphinDB
时序数据库
范式编程
大数据处理
分布式系统
原创 精选 2021-03-30 09:44:01 1817 阅读

时序数据库丨DolphinDB流计算引擎如何实现传感器数据异常检测

DolphinDB提供了流数据表(stream table)和流计算引擎用于实时数据处理，包括物联网中传感器数据的异常检测。内置的异常检测引擎(Anomaly Detection Engine)能满足大部分异常检测场景的需求。如果异常检测逻辑复杂且较为特殊，标准化的异常检测引擎不能满足要求，用户可以用自定义消息处理函数来实现。1. 应用需求一个监控系统，一秒钟采集一次数据。现有以下2个异常检测需求

DolphinDB
时序数据库
物联网
异常检测
流计算
原创 推荐 2021-03-29 09:31:04 2118 阅读

时序数据库丨DolphinDB内存表详解

内存表是DolphinDB数据库的重要组成部分。内存表不仅可以直接用于存储数据，实现高速数据读写，而且可以缓存计算引擎的中间结果，加速计算过程。本教程主要介绍DolphinDB内存表的分类、使用场景以及各种内存表在数据操作以及表结构（schema）操作上的异同。1. 内存表类别根据不同的使用场景以及功能特点，DolphinDB内存表可以分为以下四种：常规内存表键值内存表流数据表MVCC内存表1.1

DolphinDB
大数据分析
分布式系统
时序数据库
原创 推荐 2021-03-26 09:35:49 2875 阅读

干货丨DolphinDB文本数据加载教程

DolphinDB提供以下4个函数，将文本数据导入内存或数据库：loadText: 将文本文件导入为内存表。ploadText: 将文本文件并行导入为分区内存表。与loadText函数相比，速度更快。loadTextEx: 将文本文件导入数据库中，包括分布式数据库，本地磁盘数据库或内存数据库。textChunkDS: 将文本文件划分为多个小数据源，再通过mr 函数进行灵活的数据处理。Dolphin

DolphinDB
时序数据库
分布式系统
工业物联网
金融
原创 精选 2021-03-25 09:23:06 1522 阅读

干货丨手把手教你如何加载和操作DolphinDB内存分区表

DolphinDB的内存数据表可以是非分区的，也可以是分区的。除了组合分区以外的所有分区方式都适用于内存数据表。使用分区内存表进行运算能充分发挥多核CPU并行计算的优势。1. 创建内存数据表1.1 创建非分区内存表使用table函数可以创建非分区内存表。table函数的用法非常灵活：第一种用法：table(X, [X1], [X2], .....)这里的X, X1, X2可以是向量、矩阵或元组，其

DolphinDB
时序数据库
分布式系统
大数据处理
原创 精选 2021-03-24 09:42:26 1931 阅读
  • 1
  • 2
  • 3

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯