51CTO博客开发
HDFS简单介绍 HDFS全称是Hadoop Distribute File System,是一个能运行在普通商用硬件上的分布式文件系统。 与其他分布式文件系统显著不同的特点是: HDFS是一个高容错系统且能运行在各种低成本硬件上; 提供高吞吐量,适合于存储大数据集; HDFS提供流式数据访问机制。 HDFS起源于Apache Nutch,现在是Apach
本文简要介绍了hadoop生态圈中各个组件。
本博文将描述MVCC和cow技术以及LMDB中如何使用以及实现这两种技术。 COW(Copy On Write): COW技术背后的思想是拖延技术,基本方法是假如有多个调用者需要访问的资源,在其初始化的时候是不能区分的,即对于多个调用者来说,这资源就是一样的。这样就可以给每个 调用者一个指向资源的指针即可。这种方法一直持续到调用者需要进行修改所需要访问的资源时,在这个时候,调用者将被分配到一
本博文系列前面已经探讨了LMDB的系统架构、MMAP映射、B-Tree操作等部分,本文将尝试描述LMDB中的事务控制的实现。 事务的基本特征: 事务是恢复和并发控制的基本单位。它是一个操作序列,这些操作要么都执行,要么都不执行,它是一个不可分割的工作单位。 事务是数据库维护数据一致性的单位,在每个事务结束时,都能保持数据一致性。 事务应该具有4个属性:原子性、一致性、隔离性、持久性。这四个
elementaryOS的风格类似于macos,基于Ubuntu改造,个人比较喜欢其界面理念,简单清晰。因此下载了elementaryOS Freya使用,使用过程中,各个软件版本的升级比较落后,比如gcc等,因此尝试使用ubuntuOS安装element desktop。网上的指导步骤都比较旧,按其步骤执行完成,效果总是比elementary os差不少,因此折腾了一下,终于折腾出类似效果,在此
本系列前两章已经描述了系统架构以及系统构建的基础内存映射,本章将详细描述lmdb的核心,外存B+Tree的操作。本文将从基本原理、内存操作方式、外存操作方式以及LMDB中的相关函数等几方面描述LMDB中关于B+Tree的使用方式。 介绍  
hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序,则需要使用hive的jdbc驱动进行连接。本文以hive wiki上示例为基础,详细讲解了如何使用jdbc连接hive数据库。hive wiki原文地址
本系列前一篇已经分析了lightningmdb的整体架构和主要的数据结构。本文将介绍一下MMAP原理以及lmdb中如何使用它。 1. Memory Map原理 内存映射文件与虚拟内存有些类似,通过内存映射文件可以保留一个地址空间的区域,同时将物理存储器提交给此区域,只是内存文件映射的物理存储器来自一个已经存在于磁盘上的文
lighting mdb(lmdb) 是一个高性能mmap kv数据库,基本介绍和文档参见symas官网,本文将尝试分析其源代码结构以理解数据库设计的关键技术。 本系列文章将尝试从以下几个方面进行分析。 系统架构(本文) MMAP映射(系列2) B+Tree操作(系列3) 事务管理(系列4) MVCC控制(系列5) 等几个方面进行分析。 lmdb是
目录(?)[+] 值得学习的C语言开源项目 - 1 Webbench - 2 Tinyhttpd - 3 cJSON - 4 CMockery - 5 Libev - 6 Memcached - 7 Lua - 8 SQLite - 9 UNIX v6 - 10 NETBSD C 资源大全
本文是J2EE企业级开发四步走完全攻略索引,因内容比较广泛,涉及整个JAVA EE开发相关知识,这是一个长期的计划,单个发blog比较零散,所以整理此索引,决定以后每发一季JAVA EE blog后会在此索引文中相应小节添加链接,这样我感觉比较有条理,【RHEL5企业级LINUX服务攻略】专题及【51CTO_RHCE讲座】RHCE课程笔记专题也将整理推出,敬请期待! 从零开始学JAVA J
本文总结了影响Java EE性能的十大问题 (1)缺乏正确的容量规划;(2)中间件环境规范不足;(3)虚拟机垃圾回收过度;(4)与外部系统集成过多或过少;(5)缺乏适当的数据库SQL调优和容量规划;(6)特定应用程序性能问题;(7)中间件调优问题;(8)主动监控不足;(9)公共基础设施硬件饱和;(10)网络延迟。 方法/步骤 缺乏正确的容量规划 容量规划
用于扩展 JEE 容器/应用程序的并行性、灵活性、多租户和安全性的策略和模式 在本文中,作者概述了云应用程序和 Java? 企业版应用程序的基本特征,比较了他们的相同点和不同点,然后定义了一组策略并提供了一些模式来扩展 Java EE 容器和应用程序,增加一些云的特征,如并行性、灵活性、多租户和安全性。 Java 企业版(JEE)架构是基于组件的,拥有可以高效管理应用程序事务和
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号