乐胖代购免代理版

Spark读取HDFS小文件优化

Spark读取HDFS目录，若该目录下存在大量小文件时，每个文件都会生成一个Task，当存在大量任务时，可能存在性能不足的问题，可以使用CombineTextInputFormat类代替TextInputFormat类进行优化，同时配合使用hadoop参数mapreduce.input.fileinputformat.split.maxsizeimport org.apache.hadoop.io

hdfs

spark

小文件处理优化

java

原创 2022-03-28 10:46:07 1284 阅读

db2密码中有感叹号时，连接方法

在脚本文件中，可以将密码用单引号括起来 db2 "connect to testdb user test_user using 'Gb2Zk1!R'"

db2

单引号

原创 2022-01-13 14:36:30 636 阅读

Spark如何读取gbk等非utf-8编码的文件

大数据环境基本都是utf-8编码，如果数据文件非utf-8编码，Spark读取时会乱码，经验项目验证，通过sc.hadoopFile接口比较可靠，该接口返回的数据每行表示为<行偏移,行内容Text>，然后通过map方法，重新构造String，这样获得的String不会乱码，具体实现方式如下代码： /

大数据

gbk

utf-8

中文乱码

spark

原创 2022-01-13 14:36:02 732 阅读

db2常用操作

1. db2建立远程节点编目及删除 db2 catalog tcpip node nodeName remote remoteIp server remotePort db2 list node directory eg. db2 catalog tcpip node TESTND remote 1

db2

导出数据

数据库

导入数据

其他

原创 2022-01-13 14:36:01 278 阅读

HBase数据导入导出工具

hbase中自带一些数据导入、导出工具 1. ImportTsv直接导入 1.1 hbase中建表 1.2 准备数据文件data.txt，上传到hdfs 1.3 使用命令导入 1.4 查看hbase数据 2. ImportTsv先生成HFile，然后增量导入 2.1 创建数据文件data2.txt，

HBase

hdfs

hadoop

mapreduce

其他

原创 2022-01-13 14:36:01 1925 阅读

HBase删除数据

hbase官方文档中描述了，hbase删除数据可以总结为下面三种（Java API有很多接口，可以总结下面的几种）： hbase删除数据，并不是马上删掉，只是对数据打一个删除标记，真正删除数据是等到下一次major_compact（除非KEEP_DELETED_CELLS=true）。当删除整行时，

HBase

数据

时间戳

删除数据

其他

原创 2022-01-13 14:36:01 3672 阅读

Linux常用命令

1. sed 2. data 3. 获取文件行数，赋值给shell变量 4. 查看文件是否为软连接 5.查看端口占用 6. grep查看关键词所在文件名字

Linux

shell

sed

时间戳

删除文件

原创 2022-01-13 14:36:00 81 阅读

Mybatis分页插件pagehelper

pageheler官方介绍 1. 项目pom依赖配置 2. mybatis-config.xml配置 3. 分页 4. 注意 pagehelper在查询数据库为db2时，会在查询结果里增加一个ROW_ID字段

Java

Mybatis

db2

github

分页

原创 2022-01-13 14:36:00 448 阅读

Kafka常用命令

Kafka的bin目录下有许多脚本，方便使用，例如与主题相关的kafka-topics.sh 脚本，这里假设kafka在zookeeper上的根目录为/kafka1 1.查看主题： 2.创建主题： 3.删除主题： 4.进入zookeeper，查看kafka相关目录： 5. 控制台打印主题中的消息

Kafka

kafka

zookeeper

根目录

其他

原创 2022-01-13 14:36:00 127 阅读

springMVC项目中配置log4j.properties路径

log4j.properties不打到war包中，单独写到一个存放配置文件的文件夹中，在容器中将该文件夹放入classpath，在web.xml中可以如下配置：

spring

xml

war包

其他

原创 2022-01-13 14:36:00 125 阅读

Hbase备份以及清表脚本

脚本主要是方便自己工作使用，服务器环境中配置了hbase相关环境变量 1.hbase备份脚本 2. hbase清表脚本

HBase

bash

服务器环境

环境变量

其他

原创 2022-01-13 14:36:00 293 阅读

Kafka中使用Avro编码、解码消息

1.消费者代码 2. 消费者代码 3. pom依赖

Kafka

kafka

apache

twitter

其他

原创 2022-01-13 14:35:59 275 阅读

mysql位函数的使用

查询每个月的访问天数因为同一天会访问多次，所以仅仅使用group by year,month不准确，可以采用bit_count和bit_or来统计

mysql

其他

原创 2022-01-13 14:35:59 82 阅读

mysql-zerofill关键字

zerofill位数填充

mysql

其他

原创 2022-01-13 14:35:59 291 阅读

Kafka Connect使用入门-Mysql数据导入到ElasticSearch

1.Kafka Connect Connect是Kafka的一部分，它为在Kafka和外部存储系统之间移动数据提供了一种可靠且伸缩的方式，它为

Kafka

Kafka Connect

mysql

kafka

数据

原创 2022-01-13 14:31:43 794 阅读

HBase预分区

hbase建表时，支持预分区，在shell中操作：需要注意的是，表t1建立4个分区：[min,'10')，['10','20')，['20','30')，['30',max) 插入数据之后，数据可能还在内存，没有刷到hdfs，做下操作：从hbase管理界面查看数据文件：查看hdfs上t1的re

HBase

数据

hdfs

字典序

原创 2022-01-13 14:30:39 657 阅读

HBase按照行键范围删除数据

KeyOnlyFilter：只会返回每行的行键+列簇+列，而不返回值 FirstKeyOnlyFilter：找每一行的第一列数据，找到之后，就会停止扫描，会返回列值

HBase

sed

数据

.net

原创 2022-01-13 14:29:57 1016 阅读

HBase按照TimeStamp删除数据

#!/bin/bash#两种时间输入，一种是输入起始日期，另一种是直接输入hbase里面数据的起始时间戳if [ $# != 5 ];then echo 'usage:sh byTimestampRange.sh table "d:pri_key" d "2018-01-22 17:11:52" "2018-01-22 17:14:53"' echo 'usage:sh

HBase

时间戳

sed

数据

原创 2022-01-13 14:29:41 1698 阅读

Kafka客户端编程入门介绍

1.maven依赖 2.生产者 3.自定义分区 4.消费者

Kafka

kafka

apache

java

原创 2022-01-13 14:29:31 239 阅读

Kafka消费者手动提交消息偏移

生产者每次调用poll()方法时，它总是返回由生产者写入Kafka但还没有消费的消息，如果消费者一致处于运行状态，那么分区消息

Kafka

kafka

apache

偏移量

原创 2022-01-13 14:27:56 315 阅读

Java自定义注解

1. 自定义注解 2. 使用注解 3. 测试

Java

自定义注解

原创 2022-01-13 14:25:13 234 阅读

windows上mysql5.7服务启动报错

安装之后，启动服务 net start mysql，无法启动，日志报错缺少一些系统表，mysql.user等表解决办法： bi

mysql

启动服务

root用户

原创 2022-01-13 14:22:53 123 阅读

HBase过滤器:SingleColumnValueFilter和FirstKeyOnlyFilter一起使用的问题

FirstKeyOnlyFilter是对第一列进行过滤，hbase中的列按照字典序排列，所以如果SingleColumnValueFilter中的过滤列不是第一列的话，FirstKeyOnlyFilter和SingleColumnValueFilter一起作为ADN条件使用时，SingleColum

HBase

HBase过滤器

字典序

其他

原创 2022-01-13 14:22:41 325 阅读

mysqldump备份数据

mysql服务bin目下执行： 1. 备份数据 2. 从备份文件恢复数据，需要先建立好数据库test 3. 只备份表结构 4. 备份多个数据库导入多个库数据 5. 跨机器备份数据，源端mysql服务器src_host_ip，目标端mysql服务器dsc_host_ip 目标mysql端建立提供远程

mysql

服务器

数据

其他

原创 2022-01-13 14:22:40 170 阅读

springmvc表单标签库的使用

springmvc中可以使用表单标签库，支持数据绑定，用来将用户输入绑定到领域模型。例子来源《Servlet、JSP和SpringMVC学习指南》 "项目代码" 关键代码及说明 bean对象类代码 public class Book implements Serializable { privat

Spring MVC

JSP

Java Web

表单

html

原创 2022-01-13 14:22:40 90 阅读

mysql中FILE权限

FILE权限指的是对服务器主机上文件的访问，数据库用户拥有FILE权限才可以执行select into outfile，load data infile操作。

mysql

数据库

root用户

原创 2022-01-13 14:22:00 1179 阅读

(byte & 0xff)操作

先看一段代码：执行结果：解释： 1.负数在计算机中以补码形式保存，所以-5的二进制表示为11111011（负数补码

Java

补码

git

16进制

原创 2022-01-13 14:21:38 376 阅读

mysql单机多实例配置

Windows上配置多个mysql实例，主要改下配置文件即可，mysql目录如下： my2中主要改两个配置内容初始化、启动新的实例

mysql

初始化

配置文件

原创 2022-01-13 14:21:06 155 阅读

Idea中Web项目Jsp文件找不到类解决方法

在src下创建package，java代码

Java Web

项目开发

java代码

.net

转载 2022-01-13 14:20:40 779 阅读

securecrt7.1注册方法

本文出自 “Kinslayer 's Blog” 博客，请务必保留此出处://kinslayer.blog.51cto.com/3681810/833438

工具

转载 2022-01-13 14:19:52 319 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb61cd1493e7fbe的博客

Spark读取HDFS小文件优化

db2密码中有感叹号时，连接方法

Spark如何读取gbk等非utf-8编码的文件

db2常用操作

HBase数据导入导出工具

HBase删除数据

Linux常用命令

Mybatis分页插件pagehelper

Kafka常用命令

springMVC项目中配置log4j.properties路径

Hbase备份以及清表脚本

Kafka中使用Avro编码、解码消息

mysql位函数的使用

mysql-zerofill关键字

Kafka Connect使用入门-Mysql数据导入到ElasticSearch

HBase预分区

HBase按照行键范围删除数据

HBase按照TimeStamp删除数据

Kafka客户端编程入门介绍

Kafka消费者手动提交消息偏移

Java自定义注解

windows上mysql5.7服务启动报错

HBase过滤器:SingleColumnValueFilter和FirstKeyOnlyFilter一起使用的问题

mysqldump备份数据

springmvc表单标签库的使用

mysql中FILE权限

(byte & 0xff)操作

mysql单机多实例配置

Idea中Web项目Jsp文件找不到类解决方法

securecrt7.1注册方法

欢迎