乐胖代购免代理版

大数据平台基础环境准备

之前已经记录过，这里再记录一下，相以便快速使用。安装依赖sudo yum install -y epel-release psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static t

hadoop

big data

java

vim

原创 2022-05-29 00:06:40 96 阅读

Linux cat命令

cat命令是linux下的一个文本输出命令。平时基本只是使用cat file功能，突然有用到了参数，顺便记录一下。cat（Concatenate and write files）命令用于将文件或标准输入组合输出到标准输出。如果没有指定文件，或文件为’-’，则从标准输入读取。文件太大时，一般用more等命令分屏显示。格式cat [option][file]...功能c...

linux cat

标准输入

linux

文件合并

文本输出

转载 2021-09-01 11:49:57 305 阅读

Shell IFS变量

IFS文档IFS （Internal Field Separator）输入字段分隔符，Bash 会根据IFS 中定义的字符来进行字符串拆分。默认情况下，IFS包含空格，制表符tab和回车，这也是Bash 读取数据都是在空格处拆分的原因。IFS变量通常用于读取命令、参数扩展和命令替换。cat -A <<< "$IFS" ^I$$# " "是空格,^I$是Ta...

bash $IFS

bash

vim

字段

换行符

转载 2021-09-01 11:49:56 1117 阅读

Bash read命令

问题场景：IFS="," read -d ' '-ra ARG <<<${ARGS}概念read命令是一个非常重要的bash命令，用于接收标准输入或者其他文件描述符的输入，并且可以和用户进行交互。得到输入后，read命令将数据放入一个标准变量中。该命令可以一次读取多个变量的值，变量和输入的值都需要使用空格隔开。在read命令后面，如果没有指定变量名，读取的...

bash read

hadoop

bash

赋值

标准输入

转载 2021-09-01 11:49:55 745 阅读

Shell环境变量set、env、export

Shell 的环境变量分为两种：set：可以显示和设置shell私有变量，仅在本 shell 中有效。不同shell（bash、csh）私有变量不同。env：可以显示和设置用户环境变量，仅在当前会话中有效。另外set 变量可以通过 export 工具导入到 env 变量中：export：显示或设置当前导出成用户变量的shell变量。区别两种变量不同之处在于变量的作用域不同...

set变量

bash

私有变量

环境变量

作用域

转载 2021-09-01 11:49:54 2135 阅读

Shell sed命令

遇到sed问题，经常会去查资料，这里自己记录一下，方便以后查询。sed（流编辑器）命令行文本编辑器。它一次处理一行内容，先把处理的行存入临时缓冲区（模式空间）进行处理，用sed命令处理缓冲区内容后输出到屏幕。能同时处理多个文件多行的内容，不改变原文件内容。最常用的是模式匹配和替换操作。官网文档命令格式sed [选项]... {脚本} [输入文件]...sed [op...

shell sed

sed

字符串

txt文件

字符串替换

原创 2021-09-01 11:47:47 874 阅读

Shell exit status

exit 是一个 Shell 内置命令，用来退出当前 Shell 进程，并返回一个退出状态，exitstatus是一个介于0到255之间的值。命令：$?可以接收这个退出状态。退出码（exit status，或exit code）约定：0 操作成功完成1 功能错误2 系统找不到指定的文件3 系统找不到指定的路径4 系统无法打开文件5 拒绝访问6 句柄无效7 ...

exit

可执行

打开文件

控制块

linux

原创 2021-09-01 11:47:39 1059 阅读

Linux配置主机名和映射

1. 查看主机名:hostnameuname -n2. 修改主机名sudo vim /etc/hostnameCentos7sudo hostnamectl set-hostname hadoop-master3. 配置映射sudo vim /etc/hosts添加ip hostname//如：192.168.100.21 hadoop-mast...

Linux

映射

hosts

hadoop

主机名

原创 2021-08-31 17:16:06 1660 阅读

Linux挂载

在优化HDFS文件存储时，把文件分部到多个磁盘存储，有利于合理利用磁盘，需要不同磁盘挂载目录，涉及到了磁盘自动挂载，在这里记录一下。1. 手动挂载命令mountmount [-t type] [-o options] device dir1、-t type 指定文件系统的类型，通常不必指定，mount 会自动选择正确的类型。光盘或光盘镜像：iso9660 DOS fat16文...

Linux

挂载

文件系统

自动挂载

linux

原创 2021-08-31 16:50:23 501 阅读

Linux命令行提示符颜色格式设置

Linux命令行提示符默认是白色，很多时候不太方便查看命令和记录，而且默认是显示的完整路径，如果路径过长，开发和看起来都不方便，所以改变一下终端命令行颜色和格式。PS（Prompt Sign）命令提示符，PS1是Linux终端用户的一个环境变量，用来定义命令行提示符的参数。在设定PS1环境变量时，需要用到预设的一些参数来设定PS1。1. PS1的常用参数以及含义：　　\d ：代表...

Linux

命令行提示符

bash

当前用户

背景颜色

原创 2021-08-31 16:50:21 2988 阅读

Ubuntu防火墙

由于近期在用ubuntu，对ubuntu的防火墙设置记录一下。Linux原始的防火墙工具iptables比较繁琐，ubuntu默认提供了一个基于iptable之上的防火墙配置工具ufw，使管理iptables更简单。前提：需要root权限1. 常用命令：1. 查看状态sudo ufw status2. 启用 / 禁用sudo ufw enable / di...

ubunto

ufw

防火墙

ubuntu

linux

原创 2021-08-31 16:50:19 896 阅读

Shell比较运算符

Shell常用比较符，判断文件、文件夹类型和是否存在if [ -e $FILE ];then echo "file exists"else echo "file not exists"fi文件比较运算符:-e 判断对象是否存在,是返回true-d 判断是否为目录-f 判断是否为常规文件-c 判断是否为特殊字符文件-s 判断是否长度不为...

shell

比较符

字符串长度

比较运算符

字符串

原创 2021-08-31 16:19:53 337 阅读

Linux cd命令

遇到cd -P，顺便记录一下 cd常用用法、cd-P、pwd -Pcd常用用法:cd ~ 返回当前用户的主目录，与不带~相同cd / 切换到根目录cd .. 切换到父级目录cd ../.. 切换到两层父级目录cd ../DirName 切换到父级目录的某个目录下cd !$ 把上个命令的参数作为cd命令的参数，如: ls /var...

cd -P

cd用法

pwd -P

主目录

当前用户

原创 2021-08-31 16:19:52 650 阅读

Shell sh exec source

执行脚本或命令时，常用到的三种方式：sh、source、exec。区别：sh：会启动一个子进程，执行完退出子进程，回到父进程，不影响父进程上下文。source：（就是点命令". sh"）在进程中分配出一部分资源执行，使用进程的上下文中，执行完回到原来进程中，会影响进程上下文。exec：执行进程会替换原来的进程（代码、上下文、堆栈信息等），只是pid不变，执行完结束进程。...

exec source

父进程

子进程

bash

进程上下文

原创 2021-08-31 16:07:16 1011 阅读

Shell集群同步文件脚本

简单但实用的小脚本，在集群有免密登录的情况下，这个脚本方便在一个节点同步文件到其他节点，包括配置文件、目录。创建脚本后，放到/bin目录下，可以方便的直接调用。用法lsync filelsync/etc/profilelsyhc /opt/apps/java脚本vim lsync#!/bin/bash# 判断参数argscount=$#if(($a...

集群同步脚本

用户组

bash

java

文件名

原创 2021-08-31 16:07:06 184 阅读

Shell集群同步命令脚本

很简单但实用的小脚本，有免密登录的情况下，使用脚本可以在一台服务器上同时让多态服务器执行命令，并能在一台服务器看到所有服务器上命令执行结果。放到 /bin 目录下，方便全局直接调用用法lcmd jpslcmd systemctl netstat脚本vim lcmd#!/bin/bashargscount=$#if(($argscount==0)); th...

同步命令

服务器

多态

vim

bash

原创 2021-08-31 16:07:04 279 阅读

Shell查看命令状态及位置

目录1. which2. whereis3. command -v4. type5. hash判断1. whichwhich filename按文件名查找。which会在用户设置的PATH目录中查询，所以也可以查询系统命令。有结果返回0，没有结果返回1。2. whereiswhereis filename根据文件名查找，会列出所有位置...

shell

command

查找命令

hash表

搜索

原创 2021-08-31 15:58:48 1180 阅读

Shell bash和sh区别

Shell 中文意思贝壳，寓意类似内核的壳。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 脚本（shell script）是一种为 shell 编写的脚本程序。常说的shell通常都是指 shell 脚本...

shell

bash

unix

linux

符号链接

原创 2021-08-31 15:58:46 3732 阅读

Shell中$ 各种含义

符号含义 $0 脚本名 $# 参数个数 $n 传递给脚本的参数值，$1第1参数、$2第2参数 $? 上次退出的状态（返回值），0没有错误，1错误 $* 所有参数列表。"$*"时，是"$1 $2 … $n"的形式 $@ 所有参数列表。"$@"时，是"$1" "$2" … "$n" 的形式 $$ 当前进程的编号（Proc...

$

逻辑运算

算术运算

浮点

字符串

原创 2021-08-31 15:58:43 551 阅读

Shell中${var:-},${var:=},${var:+},${var:?},${var:}变量替换、提取

变量替换符号含义 ${var} 变量，界定范围 ${var:-word} 如果var为空或者未设定，返回word，var不变 ${var:=word} 如果var为空或者未设定，返回word，且var=word ${var:+word} 如果var有值，返回word，var不变 ${var:?word} 如果变量var为空或者未设定，...

${var:+word}

子串

赋值

其他

原创 2021-08-31 15:58:41 1124 阅读

Shell中的括号(),(()),[],[[]],{}

符号作用 () 1. 顺序执行，如：(cmd1;cmd2;cmd3) 2. 类似``，如：$(cmd)，先执行cmd再取值 3.初始化数组，如：array=(a b c d) (()) 1. 逻辑判断，真为1，假为0，表达式的话，结果不为0，返回0或true，为0返回1或false 2. 算术运算，不支持浮点和字...

shell

d3

数组

条件判断

bash

原创 2021-08-31 15:58:39 274 阅读

Shell awk命令

awk报表生成器。功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。简单来说awk就是扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行。-F指定分割：awk -F"," '{print $1}' /etc/passwd内置变量：NF、$NF、NR、FNR、FS、OFS、R...

awk

分隔符

bash

字段

换行符

原创 2021-08-31 15:58:37 195 阅读

Shell set常用参数

set常用参数参数说明 -a 将声明的变量提升为环境变。 set -a XPATH=xxxx set +a -e 如果后面的代码出现执行情况为0，则退出shell脚本。常写在shell脚本第二行。与-o errexit效果相同。 #!/bin/bash set -e -u ...

shell set

shell脚本

变量提升

bash

其他

原创 2021-08-31 15:58:35 312 阅读

Shell ps常用组合查看线程命令

Linux中ps命令支持3种风格参数，可以混合使用：Unix风格，“-” 开头BSD风格，只是字母GNU风格，“--” 开头ps常用查看线程的组合命令ps -a 显示有终端的所有进程，除了控制进程 ps -e 显示系统所有进程信息 ps -f 使用完整格式显示信息 ps -o 自定义格式 ps -p 进程使用cpu的时间 ps -...

shell ps

优先级

父进程

unix

自定义

原创 2021-08-31 15:58:33 3356 阅读

Linux rsynv远程数据同步

rsyncrsync是linux系统下的远程数据同步工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。rsync使用“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此针对非第一次同步传输速度快。rsync特性1、可以镜像保存整个目录和文件系统2、容易做...

rsync

文件属性

硬链接

centos

递归

原创 2021-08-31 15:58:31 247 阅读

Shell中单引号、双引号和反引号区别

vim d_date.sh./d_date.sh 2019-09-06 # 测试#!/bin/bashd_date=$1echo '$d_date' # $d_dateecho "$d_date" # 2019-09-06echo `date` # Fri Sep 6 15:52:39 CST 2019echo "'...

shell 单引号双引号反引号区别

双引号

单引号

嵌套

bash

原创 2021-08-31 14:56:34 340 阅读

vim常用操作

光标w 后移到下个字符串首位,含符号 W 不含符号e 后移到下个字符串尾部,含符号 E 不含符号b 前移到上个字符串尾 B 不含符号0 移动到下一行首 $ 行末( 移动到句首 ) 句尾gg 移动到文档行首 ...

vim常用命令

搜索

字符串

显示行号

高亮显示

原创 2021-08-31 14:56:29 94 阅读

Linux刷新内存

Linux缓存有page cache，dentry，buffer cache。page cache加速inode的读写,缩短IO调用时间dentry用来加速文件路径名到inode的转换buffer cache加速磁盘块的读写查看内存情况free -m释放内存：在释放内存前，先强制将系统正在处理的page cahce,dentry,inode写入磁盘。...

释放内存

缓存

linux

文件路径

其他

原创 2021-08-31 14:56:23 1781 阅读

Linux解压打包

1. 以 .tar 格式# 解压,不指定-C路径,默认在当前目录,-v列出详细信息tar -xvf file.tar# 打包tar -cf file.tar file/2. 以 .tgz 和 .gz 格式# 解压tar -zxvf file.tgztar -zxvf file.tar.gz# 打包tar -zcf all.tar.gz file/# 解压.gz...

压缩解压

linux

文件名

动态链接

存档文件

原创 2021-08-31 14:56:10 205 阅读

Linux netstat命令

netstat参数说明可以通过netstat --help / --usage 查看详细netstat -r, --route 显示路由 -I, --interfaces=<Iface> 显示指定网络设备接口表 -i, --interfaces 显示全部网络设备接口表 -g, --groups ...

netstat

套接字

用户名

unix

进程名

原创 2021-08-31 14:56:06 489 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx612da90ba9aee的博客

大数据平台基础环境准备

Linux cat命令

Shell IFS变量

Bash read命令

Shell环境变量set、env、export

Shell sed命令

Shell exit status

Linux配置主机名和映射

Linux挂载

Linux命令行提示符颜色格式设置

Ubuntu防火墙

Shell比较运算符

Linux cd命令

Shell sh exec source

Shell集群同步文件脚本

Shell集群同步命令脚本

Shell查看命令状态及位置

Shell bash和sh区别

Shell中$ 各种含义

Shell中${var:-},${var:=},${var:+},${var:?},${var:}变量替换、提取

Shell中的括号(),(()),[],[[]],{}

Shell awk命令

Shell set常用参数

Shell ps常用组合查看线程命令

Linux rsynv远程数据同步

Shell中单引号、双引号和反引号区别

vim常用操作

Linux刷新内存

Linux解压打包

Linux netstat命令

欢迎