大数据陈浩的博客_python,Mysql,Hadoop,服务器&存储,路由交换,redis,安全技术,Vmware,思科路由交换,华为路由交换,网络安全(2)_51CTO博客
51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 软考 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

mysql 高性能压力测试（总结了好久）

前言：根据业务需要，需测试mysql 性能和压力测试.这里我说下测试方法和 测试过程以及测试中出错的问题估计很多人 跟我一样 要测试mysql 的性能 压力，网上找了很多资料有很多，但是很乱，所以这里我做个总结，拿自己的真实服务器测试的。并且 想测多少数据 都能模拟出来！这里只介绍方法。MySQL从5.1.4版开始带有一个压力测试工具mysqlslap，通过模拟多个并发客户端访问mysql来执行测

mysql
测试
性能
置顶 原创 推荐 2013-10-24 13:04:36 10000+阅读 22点赞 7收藏 18评论

安全运维理念（半神半仙亦民工）

前言：前段时间买了李洋博士的（防线）看了好久，受益匪浅，企业安全重则之重.1.知己知彼，百战不殆既要了解敌人，也要了解自己，百战都不会有危险，不了解敌人而只了解自己，胜败各一半，又不了解敌人，也不了解自己，那么每战都有危险。风险太大，安全运维需要有知己知彼的睿智，才能够在安全域威胁之争中取得先机，也能使企业在安全运维工作中立于不败之地。对于企业运维来讲，他的对手只有一个 ----黑客。所以我们要了

防火墙
操作系统
数据库安全
彼岸
置顶 原创 推荐 2013-10-21 17:58:12 6733 阅读 14点赞 7收藏 14评论

inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员

实现文件实时同步，并且监控目录发送邮件给管理员需求，需要一次性更新多台服务器，人工手动，时间较长。并且实时监控发邮件到管理员邮箱里.服务器架构图更新源ip:192.168.0.110服务器ip：192.168.0.185192.168.0.185配置首先安装rsyncyum -y install rsync 然后等待定义rsync配置文件/etc/rsyncd.conf 直接写了shell脚本#!

服务器
监控
配置文件
置顶 原创 推荐 2013-09-17 19:00:34 10000+阅读 6点赞 7收藏 2评论

LNMP 搭建管理后台中心 遇到的问题和解决思路！

首先确保LNMP架构搭建成功，版本如下，亲自测试。1. LNMP环境nignx：1.0.15pcre: 8.12MySQL：5.0.77PHP：5.3.16PHP需要包含模块：Eaccelerator: 0.9.6.1ZendGuardLoader: 3.3memcache: 2.2.6pdo_mysql2. 其他memcached: 1.4.14必须要包括这些否则会经常性报错。下面说几个常见报

LNMP
乱码
置顶 原创 2013-09-17 09:17:25 4854 阅读 2点赞 1收藏

运维之数据库查询1（简单入门，从浅入深）通俗易懂

运维之数据库查询1（简单入门，从浅入深）通俗易懂下篇运维之数据库查询2（简单入门，从浅入深）通俗易懂其实在青鸟学习了1年的专业技术，数据库都是一概而过的，基本没学到什么，所以到了工作岗位，而且我是做系统运维的，并且是游戏公司，所以数据库真的太重要，尤其数据库查询，根据数据库查询可以很快的查询到所使用的字段，最后介绍个 运维常用数据库工具。select查询的基本结构select 字段  f

常用数据库
专业技术
置顶 原创 2013-09-09 16:27:32 2018 阅读 2点赞 1收藏 2评论

ISIS—BGP—VRRP 城域网典型架构图 拓扑实验

需求：假设AS65001 网络是 电信网 AS65002 网络是移动网，网段202.106.15.0 是电信业务段，网络202.106.48.0 是移动业务段互相访问，并且R4能远程控制R1.R1上配置：R1#enR1#conf tR1(config-if)#inter f1/0                 &nb

网络
城域网
电信网
移动网
置顶 原创 推荐 2013-04-16 16:57:40 4224 阅读 4点赞 2收藏 2评论

Samba文件共享服务（共享脚本 让你工作更轻松）

Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件，由服务器及客户端程序构成。实验环境：根据公司信息化建设要求，需要在局域网内搭建一台文件服务器，便于对数据的集中和管理和备份，考虑到文件的安全性和运行效率及稳定，选择在RHEL6上搭建 文件共享服务器！实验截图与解释：window匿名访问 linux服务首先挂载光盘安装Samba然后配置ip地址mount: block devic

window
局域网 Samba 脚本 共享
置顶 原创 推荐 2013-06-07 15:30:11 10000+阅读 11点赞 11收藏 3评论

IT：大学生博客技术50强感言

首先感谢51cto博客给我这个机会，让我展现自己。    其次感谢我的家人支持我上培训学校和袁老师的支持！首先我做个自我介绍，我叫陈浩，今年21岁，学历大专，下面是我的一些感触和经历5年大专基本都是混过来的，就是认识了很多朋友。当时学习的不是自己想学的电气自动化，被家人逼着去学说这个当时吃的很想，犹豫那个时候我很小不懂事，就听家人的也没思考！5年就这么过去了。然后毕业后 老师推

IT
感言
电气自动化
置顶 原创 推荐 2013-06-23 11:12:26 2454 阅读 9点赞 8评论

服务器集中检测Cacti

服务器集中检测Cacti 一、cacti概述1. cacti是用php语言实现的一个软件，它的主要功能是用snmp服务获取数据，然后用rrdtool储存和更新数据，当用户需要查看数据的时候用rrdtool生成图表呈现给用户。因此，snmp和rrdtool是cacti的关键。Snmp关系着数据的收集，rrdtool关系着数据存储和图表的生成。2. Mysql配合PHP程序存储一些变量数据并对变量数据

服务器
文件夹
连接数据库
php语言
根目录 cacti
置顶 原创 推荐 2013-07-15 14:10:36 4352 阅读 5点赞 3收藏 7评论

Shell（二）入门到复杂 脚本实例（计算器）

Shell（一） 入门到复杂 自己做的各种脚本实例与解释shell文件开头shell文件必须以下面的行开始（必须方在文件的第一行）： #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。 当编辑好脚本时，如果要执行该脚本，还必须使其可执行。 要使脚本可执行：运行chmod +x filename这样才能用./filename 来

字符串
hello
world
计算器
程序 shell脚本
置顶 原创 推荐 2013-06-28 16:16:40 10000+阅读 9点赞 4收藏 9评论

HSRP （不同VLAN之间的热备份路由协议）

HSRP 划分vlanR6(config-if)#switchport access vlan 10R6(config-if)#inter f1/2R6(config-if)#switchport access vlan 20R6(config)#interface range f1/3 -4配置R5>enR5#conf tR5(config)#vlan 10配置地址R5(config-if

VLAN
HSRP
热备份
置顶 原创 推荐 2013-03-27 16:17:10 3505 阅读 11点赞 1收藏 14评论

数据技术的旋律：从数据仓库到数据飞轮的协奏曲

在今天的数字时代，数据已成为推动企业成功的关键要素之一。作为行业的从业者，我们见证了数据技术的飞速进化，从静态的数据仓库到动态的数据中台，再到今天的数据飞轮，每一步都深刻影响着企业的商业策略和市场行动。本文将通过一个自动化营销的业务场景，探讨这三个阶段如何推动数据从单一功能向全面驱动业务变革转变。自动化营销与客户全景视图考虑到自动化营销的需求，企业不仅仅需要了解客户的基本信息，更需要通过数据深入洞

数据
数据仓库
数据分析
原创 6月前 286 阅读 从数据仓库到数据中台再到数据飞轮，我了解的数据技术进化史

创新数据驱动在出行行业的应用实践

在数字化时代，数据驱动已成为出行行业创新发展的关键推动力。车辆共享服务、即时交通更新、动态定价机制、乘客与司机之间的优化匹配等，都是数据分析不断进化的结果。本文将深入探讨在出行行业中，如何通过数据采集、实时数据处理、行为分析以及多维特征分析等技术手段，驱动业务创新和提高运营效率。精准的数据采集与实时处理任何数据驱动的策略首先依赖于精准而高效的数据采集能力。在出行行业，实时数据的采集尤为重要，它包括

数据
数据采集
特征分析
原创 6月前 428 阅读 唤醒数据中台潜力，加速数据飞轮转动
#Word文档导入#hive优化记录

#Word文档导入#hive优化记录

1.1 hive的特征：​可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析；​它可以使已经存储的数据结构化；​可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件；​Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎；​它提供类似sql的查询语句HiveQL对数据进

hive
数据
hadoop
原创 2022-05-16 17:07:02 293 阅读
#Word文档导入#车联网平台部署与验证​

#Word文档导入#车联网平台部署与验证​

车联网平台部署与验证​部署Apache Tika​sudo bin/elasticsearch-plugin install ingest-attachment​重启es​elasticsearch部署​10.3.104.139 cq-test-dtp-store-10-3-104-139​vi /etc/sysctl.conf 添加下面配置： vm.max_map_count=655360 并执

elasticsearch
hadoop
vim
原创 2022-05-16 17:01:42 389 阅读
openldap被限制用户500后报错

openldap被限制用户500后报错

问题：javax.naming.SizeLimitExceededException: [LDAP: error code 4 - Sizelimit Exceeded]; 解决：javax.naming.SizeLimitExceededException: [LDAP: error code 4 - Sizelimit Exceeded]; 可以在服务器端或客户端设置Ope

openldap
原创 2022-05-10 15:45:28 1174 阅读
k8s普罗米修斯监控无法显示

k8s普罗米修斯监控无法显示

etcd普罗米修斯down状态无法显示需要修改：Set the kube-proxy argument for metric-bind-address$ kubectl edit cm/kube-proxy -n kube-system...kind: KubeProxyConfigurationmetricsBindAddress: 0.0.0.0:10249...$ kubectl delet

无法显示
重启
认证模式
原创 2022-05-10 15:39:01 659 阅读 yyds干货盘点
公网使用grafana域名无法正常跳转

公网使用grafana域名无法正常跳转

使用grafana域名无法进行跳转只能通过nginx代理才能进行域名跳转nginx配置yum install nginxcp /etc/nginx/nginx.conf  /etc/nginx/nginx.conf.bakvim /etc/nginx/nginx.conflocation /grafana/ { root html; index index

nginx
html
配置文件
原创 精选 2022-05-07 15:11:17 1362 阅读 yyds干货盘点

python笔记：字符.列表.字典.元祖.数据类型

基本数据类型 1、算数运算： 2、比较运算： 3、赋值运算： 4、逻辑运算： 5、成员运算： 数据类型 一、整型 如： 18、73、84 整型具备如下功能： class int(object): """ int(x=0) -> int or long int(x, base=10) -> int o

ico
字符串
sed
python
元组
原创 2021-10-22 11:20:14 149 阅读

模拟登陆

① 编写登陆接口 要求： 模拟登陆： 1. 用户输入帐号密码进行登陆 2. 用户信息保存在文件内 3. 用户密码输入错误三次后锁定用户 模拟登陆： 1. 用户输入帐号密码进行登陆 2. 用户信息保存在文件内 3. 用户密码输入错误三次后锁定用户 readme

用户名
赋值
退出程序
python
for循环
原创 2021-10-22 11:13:17 525 阅读

Python常用的日期和时间操作

#-*- coding: utf-8 -*- import datetime #给定日期向后N天的日期 def dateadd_day(days): d1 = datetime.datetime.now() d3 = d1 + datetime.timedelta(days) return d3 #昨天 def getYesterday(): today ...

字符串
d3
时间转换
字符串转换
日期转换
原创 2021-10-22 11:10:17 270 阅读

python笔记：while.if.for.编码

Python简介 Python的创始人为Guido van Rossum。1989年圣诞节期间，在阿姆斯特丹，Guido为了打发圣诞节的无趣，决心开发一个新的脚本解释程序，做为ABC 语言的一种继承。之所以选中Python（大蟒蛇的意思）作为程序的名字，是因为他是一个叫Monty Python的喜剧

python
ico
赋值
ascii码
while循环
原创 2021-10-22 11:02:28 198 阅读

kudu计算公式

kudu计算公式：假设:tabletserver32台master5台最大数据存储量为，复制和压缩后，每个tabletserver9.6TB。每个tabletserver管理的tablet为3000，包含tablet的副本。基于以上限制，可以推测出一下内容：分区=每行大小*总条数<=3.2Gtablet（限制每一台tablet-server1500个分区）,目前现在总kudu表为1546张表

kudu
原创 2020-12-24 15:51:04 2632 阅读 1收藏

大数据服务器扩容流程

一:优先级：流程申请1.服务器下来后，申请其服务器权限2.编写服务器扩容方案（平台方），方案要在生产环境升级前进行评审。3.服务器相关白名单申请（kafka，mysql，redis，RDS等）需要ping通并在确认是否申请白名单4.项目经理提交预生产流程，结束后5.项目经理提交生产流程6.流程到大数据运维手里，进行操作二:初始化服务器权限下来后进行初始化1./etc/hosts配置检查，检查所有机

大数据集群扩容流程
原创 2020-12-10 10:47:50 1404 阅读

kudu规范使用

1.kudu设计和使用规范，为数据研发、数据设计人员提供设计的基础参考。2.Schema设计Kudu表和关系型数据库的表相似，都有着结构化的数据模型。对于最佳性能和操作的稳定性来讲，schema的设计至关重要。没有哪一种schema能够适用于所有的表。创建Kudu表时，涉及到列设计、主键设计和分区设计。对于传统的非分布式关系型数据库来讲，只有分区是新概念。3.优雅的schema优雅的schema应

kudu
kudu规范
原创 2020-12-10 10:35:30 5203 阅读

java操作kudu 增删改查

maven导入依赖<dependency><groupId>org.apache.kudu</groupId><artifactId>kudu-spark2_2.11</artifactId><version>1.10.0-cdh6.3.0</version></dependency><depen

java
kudu
转载 2020-11-10 16:59:36 2500 阅读

检测raid类型和磁盘坏道脚本

#!/bin/sh#脚本功能：#author:chenhao#安装工具MegaCli64#HostInformation：主机名和ip地址#RaidInformation：raid信息和充电状态#WARNINGInformation：MediaErrcount检测坏块和哪块盘#DiskInformation：磁盘信息#上传MegaCli压缩包到opt目录下Megdir=/opt/MegaRAID/

磁盘坏道
raid类型
原创 2018-12-04 17:12:31 4134 阅读 2收藏

详解Linux交互式shell脚本中创建对话框实例教程

详解Linux交互式shell脚本中创建对话框实例教程_linux服务器本教程我们通过实现来讲讲Linux交互式shell脚本中创建各种各样对话框，对话框在Linux中可以友好的提示操作者，感兴趣的朋友可以参考学习一下。当你在终端环境下安装新的软件时，你可以经常看到信息对话框弹出，需要你的输入。对话框的类型有密码箱，检查表，菜单，等等。他们可以引导你以一种直观的方式输入必要的信息，使用这样的用户友

对话框
转载 2018-11-22 17:38:47 1968 阅读

inotifywait监控多个目录

inotifywait监控多个目录一.需求：1.监控特定的服务配置文件和目录变更情况。2.监控自定义文件和目录变更情况。3.可以手动杀掉进程。4.把所有变更信息弄到日志里。二.Inotify介绍Inotify是一个内核用于通知用户空间程序文件系统变化的机制，是基于inode级别的文件系统监控技术，是一种强大的、细粒度的、异步的机制，它满足各种各样的文件监控需要，不仅限于安全和性能，内核要求2.6.

监控
inotify
多目录
原创 2018-11-07 16:17:55 7323 阅读 2收藏

iTop百问百答

iTop是什么，和其他itsm软件相比有什么优势？iTop，是一个开源web应用程序，用于IT环境的日常运营。它基于ITIL最佳实践，而又不拘泥于任何具体流程。优势：开源，扩展性强容易开发。理念。强调以人为本的IT运维和运营的管理；工具。用户操作智能化，提高工具使用效率；扩展性。丰富的集成接口和定制功能，提升工具随需而变的能力；合规性。遵循ITIL最佳实践、国际通行的ISO20000标准；6.CM

itop
转载 2018-05-10 17:44:54 7530 阅读

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯