随着《数据安全法》、《个人信息保护法》的相继出台，数据安全治理受到了越来越多企业的关注。这不，作为公司信息科的业务骨干——岩小强被领导委以重任，负责数据安全治理技术理论学习和项目落地实施。岩小强所在的是一家跨国银行，其在业务开展和日常运营中积累了大量数据，这些数据大多直接关联金融消费者的财产和数据安全，甚至关乎国家经济建设与社会稳定，具有较强敏感性。该银行经常要将这些数据用于数据分析、开放测试、数
转载
2023-07-25 11:30:37
218阅读
MapReducehdfs用于存储海量数据，mapreduce则用于处理数据，是一种分布式计算模型。MapReduce的思想：将任务切割为多个小任务进行并行计算（Map），然后将得到的局部结果进行汇总（Reduce）。网络io的耗时远大于磁盘io。当计算程序和数据分别在不同机器上时，将计算程序移动到数据所在节点比移动数据要快的多。所以Hadoop中的MapReduce就是将计算程序发送到各个Dat
转载
2024-01-08 21:56:42
32阅读
java 正则表达式实现敏感数据脱敏
转载
2023-06-10 10:48:54
162阅读
互联网中内部防止隐私数据泄露的手段-数据脱敏什么是数据脱敏先来看看什么是数据脱敏？数据脱敏也叫数据的去隐私化，在我们给定脱敏规则和策略的情况下，对敏感数据比如 手机号、银行卡号 等信息，进行转换或者修改的一种技术手段，防止敏感数据直接在不可靠的环境下使用。像政府、医疗行业、金融机构、移动运营商是比较早开始应用数据脱敏的，因为他们所掌握的都是用户最核心的私密数据，如果泄露后果是不可估量的。数据脱敏的
转载
2023-10-06 14:36:51
205阅读
前面4篇文章介绍了如何编写一个简单的日志提取程序，读取HDFS share/logs目录下的所有csv日志文件，然后提取数据后，最终输出到share/output目录下。本篇停留一下，梳理一下主要过程，然后提出新的改进目标。首先声明一下，所有的代码都是maven工程的，没有使用任何IDE。 这是我一贯的编程风格，用Emacs + JDEE开发。需要使用IDE的只需要学习如何在IDE中使
作业提交阶段对于每一种InputFormat都会提供两个方法： getSplits() 用来分片，一般来说对于普通的文件，是每个Block一个分片；不同的输入数据类型有完全不同的分片方法。 createRecordReader() 用来提供RecordReader对于输入的数据首先就是要分片，每一片对应着一个Mapper，Mapper数量总是等于分片数，所以分片确定之后，Mapper数量也就定
文章目录9.8.3消除缺失的编号一、思路二、程序三、结果四、附加题五、完整程序 9.8.3消除缺失的编号编写一个程序，在一个文件夹中，找到所有带指定前缀的文件，诸如 spam001.txt,spam002.txt 等，并定位缺失的编号（例如存在 spam001.txt 和 spam003.txt，但不存在 spam002.txt）。让该程序对所有后面的文件改名，消除缺失的编号。 作为附加的挑战，
转载
2023-11-21 13:21:58
73阅读
MapReduce是一种编程模型，使开发人员可以专注于编写处理数据的代码，而不必担心并行执行的细节。 MapReduce需要将要处理的数据建模为键值对。 开发人员编写了map函数和reduce函数的代码。 MapReduce运行时为每个键/值对调用map函数。 映射功能将键值对作为输入，并产生另一个键值对的输出。 MapReduce运行时通过键对映射函数的输出进行排序和分组。 然后，它
数据脱敏（DM）是一种技术，旨在通过向用户提供高度仿真的数据，而不是真实和敏感的数据，同时保持其执行业务流程的能力，从而防止滥用敏感数据。数据脱敏技术核心功能数据和关系发现相同的敏感数据类型可能存在于同一数据库的多个表以及整个组织中的其他数据库中。如果需要脱敏，则应将其应用于所有所需表和数据库中的所有数据实例。正确保持这些关系对于存储脱敏数据的数据库和使用脱敏数据的应用程序是至关重要的。脱敏规则定
转载
2023-10-24 21:42:08
14阅读
在大数据的时代，很多机构需要面向公众或研究者发布其收集的数据，例如医疗数据，地区政务数据等。这些数据中往往包含了个人用户或企业用户的隐私数据，这要求发布机构在发布前对数据进行脱敏处理。K匿名算法是比较通用的一种数据脱敏方法。K-匿名的基本概念 为解决链接攻击所导致的隐私泄露问题，引入k-匿名 (k-anonymity) 方法。k-匿名通过概括（对数据进行更加概括、抽象的描述）和隐匿（不
转载
2023-11-03 11:18:26
4阅读
一、MapReduce概述MapReduce是大数据离线计算的一种处理范式。它的基本概念就是“分而治之”：将单个问题分解成多个独立的子任务，再将子任务的结果汇聚成最终结果。在 MapReduce 中，它会先把样本分成一段段能够令单台计算机处理的规模，然后让多台计算机同时进行各段样本的整理和统计，每执行完一次统计就对映射统计结果进行规约处理，最终完成大规模的数据规约。MapReduce 的含义分为两
转载
2023-11-25 13:07:21
79阅读
使用Hadoop进行大数据运算，当数据量极其大时，那么对MapReduce性能的调优重要性不言而喻，尤其是Shuffle过程中的参数配置对作业的总执行时间影响特别大。下面总结一些和MapReduce相关的性能调优方法，主要从五个方面考虑：数据输入、Map阶段、Reduce阶段、Shuffle阶段和其他调优属性。 1.数据输入 在执行Map
方法介绍MapReduce 是一种计算模型，简单的说就是将大批量的工作（数据）分解（map）执行，然后再将结果合并成最终结果（reduce）。这样做的好处是可以在任务被分解后，通过大量机器进行分布式并行计算，减少整个操作的时间。也就是说，MapReduce 的原理就是一个归并排序。它的适用范围为数据量大，但是数据种类小可以放入内存的场景。基本原理及要点是将数据交给不同的机器去处理，数据划分，结果归
应用场景数据库中密文存储身份证、手机号等敏感信息时，Java需要将密文数据转换为明文并脱敏返回给前端。脱敏方式枚举类public enum DesensitizationTypeEnum {
/**
* 默认方式
*/
DEFAULT,
/**
* 头部脱敏
*/
HEAD,
/**
* 尾部脱敏
转载
2023-07-18 16:37:23
1015阅读
Java实现日志脱敏处理扩展实现：java web 数据脱敏
题记在日常工作中，日志处理是我们每一个程序员必备的素质，但是在有些场景下客户信息敏感，需要进行某些字段，或者某部分字段的脱敏处理。接到需求我们开始操刀！需求分析处理字段的方式多种多样，如何方便，高效才是关键，众所周知在java中最好的处理方式就是封装，即，对程序员暴露出的最好是一个统一的API，不关心具体的处理逻辑，能拿到想要的返回值就
转载
2023-08-22 23:18:23
78阅读
Join关联操作背景在实际的数据库应用中，我们经常需要从多个数据表中读取数据，这时就可以使用SQL语句中的连接（JOIN），在两个或者多个数据表中查询数据。在使用MapReduce框架进行数据查询的过程中，也会涉及到从多个数据集中读取数据，进行Join关联操作，只不过此时需要使用Java代码并根据MapReduce的编程规范实现这个业务。由于MapReduce的分布式设计理念，对于MapReduc
实验名称：信息数据脱敏处理实验目的：利用python后端代码处理对从数据库调取的信息进行脱敏处理，保证用户个人信息的安全。实验环境：数据库环境：phpstudy集成数据库环境登录地址：192.168.184.152 登录账户：root 登录密码：123456 （ 虚拟机中内网部署环境）编写 语言：python操作 环境：window11操作系统操作 软件：vscode实验过程:1.开启数据库我们在
Java实现数据脱敏一、什么是数据脱敏数据脱敏又称数据去隐私化或数据变形，是在给定的规则、策略下对敏感数据进行变换、修改的技术机制，能够在很大程度上解决敏感数据在非可信环境中使用的问题。根据数据保护规范和脱敏策略．对业务数据中的敏感信息实施自动变形．实现对敏感信息的隐藏。通俗的讲就是将数据隐私化二、解决方案1. 方案使用注解方式，来支持对指定字段，不同字段，多种脱敏操作，并可以脱离对象。 使用工具
转载
2023-09-29 09:44:59
611阅读
什么是Map/Reduce?MapReduce是hadoop的核心组件之一，主要负责分布式计算Map/Reduce内部原理：MapReduce最重要的一个思想：分而治之，就是将负责的大任务分解成若干个小任务， 并行执行， 完成后在合并到一起，适用于大量复杂的任务处理场景，大规模数据处理场景.Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行
