1、Yarn是什么？ Apache Hadoop YARN （Yet Another Resource Negotiator 另一种资源协调者）是一种新的Hadoop资源管理器，提供一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。可以把Hadoop YARN理解为相当于一个分布
因为传统数仓的不足，大家希望使用上分布式存储，也就是HDFS。然而使用HDFS后发现，基于数据库的数据仓库用SQL就能做查询，现在换到HDFS上面，只能用Mapreduce任务去做分析。给分析代码极大的不便，因此需要一个框架，使用SQL来做HDFS的查询。Hive正是基于类似SQL的语言完成对hdf
1、HDFS HDFS是Hadoop分布式文件系统。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。 2、MapReduce MapReduce是一个软件
“::”是Java 8 引入的新特性之一，常常被称作为方法引用，提供了一种不执行方法的方法。使用“::”可以进一步简化
拉链表是一种维护历史状态，以及最新状态数据的一种表。拉链表根据拉链粒度的不同，去除了一部分不变的记录，通过拉链表可以很
带有注释的方法@Builder（从现在起称为target）会导致生成以下 7 个内容： 名为 的内部静态类FooBuilder，具有与静态方法相
FN+Win解锁
简介 领域驱动设计(Domain-Driven Design，简称DDD)是一种软件开发方法论，它强调将业务逻辑和核心业务过程放在
每种数据库都有自己要解决的问题（或者说擅长的领域），对应的就有自己的数据结构，而不同的使用场景和数据结构，需
1、统计某段时间内所有人员代码量 git log --format='%aN' | sort -u | while read name; do echo -en "$name\t"; git log --author="$name" --pretty=tformat: --since ==2022-
云计算的三种模型是PaaS（平台即服务），SaaS（软件即服务）和IaaS（基础架构即服务）。IaaS是指由云供应商管理的云计
每种数据库都有自己要解决的问题（或者说擅长的领域），对应的就有自己的数据结构，而不同的使用场景和数据结构，需要用不同的索引，才能起到最大化加快查询的目的。 对 Mysql 来说，是 B+ 树，对Elasticsearch/Lucene 来说，是倒排索引。 与正排索引区别 在没有搜索引擎时，我们是直接
概念 用户输入搜索query后，系统如何从库中找到命中query词的商品？暴力的方法是先对query进行分词得到每个query的term，而后遍历每个商品信息的每个term词，如果query term在商品信息中全部命中，则召回该商品。 召回是对于输入query，能够高效的获取query相关的候选d
一个需求，需要修改本地的dns解析，去验证业务的正确性，修改本地的hosts文件需要频繁的修改本地磁盘文件。 使用工具包（https://github.com/tanhaichao/javahost）这个工具类实际是通过反射机制，去修改了InetAddress中的cache值，来实现dns解析的修改
执行 mysqld --initialize --console 时报错 其实就是my.ini文件出了问题。mysql 8 的配置文件中basedir 和 datadir 的路径格式不对ware\mysql-8.0.25-winx
限流场景：秒杀活动，有人使用软件恶意刷单抢货，需要限流防止机器参与活动某api被各式各样系统广泛调用，严重消耗网络、内存等资源，需要合理限流使用Redis实现限流的思路：通过ip:api路径的作为key，访问次数为value的方式对某一用户的某一请求进行唯一标识每次访问的时候判断key是否存在，是否count超过了限制的访问次数若访问超出限制，则应response返回msg:请求过于频繁给前端予以
重做日志（redolog） redo log（重做日志）是InnoDB存储引擎独有的，它让MySQL拥有了崩溃恢复能力。 比如MySQL实
一、简介 Elasticsearch 是一个非常强大的搜索引擎，Elasticsearch 是一个分布式、免费和开放的搜索和分析引擎，适用于所有类型的数据，
将较大的文件加载进入内存再计算行数
错误原因：tensorflow版本安装有问题 解决办法：卸载原来的版本： pip uninstall tensorflow pip uninstall tensorflow-gpu 找到对应python 和cuda版本对应的tensorflow,重新安装，对应关系为：
1、在windows文件管理器中输入%APPDATA%，进入C:\Users\lintianyu\AppData\Roaming的目录 2、进入pip目录，新建pip.ini文件，文件内容为：（豆瓣镜像） [global] timeout = 60 index-url = http://pypi.d
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
