一、数据探索数据量 数据缺失情况 描述性统计 特征理解 特征分布 周期性分析 对比分析 相关性分析 训练集和测试集的分布一致性二、数据预处理缺失值处理 异常值处理 内存优化 数据增强 欠采样/过采样三、特征工程1.ID特征处理 需要考虑训练集和测试集数据拆分方式，如果是按时序拆分，那么ID特征没有办法挖掘 如果是随机拆分，那么ID特征可挖掘，但需要注意，如果模型在业务中用来预测未来，那么ID特征应
转载
2023-09-15 11:02:29
38阅读
自组织数据挖掘方法的基本思想是从对系统有影响的变量样本数据中自动产生大量模型，并根据外部准则从模型集合选择一个最优复杂度的模型。它主要包含两个任务：1）从数据样本中挖掘（估计）系统变量之间未知的相关性2）利用前一步中估计的相关性来解决问题，对系统变量进行预测。
在本文所论述的实验中主要使用的是自组织数据挖掘方法中的多层算法，它是GMDH中最常用的算法。令为系统的个可测变量，第一层将这
原创
2012-11-03 14:40:54
1976阅读
点赞
2评论
一、挖掘内容多媒体数据：多维的，非结构化或者半结构化的数据多媒体数据库：数据量大，数据结构复杂，模式多样细分领域：图像挖掘、视频挖掘、音频挖掘、web挖掘、多媒体综合挖掘二、挖掘定义 多媒体数据挖掘：多媒体信息处理技术和数据挖掘技术结合，综合分析视听特性和语义，发现隐含的、有效的、可理解的模式，得出时间的趋向和关联三、多媒体数据挖掘系统模型1、多
转载
2023-10-26 21:12:02
39阅读
数据分析数据挖掘什么是数据挖掘数据挖掘：用于寻找数据中隐含的知识，并用于产生商业价值的一种手段为什么要做数据挖掘技术和商业就像一对双生子，在互相促进中不断演进发展。随之而来的就是个大公司的业务的突飞猛进，也涌现出很多的新模式，使得数据量激增。面对数以千万甚至上亿以及不同形式的数据。很难再用纯人工、纯统计的方法从成千上万的变量中，找到其隐含的价值。所以我们需要一种规范的解决方案，能够利用并且充分利用
转载
2023-07-31 10:26:08
61阅读
一. 关键场景说明公司场景：公司是最先存在的，对应现实场景相当于去工商局登记注册公司，这个时候公司可以没有组织架构，当你有营业执照，有办公场地，有经营范围等；数据表：sys_company账号场景：老板招聘第一员工，给你开一个门禁账号如（账号：13700000001），让做一些超级权限的数据，比如把组织架构弄起来数据表： sys_user组织架构场景：组织架构是公司上下管理的载体，对应到技术上，它
转载
2023-07-12 12:34:46
173阅读
作者：文|数据海洋 问题：为什么传统的没有达到今天互联网数据应用的高度呢? 在之前的传统BI可能因为这些因素，所以没有达到今天的数据在高度，可能是互联网本身发展的因素，数据对于互联网企业价值。但其中有一个很大的因素，可能是传统的BI，更多是偏重数据仓库的架构，根据需求来帮报表。在数据部门没有一批主动去思考业务，思考业务与数据关系的人。这种人很可能都是在业务方，他们更多把业务问题转为要看的报表，然后
转载
2023-07-10 22:26:51
266阅读
# 数据组织架构的实现
在数据密集型应用中，组织架构是至关重要的。它允许我们构造和管理数据的结构，使不同的部分可以有效地交互。在这篇文章中，我将带领你完成“数据组织架构”的实现，下面是整个流程。
## 流程步骤
以下是实现数据组织架构的步骤，以及每一步的简要说明：
| 步骤 | 描述 |
| ---- | ----------------------
数据组织
数据组织是按一定方式和规则对数据进行归并、存储、处理的过程。
原创
2021-03-14 17:43:28
412阅读
第一章节是从一个餐厅的角度出发，引出来许许多多的相关概念。第一个概念就是什么是数据挖掘，这个简单，望文生义就好了。它的名字本身就诠释了它的内涵。基本任务还是得记一下：1分类与预测。（有点像量化，股票交易）2聚类分析（）3关联规则（）4时序模式（）5偏差检测（）关于定义挖掘目标，就是什么菜品推荐，门店开在哪，这些问题。可以不多说。关于数据取样，没啥好说的。 然后重点在后面，数据质量分析：有
转载
2023-10-03 11:47:47
4阅读
今日分享从不同角度看数据团队的工作。作为一个『二进宫』的阿里人，这个月刚好是入职 Lazada 的两周年。虽然两次与阿里结缘都是在数据团队（DT），但这次从数据中台到业务前台，从个人贡献者到 TL，团队和身份的转变让我对个人的发展及未来要做的事情都有了更深入的了解和认识，这里也和大家分享一下在业务前台做数据工程的经验与思考。作为一名前端开发出身的工程师，16 年在 DT 时对于数据团队在整个企
转载
2023-10-28 11:04:51
70阅读
在企业应用系统中，组织结构模型及权限是应用系统的基础，管理系统用户、部门、用户组及其关系，并对系统权限进行设置，企业中存在各种应用系统需求，统一的组织结构及权限模型设计为企业应用系统提供统一的用户及权限管理模式，避免重复登录、重复授权、真正实现企业的SSO、真正的从IT规划的角度来避免企业信息孤岛的出现，让信息产生价值。
企业应用系统中存在系统、用户、部门、角色（用户组）、操作项、权限、权限范围、
转载
2023-07-17 16:55:11
235阅读
数据结构含义计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关。 内容解释：数据：数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。数据的实质：事实或观察的结果
数据的意义：信息的表现形式和载
转载
2023-09-10 15:19:31
167阅读
一、 概念介绍定义： 数据挖掘（Data mining）又译为资料探勘、数据采矿。它是数据库知识发现（Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。是计算机科学的一种。 数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等
转载
2023-07-20 13:16:25
83阅读
文章目录Python数据挖掘框架项目背景与分析数据读入与检查数据预处理数据校正缺失值填充均值填充填充固定值0值填充众数填充中位数填充中位数或均值+随机标准差填充上下条的数据插值填充填充KNN数据填充模型预测的值数据创建数据转换最大最小标准化（max-min标准化）z-score变换对数变换box-cox变换数据清洗缺失值异常值无关值噪音重复值数据集成数据规约维归约属性子集选择启发式的（探索性的）
转载
2023-09-11 17:21:22
102阅读
数据挖掘 随着数据库技术的迅速发展及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致
转载
2023-07-10 14:43:30
0阅读
数据挖掘定义： 数据挖掘是从大量的，不完全的，有噪声的，模糊的，随机的数据中提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。数据挖掘涉及到的知识： 数据库技术、统计学、可视化、高性能计算、人工智能、机器学习 关于数据、信息、知识的理解：也就是说 ： 对于一个客户：它的年龄25岁，收入10万中的25、10就是数据（单独说25，10我们是不知道它是啥意思的）
转载
2023-07-16 09:58:07
48阅读
转载
2023-07-23 21:55:59
94阅读
大数据如果想要产生价值，对它的处理过程无疑是非常重要的，其中大数据分析和大数据挖掘就是最重要的两部分。在前几期的科普中，酝馥君已经为大家介绍了大数据分析的相关情况，本期酝馥君就为大家讲解大数据挖掘技术，让大家轻轻松松弄懂什么是大数据挖掘技术。什么是大数据挖掘？数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不
转载
2023-09-11 11:42:15
70阅读
page页每个页面8KB，连续的8个页面称之为一个区extents，如：2.18MB的一个DB的区大约有2.18 MB (2,293,760 字节)=2,293,760b/8kb=280个页面=35个区一个页只能被一个对象所有查看数据表中的记录属于哪个文件哪个page页SELECT top 10 %%physloc%%, sys.fn_physlocFormatter (%%physloc%%)
在实际开发过程中，经常存在多个层级结构的设计，而且多个层级结构还需要排序。这里通过将多级结构的数据在同一张表中（无需多张表进行关联），并通过level的巧妙设计来实现单表查询。level的设计原则：0.*.* 其中，0是顶级结构，第一个*是顶级结构下的结构，第二个*是顶级结构下的结构下的结构。举个栗子：1、创建部门架构表：CREATE TABLE department (
`id` BIGIN
转载
2023-10-13 22:54:26
206阅读
