当训练任务结束，常常需要评价函数（Metrics）来评估模型的好坏。不同的训练任务往往需要不同的Metrics函数。例如，对于二分类问题，常用的评价指标有precision（准确率）、recall（召回率）等，而对于多分类任务，可使用宏平均（Macro）和微平均（Micro）来评估。MindSpore提供了大部分常见任务的评价函数，如Accuracy、Precision、MAE和MSE等，由于Mi
在深度学习训练过程中，为及时掌握网络模型的训练状态、实时观察网络模型各参数的变化情况和实现训练过程中用户自定义的一些操作，MindSpore提供了回调机制（Callback）来实现上述功能。Callback回调机制一般用在网络模型训练过程Model.train中，MindSpore的Model会按照Callback列表callbacks顺序执行回调函数，用户可以通过设置不同的回调类来实现在训练过程
通常情况下，定义训练和评估网络并直接运行，已经可以满足基本需求。一方面，Model可以在一定程度上简化代码。例如：无需手动遍历数据集；在不需要自定义nn.TrainOneStepCell的场景下，可以借助Model自动构建训练网络；可以使用Model的eval接口进行模型评估，直接输出评估结果，无需手动调用评价指标的clear、update、eval函数等。另一方面，Model提供了很多高阶功能，
使用静态图加速背景介绍AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。两种运行模式的详细介绍如下：动态图模式动态图的特点是计算图的构建和计算同时发生（Define by run），其符合Python的解释执行方式，在计算图中定义一个Tensor时，其值就已经被计算且确定，因此在调试模型时较为方便，能够实时得
在训练网络模型的过程中，实际上我们希望保存中间和最后的结果，用于微调（fine-tune）和后续的模型推理与部署，本章节我们将介绍如何保存与加载模型。保存和加载模型权重保存模型使用save_checkpoint接口，传入网络和指定的保存路径：要加载模型权重，需要先创建相同模型的实例，然后使用load_checkpoint和load_param_into_net方法加载参数。保存和加载MindIR除
模型训练模型训练一般分为四个步骤：构建数据集。定义神经网络模型。定义超参、损失函数及优化器。输入数据集进行训练与评估。现在我们有了数据集和模型后，可以进行模型的训练与评估。构建数据集首先从数据集 Dataset加载代码，构建数据集。 定义神经网络模型从网络构建中加载代码，构建一个神经网络模型。定义超参、损失函数和优化器超参超参（Hyperparameters）是可以调整的参数，可以控制模
数据必须经过适当的转换之后才能使用。通常情况下，直接加载的原始数据并不能直接送入神经网络进行训练，此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换（Transforms），配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入，实现对指定数据列的处理。mindspore.dataset提供了面向图像、文本、音频等不同数据类型的Tran
数据是深度学习的基础，高质量的数据输入将在整个深度神经网络中起到积极作用。MindSpore提供基于Pipeline的数据引擎，通过数据集（Dataset）和数据变换（Transforms）实现高效的数据预处理。其中Dataset是Pipeline的起始，用于加载原始数据。mindspore.dataset提供了内置的文本、图像、音频等数据集加载接口，并提供了自定义数据集加载接口。此外MindSp
张量张量（Tensor）是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 ? 维空间内，有 ?? 个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。? 称为该张量的秩或阶（与矩阵的秩和阶均无关系）。张量是一种特殊的数据结构，与数组和矩阵
网络构建mindspore.nn类是构建所有网络的基类，也是网络的基本单元。当用户需要自定义网络时，可以继承nn.Cell类，并重写__init__方法和construct方法。__init__包含所有网络层的定义，construct中包含数据（Tensor）的变换过程。 构建过程中使用内存很多，可能会产生如下错误：此时需要再terminal中把其他进程关掉再重新执行。模型训练在模型训练
介绍昇思MindSpore是一个全场景深度学习框架，旨在实现易开发、高效执行、全场景统一部署三大目标。其中，易开发表现为API友好、调试难度低；高效执行包括计算效率、数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘以及端侧场景。昇思MindSpore总体架构如下图所示：ModelZoo（模型库）：ModelZoo提供可用的深度学习算法网络。MindSpore Extend（
choices()从给定序列中随机选取元素序列语法：random.choices(population, weights=None, *, cum_weights=None, k=1)population：必须是一个序列，可以是列表，元组，字符串等等。表示要从中选取元素的序列。weights：可选参数。必须是一个数字序列，长度必须和population相同。
random.randrange()返回指定范围内的随机数random.randrange(start, stop, step)参数说明：start -- 可选， 一个整数，指定开始值，默认值为 0。stop -- 必需， 一个整数，指定结束值。step -- 可选， 一个整数，指定步长，默认值为 1。每个随机数之间的间隔是步长的整数倍。左闭右开。返回值：返回指定范围
random模块用于生成随机数。 random()返回[0,1)之间随机浮点数例子：import random for i in range(5): print(random.random())结果：0.50266204651288470.98417506670060020.55154656025858870.427965634339174560.262795945139
os模块概述及常用方法os模块是用来处理文件和目录的。支持windows、uniux等不同系统。 os.getcwd()当前路径os.chdir(指定路径)改变到指定路径os.listdir(路径参数)列出当前路径下所有文件及目录os.walk(路径参数[,topdown=true][,onerror=None][,followlinks=Flase])遍历目录下所有文件夹及子文件夹，获
分布形态的描述偏态：数据分布的偏斜程度。峰态：数据分布的尖峰扁平程度。偏态 峰态峰态指数据分布的尖峰扁平程度。相对于标准正态分布而言。 描述性统计图表统计表最常用的统计表是频数分布表。 统计图饼图：结构分析条形图（柱形图）：对比分析直方图：数据的分布形态箱线图：数据的分布特征线图：描述量的变化情况。散点图：描述变量间的相关关系。 饼图用于结构分析
离散程度的描述分类数据的离散程度：分类数据的离散程度常用指标：异众比率，一组数据中，非众数的频数占总数据个数的比重。异众比率性质：①不受极端值的影响；②一组数据中异众比率越大，众数的代表性越大。如考试成绩优秀9人，良好20人，中等25人，差等6人，则众数是中等，异众比率是25/50=0.4顺序数据的离散程度常用指标：极差、四分位差。极差即范围，等于一组数据的最大值和最小值之差。极差的性质：①极差是
数据的描述性统计分析数据的描述性统计分析常从数据的集中趋势、离散程度、分布形态3反面着手。集中趋势集中趋势描述数据向其中心值靠拢的趋势。分类数据的集中趋势描述：众数。特点：不受极端值影响，不唯一。用表示。 顺序数据的集中趋势描述： 数值数据集中趋势描述常用指标平均数，又称为均值、期望。分为算术平均数、调和平均数、几何平均数、平方平均数。算数平均数：调和平均数：是数据
统计学基本概念总体：研究的所有元素的集合。个体：总体中的一个元素。样本：总体中抽取的一部分个体的集合。样本容量：样本中个体的数量。参数：总体的某个特征。统计量：样本的某个特征。 是否使用抽样统计不不是根据数据量的多少，而是根据总体中的个体是不是 按照表达形式划分：有两种划分形式，一种是定性数据、定量数据。另一种是分为分类数据、顺序数据、数值数据（定量数据）。第一种：定性数据：刻
常用的数据类型转换函数说明int(x [,base ])将x转换为一个整数，base可选，2是二进制，8、10、16等，默认是10long(x [,base ])将x转换为一个长整数，base是进制float(x )将x转换到一个浮点数complex(real [,imag ])创建一个复数str(x )将对象 x 转换为字符串repr(x )将对象 x 转换为表达式字符串eval(str )用来
第四章描述性统计分析概述统计学解决问题的步骤：收集数据、处理数据、分析数据、解释数据。收集数据是数据分析的前提，直接来源的数据是一手数据，间接来源的数据是二手数据。调查和实验的区别：调查强调的是不对数据对象进行干扰，任其自然发展，收集发展过程中的数据；实验强调的是有目的的对数据对象进行因素干扰，从而验证这些因素对数据对象是否产生影响，以及产生何种影响。处理数据：包括将收集的数据进行数据编码、数据库
业务分析方法论业务分析方法是遇到特定业务问题时使用的分析定式。帕累托分析方法又称二八分析方法，依据帕累托法则在对关键对象进行查找、定位时使用的分析方法。帕累托法则是由19世纪意大利经济学家帕累托所创：主要资源集中在少数人手中。帕累托分析方法是帕累托法则的法相应用。帕累托图：折线图和柱状图组合而成。折线图使用业务结果完成度的累计百分比作为指标，柱形图使用实际业务结果作为指标。横轴是业务对象维度。
客户分类模型用户价值模型：单位时间内用户贡献的价值为核心业务目标。将消费金额拆解成购买频次和客单价两个不同度量轴。 RFM模型：主要应用于电商领域，帮助决策者了解用户的留存、流失情况，以便针对不同特征用户开展不同运营策略。R最近一次消费，F消费频次，M消费金额。衡量客户价值和客户创利能力。 用户忠诚度模型：在零售企业中用的多。用消费金额和消费次数指标体现用户的忠诚度
指标体系指标体系是相互之间有逻辑联系的指标构成的整体。完整的指标体系可以描述业务框架的整体架构情况、业务流程的完整脉络线索即业务结果的具体产生原因。指标体系从搭建到分析应用有4步骤：1 选取、设计指标搭建指标体系2 收集指标数据3 计算指标值4 分析指标值搭建指标体系需要明确三个问题：1 指标体系服务对象是谁。2 指标体系的使用目的。3 指标体系所处的维度环境搭建指标体系过程中使用的核心思维方法是
业务分析类指标主要用来量化企业不同业务部门中开展不同业务行为结果的好坏情况。以下是营销行为的一些指标，营销行为主要包括市场宣传、产品推广、发现客户、挖掘需求、客户运营、销售产品、售后服务等。客户拜访次数：接通率：回访次数：引导客户注册人数：其他：申请通过人数、审核人数、审核通过率、广告投放数、广告投放金额、成交单数、成交金额、成交率等。 效果分析类指标效果分析类指标主要用于企业资产使用效
zip函数内置函数。zi()函数语法：zip(*iterables)参数是一个或多个可迭代列表。返回可迭代对象，python3中需要使用list转换为列表。将每个可迭代对象中的对应元素打包成一个个元组。如果可迭代对象长度 不同时，以最短的为准。例子1：多个列表合并a = [1,2,3] b = [4,5,6] c = [7,8,9,10,11] d = ['张三','李四','王五','赵六
产品库存类指标库存手进货与销售双方向的影响。期初库存：单位时间的起点处库存量。期末库存：单位时间的终点处库存量。常见指标：库存数量与库存金额：可以是某时点或者某时段平均值。 有两个计算方法：计算方法一：单位时间内库存总数量或库存总金额/单位时间天数，代表单位时间内的库存平均水平。计算方法二：单位时间内，（期初库存数量或金额+期
客户行为特征类指标单位时间内客户群体发生特定行为的次数及频繁程度。浏览量（PV）访问数平均访问深度跳失次数：用户点开页面后直接关闭的行为，值越大说明店铺越不吸引用户。跳失率：跳失次数/访问数其他：跳转次数、停留时长、访问间隔、搜索量、评论量、分享量、点击量、收藏量、付费转化率、退货率、退货量。 客户价值类指标。分为客户收入类指标和客户成本类指标。客户收入类指标客单价：客户单笔消费时贡献的
场景指标通用指标可以在多个不同场景下使用，场景指标是在特定场景下使用。如库销比在进销存业务场景。客户分析类指标客户生命周期类指标分为新增类、留存类、流失类新增类新增客户数量类指标：新增注册会员数新增访客数，访客数（UV）新增到店数新增下载用户数 新增客户质量类指标：新增活跃用户数新增活跃用户数占比新增注册用户数新增注册用户数占比新增付费用户数新增付费用户数占比其他：新增VIP注册客户数、
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
