汤加凤高数基础面授23：空间解析几何Part 1向量：1.有方向有大小的量2.向量的坐标：a) 一维（x2-x1）e.（e是单位向量）b) 二维{x2-x1,y2-y1}c) 三维{x2-x1,y2-y1,z2-z1} 向量的模:设向量a={a1,b1,c1}|a|=（a1^2+b1^2+c1^2）^1/2向量a的单位向量=a/|a|={a1/|a|,b1/
感谢中国人民大学胡鹤老师，课讲得非常好~首先，何谓tensor？即高维向量，例如矩阵是二维，tensor是更广义意义上的n维向量（有type+shape）TensorFlow执行过程为定义图，其中定义子节点，计算时只计算所需节点所依赖的节点，是一种高效且适应大规模的数据计算，方便分布式设计，对于复杂神经网络的计算，可将其拆开到其他核中同时计算。Theano——torch———caffe（尤其是图像
前言 在老师的引导下，进行了6天的向量的学习，旨
原创
2022-12-19 14:06:22
268阅读
向量的模向量的大小(或长度）叫做向量的模，记作||。 平面向量=(x,y)，模长是： 空间向量= (x,y,z)，模长是： 对于向量属于n维复向量空间=(x1,x2…,xn)，的模为‖‖=sqrt((x,x*))(x与x共轭的内积再开方) 模是绝对值在二维和三维空间的推广，可以认为就是向量的长度。推广到高维空间中称为范数。模和范数的关系模是空间几何的概念，范数是线性代数里的概念，范数
转载
2024-01-23 15:21:28
61阅读
背景 机器学习以及深度学习中经常会使用向量表示原始数据（例如图片、视频、自然语言中的embedding等），而且通过查询词（例如图片搜索、视频搜索、词向量空间近似计算等）计算KNN是强需求。 在此业务
原创
2022-07-25 09:03:34
182阅读
Faiss是Facebook开源的向量召回引擎，用于寻找与某个向量最相似的N个向量。1. 简介向量量化(Vector Quantization)所谓向量量化，就是将原来无限的空间 映射到一个有限的向量集合. 当然这里的映射函数也不是随便指定的，需要满足误差最小的原则，一种方法是将优化函数设置为最小平方误差：正好就是k-means方法的目标函数！因此我们可以用k-means作为寻找最佳codeboo
# UMAP对高维向量降维的应用及Python实现
在数据科学和机器学习领域，我们常常需要处理高维数据。然而，高维数据的处理和可视化往往非常困难。使用降维技术可以帮助我们减少数据维度，从而更清晰地理解数据。本文将介绍UMAP（Uniform Manifold Approximation and Projection）这一降维算法，并提供Python示例，帮助大家理解如何应用UMAP进行高维数据的
# 高维向量与余弦相似度的探究
在机器学习和数据挖掘中，高维向量和相似度计算是非常重要的概念。其中，余弦相似度是衡量两个向量之间相似度的常用方法，尤其在文本分析和推荐系统中应用广泛。本文将介绍如何使用 Python 和 NumPy 来计算高维向量的余弦相似度，并通过示例加以说明。
## 余弦相似度的定义
余弦相似度是通过计算两个向量之间的夹角来度量它们的相似性，公式如下：
\[
\text
何为向量？向量从何而来？为什么说向量是高维思维的体现？为什么说学习向量就是我们认识世界的新角度？ 学习向量对于我们来说是突然的，感觉我一直在经历“降维打击”，经过十几节课的系统学习，向量似乎在我的眼里和高中时候的不太一样了。为什么这么说呢？在以前的认知里，向量就是简单的“有大小、有方向的量”，但经过学习之后，向量不再仅仅拘泥于一个概念那么简单了：在数学中，向量（也称为欧几里得向量、几何向
原创
2022-12-26 19:24:29
384阅读
## Python求高维向量距离
在机器学习和数据分析领域，我们经常需要度量向量之间的相似性或距离。对于低维向量，我们可以使用欧氏距离或曼哈顿距离等常见度量方法。但是当我们的数据变得高维时，传统的距离度量方法可能不再适用。在本文中，我们将介绍一些常用的高维向量距离度量方法，并使用Python代码进行实例演示。
### 欧氏距离
欧氏距离是最常见的向量距离度量方法之一，它是指在 n 维空间中两
原创
2023-09-10 03:17:58
271阅读
高维向量搜索是一种处理和搜索高维数据（如在机器学习和数据科学中常见的数据）的技术。在高维空间中，数据点可以被视为多维向量。这些向量通常代表复杂的对象或实体，如图像、文本或音频样本。在高维向量搜索中，目标是快速有效地在这些高维数据集中找到与给定查询最相关的项。这通常涉及以下几个关键方面：相似性度量：确定数据点之间相似度的方法，通常使用诸如欧几里得距离、余弦相似度等度量。索引和数据结构：为了提高搜索效
原创
2023-12-13 09:59:00
128阅读
什么是PyTorch？ PyTorch是Facebook人工智能团队开发的一个机器学习和深度学习工具，用于处理大规模图像分析，包括物体检测，分割与分类。但是它的功能不仅限于此。它与其它深度学习框架结合，能够完成复杂的算法。PyTorch用Python和C++编写。 PyTorch属于深度学习框架中的重要一员，与TensorFlow, Keras, Theano等其它深度学习框架不同，它是动态
子空间聚类算法是指把数据的原始特征空间分割为不同的特征子集，从不同的子空间角度考察各个数据簇聚类划分的意义，同时在聚类过程中为每个数据簇寻找到相应的特征子空间。总得来说，子空间聚类的任务主要有两个：1）发现可以聚类的子空间（属性子集）；**2）在相应的子空间上聚类。**子空间聚类算法实际上是将传统的特征选择技术和聚类算法进行结合，在对数据样本聚类划分的过程中，得到各个数据簇对应的特征子集或者特征权
目录一、前言二、关于搜索三、倒排索引四、关于 postings list 的一些巧技五、总结All problems in computer science can be solved by another level of indirection.”– David J. Wheeler“计算机世界就是 trade-off 的艺术”一、前言最近接触的几个项目都使用到了 Elasticsearch
导语：在腾讯金融科技数据应用部的全民 BI 项目里，我们每天面对超过 10 亿级的数据写入，提高 ES 写入性能迫在眉睫，在最近的一次优化中，有幸参与到了 Elasticsearch 开源社区中。本文是腾讯开源团队投稿。背景为了更便捷地分析数据，腾讯金融科技数据应用部去年推出了全民 BI 的系统。这个系统通过 Elasticsearch 进行基础的统计，超过 10 亿级的数据量
# Python高维向量可视化
## 引言
在机器学习和数据分析中，高维数据的可视化是一项重要的任务。高维数据通常难以直观地理解和解释，因为人类的感知能力在三维及以下维度上表现较好。然而，通过适当的技术和工具，我们可以将高维数据映射到二维或三维空间中，并在可视化中呈现出来。本文将介绍Python中常用的高维向量可视化方法，并通过代码示例展示其用法。
## 主要方法
### 主成分分析（Pr
原创
2023-11-12 10:01:07
532阅读
1、ES如何实现分布式高并发全文检索？为什么要实现集群？ ES核心存放是索引。 由于在单台ES服务器节点上，随着业务量的发展索引文件慢慢增多，会影响到效率和内存存储问题。 如果ES实现了集群的话，会将单
转载
2024-03-11 15:12:49
54阅读
ES2020新特性一、Promise.allSettledPromise.all 具有并发执行异步任务的能力，但最大的问题就是只要有一个任务出现异常(reject)，所有的任务都会直接走异常reject状态，走catch回调； Promise.allSettled 如果并发任务中，无论一个任务正常或者异常，都会返回对应的的状态（fulfilled 或者 rejected）与结果（业务value 或
一、ES性能优化在前面的文章我们系统的对ES进行了讲解，包括rest方式操作ES、集群、水平扩容、常见几种分词器的使用、以及Java客户端的操做，本篇文章我们一起来学习下ES的性能优化。二、索引刷新频率 refresh_interval在 elasticsearch 中，写入和打开一个新段的轻量的过程叫做 refresh 。 默认情况下每个分片会每秒自动刷新一次。这就是为什么我们说 elastic
转载
2024-02-27 21:17:26
100阅读
作者：zhuzhuba0081、用bulk批量写入你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bulk请求最佳的大小，需要对单个es node的单个shard做压测。先bul
