什么是Deep Lake？Deep Lake是一个专为AI应用设计的多模态数据库，支持存储和管理向量、图像、文本和视频等数据类型。借助Deep Lake，开发者可以快速存储、查询、版本化和可视化任何AI数据，并将数据实时流式传输到PyTorch/TensorFlow中。千帆与 DeepLake本文将介绍如何利用千帆 SDK 和 DeepLake 实现检索式问答。1. 准备为了能够使用 DeepLa
将繁体字转换成简体字的场景非常广泛，特别是在涉及中文信息处理、文化传播、教育、商业交流等领域。以下是一些具体的场景：互联网内容处理：网页内容优化：为了确保大陆用户能够无障碍阅读，许多面向全球华人的网站需要将繁体字内容转换成简体字。社交媒体管理：在社交媒体平台上，用户可能来自不同地区，使用不同的中文书写习惯。为了统一内容格式，可能需要进行简繁体转换。教育：教材编写：为了符合大陆教育标准，一些国际学校
Milvus简介Milvus 是一个高性能、高度可扩展的矢量数据库，可在从笔记本电脑到大规模分布式系统的各种环境中高效运行。它既可以作为开源软件使用，也可以作为云服务使用。Milvus向量数据库专为向量查询与检索设计，能够为万亿级向量数据建立索引。与现有的主要用作处理结构化数据的关系型数据库不同，Milvus在底层设计上就是为了处理由各种非结构化数据转换而来的向量而生。 Milvus 于 2019
介绍Whisper是OpenAI于2022年9月份开源的通用的语音识别模型。它是在各种音频的大型数据集上训练的模型，也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。 论文链接：https://arxiv.org/abs/2212.04356 github链接：https://github.com/openai/whisper安装Whisper主要是基于Pytorch实现，所以需要在
BGE M3-Embedding来自BAAI和中国科学技术大学，是BAAI开源的模型。相关论文在https://arxiv.org/abs/2402.03216，论文提出了一种新的embedding模型，称为M3-Embedding，它在多语言性（Multi-Linguality）、多功能性（Multi-Functionality）和多粒度性（Multi-Granularity）方面表现出色。M3
SVN是subversion的缩写，是一个开放源代码的版本控制系统，通过采用分支管理系统的高效管理，简而言之就是用于多个人共同开发同一个项目，实现共享资源，实现最终集中式的管理。类似的工具有很多，例如如下几种：VSS（visual source safe）：收费、Windows下用、局域网下用 CVS（concurrent version system）：开源、C/S、支持多平台、不支持文件改名，
Postman 是目前使用到的最简洁的一个 api 测试工具；但是自动 v10.14 版本开始，分组管理功能必须登录才能使用，而国内登录有存在很多问题。解决方案 从v10.14版本开始，使用分组功能必须登录，而在 v10.14 之前的最后一个版本是 v10.13.6 版本是不需要登录的步骤1：卸载本地高版本的 Postman 步骤2：下载&安装 v10.13.6 版本 链接在文章
142857，又名走马灯数。它最早被发现于埃及金字塔内，这是一组神奇的数字…… 如果你将 142857 与 1 ~ 6 中的任何数字相乘，结果将是 142857 的一个置换：142857 × 1 = 142857 142857 × 2 = 285714 142857 × 3 = 428571 142857 × 4 = 571428 142857 × 5 = 714285 142857 × 6 =
概念Beam Search（束搜索）是机器学习中常用的一种搜索算法，通常用于解决序列生成问题，如机器翻译、语音识别、图像生成等任务。Beam Search的基本思想是在搜索过程中保留一定数量的最优候选解，称为beam width，每次扩展时，只保留分数最高的beam width个解，其余解则被舍弃。这样可以有效地减小搜索空间，提高搜索效率。实例举例来说，假设我们要对一个句子进行机器翻译，我们可以使
定义文本纠错任务的评估通常使用编辑距离（Edit Distance）或者F1-Score来衡量模型的性能。编辑距离编辑距离是指将一个字符串转换成另一个字符串所需的最少编辑操作次数，包括插入、删除和替换。在文本纠错任务中，我们可以将原始文本和纠错后的文本看作两个字符串，然后计算它们之间的编辑距离，再将编辑距离除以原始文本长度得到标准化的编辑距离。详情见：另一篇博客【编辑距离算法（Levenshtei
文本纠错是自然语言处理领域中的一项重要技术，该技术可以检测出一段文本中是否存在错别字，并将错别字纠正过来，一般用于文本预处理阶段，同时能显著缓解智能客服等场景下语音识别(ASR)不准确的问题。文本纠错的主要功能是什么？对输入文本进行校对，校对包括拼写、语法、搭配、实体纠错、标点、领导人职称、政治用语及数字纠错等，以使其更加易于阅读和理解。文本生成常用的评价指标有:1. perplexity：衡量模
PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。pycharm设置自动换行，步骤如下：1）只对当前文件有效的操作步骤菜单栏 -> View -> Activ
huggingfaceHuggingFace是一个高速发展的社区，包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。目前包括模型236,291个，数据集44,810个。刚开始大多数的模型和数据集是NLP方向的，但图像和语音的功能模型正在快速更新中。TransformersHugging Face出品的T
起源Zero Shot、One Shot 、Few Shot技术的出现，主要是为了解决传统深度学习方法在数据不足或目标任务变化时的不足。在传统的深度学习中，需要大量的带标注样本数据来训练模型，这对于一些特定场景来说是非常困难和耗费时间的。例如，当我们面对一些新的类别或任务时，我们可能无法获得充足的带标注数据。此时，使用传统的深度学习方法可能会导致模型表现不佳。而 Zero Shot、One Sho
什么是LLaMALLaMA是由美国的Meta AI发布的大语言系列模型，全称是Large Language Model Meta AI，论文：LLaMA: Open and Efficient Foundation Language Models。Llama这个单词本身是指美洲大羊驼，所以社区也将这个系列的模型昵称为羊驼系模型。在这篇论文中，使用数万亿个（trillions of） token&n
一、pycharm配置svn1、点击左上角File-->选择Settings-->Version Control-->点击Subversion2、在Path to Subversion executable中选择路径：C:\Program Files\TortoiseSVN\bin\svn.exe，然后点击OK就完成了pycharm和SVN的关联，如图一（svn.exe没有的话，
BertPreTrainedModel是Hugging Face Transformers库中的一个基类，它是所有预训练Bert模型的父类。它提供了一些通用的方法和属性，以便在子类中重用和扩展。如果你想要创建一个自定义的Bert模型，可以从BertPreTrainedModel派生一个子类，并实现自己的前向传递逻辑。通过继承BertPreTrainedModel，你可以重用Bert模型的预训练权重
difflib.SequenceMatcher是Python标准库中的一个模块，它用于比较两个序列之间的相似度。它可以用于字符串比较、文件比较等多种场景。matcher.ratio()在使用SequenceMatcher时，需要创建一个SequenceMatcher对象，并将要比较的两个序列传递给它。然后，可以调用ratio()方法来计算两个序列之间的相似度，返回值为0到1之间的浮点数，表示两个序
前述最长公共子序列（Longest Common Subsequence，LCS）是指两个或多个序列中最长的子序列，该子序列不需要在原序列中连续出现，但是需要保持相对顺序一致。举个栗子：假设有两个字符串 "ABCDGH" 和 "AEDFHR"，它们的最长公共子序列为 "ADH"。这是因为 "ADH" 是同时出现在两个字符串中的最长子序列，它的长度为3，而其他的公共子序列（如 "AD", "AH",
TP、FP、FN是评价分类模型性能的常用指标。之前很多次都会遇到这三个值，每次遇到都要重新查资料，看这三个值是怎么计算的，具体是指什么的？今天终于理解透彻了，所以赶紧来记录一下~~~TP（True Positive，真正例）：表示模型正确地将正例预测为正例的数量；FP（False Positive，假正例）：表示模型错误地将负例预测为正例的数量；FN（False Negative，假负例）：表示模
概念：编辑距离，由俄罗斯科学家Vladimir Levenshtein于1965年提出，因此又称为Levenshtein Distance，简称LD，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。可用的编辑操作包括：将某个字符替换为另一个字符插入字符删除字符Levenshtein Distance公式定义：将两个字符串 a, b 的Levenshtein Distance表示为LDa,
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
