本文介绍了国产的大模型推理工具KTransformers在本地成功运行的一个案例，在容器化部署的基础上，结合Open WebUI做了一个用户友好的大模型服务。 技术背景在上一篇文章中，我们介绍过KTransformers大模型高性能加载工具的安装和使用方法。但是当时因为是在一个比较老旧的硬件上面进行测试，其实并没有真正的运行起来。现在补一个在KTransfo
以学习CUDA为目的，接上一篇关于Cython与CUDA架构下的Gather算子实现，这里我们加一个Batch的维度，做一个BatchGather的简单实现。
本文收集了一些目前为止仅有DeepSeek满血版可以正确答复的“简单问题”，以供测试和验证自己所使用的模型是满血版De
本文介绍了一种将Hugging Face上bin格式的大模型文件，在线转换为safetensors文件格式，然后下载到本地的方法。
本文主要介绍了在CUDA编程的实践中，增加一个异常捕获的宏模块，以保障CUDA项目结果的准确性。主要代码内容参
这篇文章主要介绍了一个CUDA入门的技术：使用CUDA头文件写一个专门用于CUDA函数运行时长统计
本文使用了Cython作为封装函数，封装一个CUDA C实现的Gather算子，然后通过Python去调用，用这种方法实现一个比较Pythonic的CUDA Gather函数的实现和调用。
对于本地模型的加载来说，除了使用KTransformer等工具进行指令集层面的优化之外，还可以调整模
为了方便本地大模型部署和迁移，本文提供了一个关于Ollama的模型本地迁移的方法。
这篇文章主要介绍了llama.cpp这一大模型工具的使用。因为已经使用Ollama来run大模型，因此仅介绍了llama.cpp在H
本文介绍了两种智能编程的方案，一种是使用Cursor结合远程API形式的智能化自动编程，另一种方案是VSCode插件结合本
本文主要介绍的是国产高性能大模型加载工具KTransformer的安装方法。之所以是使用方法，是因为该工具对本地的硬件条件还是有一定
这篇文章主要介绍了通过使用PageAssist，来使得本地部署的DeepSeek模型可以联网搜索的方案。 技术背景在前面的几篇博客中，我们分别介绍过在Ubuntu上部署DeepSeek、在Windows上部署DeepSeek、使用AnythingLLM构建本地知识库的方法，其中还包含了ChatBox的基本安装和使用。这里我们要介绍的是PageAssist，一
大模型之大，可以训练我们所有人日常生活学习工作可能使用到的所有知识。但是完整的大模型，要实现一个本地
本文介绍了通过Ollama在Ubuntu Linux平台上部署DeepSeek本地大模型的方法，并且可以使用ChatBox调用本地Ollam
本文介绍了一个可以相比之下更快速的在本地部署DeepSeek的方法，除了在上一篇博客中介绍的从Github或者Github加速网
接上一篇介绍的基本Markdown通过pandoc编译转为Beamer风格文档的文章，本文主要介绍一些Markdown转Beamer其中的
基于CudaSPONGE高性能分子动力学模拟采样工具，和PySAGES高性能增强采样软件
接前一篇关于PySAGES结合CudaSPONGE使用方法的文章，本文主要还是使用了一样的测试案例。仅通过不同的测试步长，来定
通过使用pandoc，使得我们可以直接将普通的Markdown文件编译成一个Latex Beamer PDF格式的演示
本文探索并梳理了一下CUDA SPONGE高性能分子模拟采样软件，和PySAGES高性能增强采样软件，这两者强强联合的MD模
接上一篇文章介绍的矩阵特征分解，本文介绍了矩阵特征分解在主成分分析（PCA）算法中的应用。对于PCA算法，最直观的理解就是，在高维数据中找到一个低维的空间，使得所有的数据点投影到该低维空间之后尽可能的分离。
本文介绍了一下使用Numpy计算矩阵的特征值求解和特征值分解问题。Numpy的eig特征求解函数可以直接输出给定矩阵
本文主要介绍了增强采样外接软件PySAGES的基本安装和使用方法，重点是安装过程中没有写清楚的一些环境依赖和可能出现的问题介绍，以及相应的解决方案。并简单的梳理了一下PySAGES软件的工作流机制，其能够做到Zero Copy，并使得Enhanced Sampling不再成为很多模拟的Bottleneck，这是一个相当出色的结果。 技术背景PySAGES是一
本文介绍了高性能GPU分子动力学模拟软件CudaSPONGE的Python API接口，通过官方开发的prips插件，使得我们可以在Python框架下很方便的开
本文仅介绍一个可以在Jax的Jit即时编译模式下，也能够正常通过print打印函数来输出Jax Array内容的方法。
本文介绍了在Ubuntu-20.04系统下安装最新的Mind
接上一篇对于MindSpore-2.4-gpu版本的安装介绍，本文主要介绍一些MindSpore-2.4版本中的新特性，例如使用hal对设备和流进行管理，进而支持Stream流计算。另外还有类似于Jax中的fori_loop方法，MindSpore最新版本中也支持了ForiLoop循环体，使得循环的执行更加高效，也是端到端自动微分的强大利器之一。
本文总结了一个在conda环境下使用git pull出现报错：symbol lookup error: /lib/x86_64-linux-gnu/libp11-kit.so
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
