相关文章
BaiChuan13B-GPTQ量化详解
知识要点: 1、按照网上搜索的一些代码,如使用auto_gptq原生库进行训练后量化,可能会正常量化,但是在线推理时会出现如找不到bin文件或者tf文件,即模型权重文件,所以和网上大部分代码不同的地方在于…
建站知识
2024/11/22 11:15:44
Eigen笔记2:矩阵拼接
直接贴代码吧,使用的MatrixXd 和<<运算符:
int main(int argc, char *argv[])
{Eigen::MatrixXd B(2, 2);B << 1, 2,3, 4;Eigen::MatrixXd C(2, 2);C << 5, 6,7, 8;Eigen::MatrixXd D(2, 2);D << 9, 10,11, 12;Eigen::MatrixXd…
建站知识
2024/11/19 17:54:45
DDR/HBM寻址与地址交织
在理解HBM的时候,我们把HBM的一层die就看作单颗DDR chip(单die),HBM的stack(整个HBM多die封装)的每一层die就看成是一个DDR颗粒,多个DDR颗粒可以组成bank group,rank,DIMM,channel。对于HBM来说没有rank DI…
建站知识
2024/11/19 17:54:40
pytorch 多进程数据加载 - 序列化数据/serialize_data
背景介绍
OpenMMLab项目中构建数据集的基础类BaseDataset类的时候,对多进程数据加载有一个优化,叫做 ‘‘’序列化’。
先看代码部分 class BaseDataset(Dataset):r"""BaseDataset for open source projects in OpenMMLab.The annotati…
建站知识
2024/11/19 17:54:37
node.js 什么是模板引擎?(具体介绍underscore)
前言:在 Web 开发中,数据的呈现通常是基于 HTML 和 CSS 的,而数据的变化又是非常频繁的,需要根据数据动态生成 HTML 标记。手动拼接 HTML 标记显然是一种非常低效的方式,不仅容易出错,而且难以维护。使用&a…
建站知识
2024/11/19 17:54:33