本文对应代码：https://github.com/tongxiao2002/vllm-for-LMMs 由于本文代码相比上一篇文章较为复杂，所以就不在文中贴出代码块，改为解释过程中穿插代码的 URL，所有代码 URL 都会精确到行。 前言 上一篇文章讲了怎么将 LLaVAR 这种： 模型结构在 vllm 库中已经存在的模型； 但公开的 checkpoints 和 conf...

本文对应代码：https://github.com/tongxiao2002/vllm-for-LMMs 背景 最近因为科研需求，需要测试一些多模态大语言模型（LMM）在某些任务上的性能。由于是“大”语言模型，免不了需要多卡推理（其实后来发现也不需要，13B 模型完全可以正常在一张 A800-80G 卡上跑…），因此就尝试了好几个分布式训练 or 推理框架，包括 accelerate，d...

Disclaimer: 本人既不懂唯物主义也不懂唯心主义，取这个名字完全是因为自己感觉想的东西和这两种主义有点沾边，而且想不出来别的更好的名字。 这篇杂谈本不应该出现在这个以技术为核心和目的的blog中，但是随着研究生生活中的体验与感悟逐渐变多、距离真正的工作越来越近，自己心中的焦虑与对“所谓的哲学”想的也越来越多，也越来越有种不吐不快的感觉。仔细一想这些自己心中深处的想法似乎也没...

T5 Decode training 流程详解 Intro-Introduction （好像鸽了好久没写 blog 了……） Introduction 最近因为科研需要，得对 T5 模型的 decode 过程十分了解（其实本质上几乎就是所有基于 Transformer 的模型的 decode 过程），基于对自己金鱼记忆的充分认识，决定写下来一些关键的步骤。 基于 Transform...

本文主要受益于《鸟哥的 Linux 私房菜》。 shell 中有一个很有意思的变量 PS1，用于规定提示字符的形式，详见 Bash PS1 customization examples。 shell 变量 变量定义 bash 中变量分为两种：环境变量与自定义变量。 定义自定义变量： $ myname=XT 这样就定义了一个自定义变量 XT，注意 = 两边不能有空格！ 若要定...

本文主要受益于GUN Introduction awk 一般的执行方式为： awk [program] [filenames] 表示对文件 filenames （可以有多个文件）执行 program 所指示的指令（也可以有多个指令），其中 program 即指令又可以分为 pattern 和 action，即模式与动作，这些后面再谈。 若指令较长，也可以将指令保存在一个文件中，然...

本文主要受益于StackOverflow. 起因 写这篇文章的主要起因是曾经用 python 写深度学习的时候将文件组织成了类似如下形式： src |-- trainer/ | |-- __init__.py | |-- train.py |-- utils/ | |-- __init__.py | |-- utils.py 在 train.py 中 import ...