简介 与上一篇文章不同，本文主要目的是介绍模型的建模方法，以及搜索吞吐最大配置的方法。 TL;DR: H800、H20、A100、L20 的数据附在文末（不构成买卡建议）。
吞吐计算方法 本文采用的估算方法： 首先假设平均上下文长度为 5K （5K 上下文是参考 shen han 的文章：https://zhuanlan.zhihu.com/p/29841050824）， 然后用 DRAM 容量作为约束，计算出最大的 batch size per card。 然后对单个 token 的延迟进行估算，得到 token per second。 最后计算单卡的吞吐 = batch size per card * token per second。
