ChatGPT的火热持续到了今天，围绕它的爆点新闻和技术解读不断涌现。关于其参数量，有一种普遍的假设认为，ChatGPT的参数量与GPT-3论文中介绍的1750亿参数模型相同。但是，深耕于大语言模型领域工作的人很清楚这不是真的。通过对A100GPU的内存带宽分析，就会发现ChatGPTAPI的实际推理速度要比1750亿Denseequivalent模型的最大理论推理速度快很多。本文将使用反证法来证明并支持上面的论点，只需要使用大学里学到的一些理论知识。另外需要注意，还存在相反的问题，即有人声称ChatGPT只有X亿个参数（X远远低于1750）。但是，这些说法无法得到验证，因为说这些话的人通常是
