响应速度和并发能力互相牵制，容量规划做不好，要么资源闲置，要么高峰期卡住。本文说明两者的关系，以及几类典型业务形态对应的规划起点。
本文包含
- 响应速度受什么影响
- 并发上来之后发生了什么
- 容量规划的估算步骤
- 按业务形态给出的规划起点
- 上线后要盯住的指标
响应速度受什么影响
用户感受到的等待时间由几部分组成：请求排队、模型计算、结果返回。多数情况下排队占的比重最大，但优化时容易被忽略，精力都花在了计算环节上。
输入内容的长短对响应速度影响明显。同一个服务，处理短问句和处理长文档的耗时可以差出一个量级，做规划时要按实际业务的内容分布来估，而不是取平均值。
并发压上来之后，响应时间往往不是平缓上升而是到某个点突然恶化。这个拐点的位置和资源配置、请求排队方式直接相关，提前测出来就能把容量留在安全区间。我们把容量估算拆成可执行的几个步骤，并给出在线问答、批量处理、混合流量三类业务各自的规划起点，……
以下内容为付费部分。
