对单个文本进行文本分类：
| length/gpu |
bert |
albert |
textcnn |
| 10 |
11.9ms |
5.5ms |
2.17ms |
| 30 |
12.1ms |
5.51ms |
2.39ms |
| 100 |
12.8ms |
5.67ms |
3.2ms |
| 300 |
16.9ms |
6.35ms |
5.24ms |
| 919(bert 512) |
27ms |
8.13ms |
11.4ms |
| length/cpu |
bert |
albert |
textcnn |
| 10 |
33.3ms |
15ms |
1.07ms |
| 30 |
52.7ms |
15.6ms |
1.67ms |
| 100 |
79.1ms |
17.6ms |
3.16ms |
| 300 |
183ms |
35.6ms |
6.4ms |
| 919(bert 512) |
305ms |
67.6ms |
14.8ms |
有一种情况：线上一台服务器，无gpu，既要执行模型预测，又要有其他任务，这是一种极端贫穷状态。那么模型不能一直占着内存，每次调用的时候加载模型。
- bert 几乎无法执行
- albert 2.74s, 5.2s, 7.55s, 10.6s, 13.5s
- textcnn 考虑到每次要加载词向量，分词器加载自定义词等因素，不具有可操作性
Reference
打赏
微信
|
支付宝
|
| 万分感谢 |
|