Apr 24, 2023, 3:47 AM

@george 目前 MNN 量化不彻底,推理时实际还是f16,所以速度还是慢。
而且 不是很稳定,应该说很不稳定,几条就会奔溃杀死进程。

f56d9679-9ab0-48b2-b0db-a4df772a6b61-5f62bb62699922bce0540fe5d51c870.jpg