将 AI 推理速度提高 5-20 倍 Nebullvm

Apache-2.0
Python SHELL
跨平台
2022-04-07
白开水不加糖

Nebullvm 利用多个深度学习(DL)编译器提高 AI 推理能力,只需几行代码就能将 AI 推理的速度提高 5-20 倍.

这个开源库将你的 AI 模型作为输入,并输出一个优化版本,在你的机器上运行速度快 5-20 倍 。Nebullvm 测试多个深度学习编译器,以确定在你的特定硬件上执行你的模型的最佳方式,而不影响你的模型的准确性。

nebullvm 的目标是让任何开发者都能从 DL 编译器中受益,而不必花费大量的时间来理解、安装、测试和调试这项强大的技术。

  • Deep learning model agnostic。nebullvm 支持所有最流行的架构,如 transformers、LSTM、CNN 和 FCN。
  • Hardware agnostic。该库现在可以在大多数 CPU 和 GPU 上工作,并将很快支持 TPU 和其他深度学习专用 ASIC。
  • Framework agnostic。nebullvm 支持最广泛使用的框架(PyTorch、TensorFlow和Hugging Face),并将很快支持更多框架。
  • 安全。一切都在你的机器上本地运行。
  • 易于使用。只需几行代码就可以安装库和优化你的模型。
  • 充分利用最好的深度学习编译器。有大量的 DL 编译器可以优化你的 AI 模型在硬件上的运行方式。开发人员需要花费大量的时间在每个模型部署时安装和测试它们。这个库为你做了这个工作。

加载中

暂无资讯

暂无问答

暂无博客

返回顶部
顶部