加速替代CUDA！摩尔线程开源vLLM
我要评论11月5日消息，加速近日，替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。
摩尔线程表示，加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台，线程构建完善好用的开源MUSA应用生态。
vLLM是加速一个高效且易用的大模型推理和服务框架，支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等，替代可显著提高大语言模型（LLM）的线程推理性能。
目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。
值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。
同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
摩尔线程vLLM-MUSA开源地址：
https://github.com/MooreThreads/vLLM_musa
相关文章
[流言板]终结连败？普尔反击上篮已砍下37分，奇才领先13分打停掘金
[流言板]终结连败？普尔反击上篮已砍下37分，奇才领先13分打停掘金由篮球资讯发表在篮球资讯 50212月08日讯 今日NBA常规赛掘金对阵奇才的比赛正在进行中。比赛第四节，普尔反击上篮已砍下37分，2024-12-25
12月25日消息，备受瞩目的2024年国内十大科技新闻日前正式公布。此次评选由科技日报社主办，并汇聚了部分两院院士与媒体负责人的智慧与眼光。在众多科技突破中，“首个国产移动操作系统发布&r2024-12-25
中新网12月24日电 据美国广播公司(ABC)报道，美国联邦航空管理局表示，当地时间24日早些时候，因“技术问题”该机构已请求停飞其所有航班。据报道，美国联邦航空管理局在社交媒体上发文称：“我们目前所2024-12-25
12月25日讯近日森林狼球星爱德华兹接受了名记Spears专访。谈到明天对阵独行侠将是自己生涯首次在圣诞大战中亮相，爱德华兹表示：“这要归功于球队，因为他们找到了合适的球员，让我们能够有机会参加圣诞大2024-12-25
北京一居民家电动车起火1死4伤 锂电池起火所致：官方重申室内充电
12月7日消息，电动自行车或电池不“进楼入户”这件事屡次被提醒，但有些人依然不能遵守，结果就是各种杯具出现。今天凌晨4时许，北京一居民家中发生火灾，致1死4伤。初步调查认定，火2024-12-25
《怪物猎人：荒野》将举行售前社区更新直播 介绍游戏改进和调整细节
卡普空宣布将为《怪物猎人：荒野》举行发售前社区更新直播，预计北京时间12月19日晚上21:44开始，将由游戏总监德田优也介绍游戏目前正在进行的改进和调整，直播采用预录制的形式进行，可在YouTube上2024-12-25
最新评论