vLLM از Baidu Kunlun پشتیبانی میکند
موتور متنباز vLLM که برای اجرای مدلهای زبانی بزرگ استفاده میشود، حالا چیپهای کونلون بیدو را هم پشتیبانی میکند. این پشتیبانی راه را برای اجرای کارآمد مدلها روی سختافزار چینی باز میکند. توسعهدهندهها حالا میتوانند روی جایگزینهای انویدیا حساب باز کنند.
چرا مهمه؟
تغییر اصلی این است که vLLM به عنوان یکی از پرکاربردترین ابزارهای اجرای مدلهای زبانی، دامنه سختافزاری خود را گسترش داده است. تا پیش از این، بیشتر کاربران برای استنتاج به GPUهای انویدیا وابسته بودند. حالا سازمانها و توسعهدهندههایی که از چیپهای کونلون استفاده میکنند، میتوانند بدون دردسر از vLLM بهره ببرند. برای خوانندهای که به کاهش هزینهها یا استقلال سختافزاری فکر میکند، این خبر یعنی انتخابهای بیشتری در راه است.
به درد کی میخوره؟
• توسعهدهندگان و مهندسان هوش مصنوعی • تیمهای استقرار مدلهای زبانی • مدیران زیرساخت ابری • متخصصان بهینهسازی عملکرد استنتاج
تو عمل چی کار کنیم؟
با این خبر میتوانید vLLM را روی چیپهای کونلون آزمایش کنید و عملکرد را با GPUهای انویدیا مقایسه نمایید. اگر در محیطهایی کار میکنید که استفاده از سختافزار چینی الزامی است، این پشتیبانی یک انتخاب عملی در اختیارتان میگذارد. همچنین میتواند هزینههای اجرایی را در بلندمدت کاهش دهد.
نظر Blue IT News
حمایت vLLM از کونلون، نشانهای از بلوغ اکوسیستم سختافزاری جایگزین است. پیشبینی میکنیم در ماههای آینده بنچمارکهای بیشتری ظاهر شوند که جایگاه واقعی این چیپها را مشخص میکنند.