بازگشت فرمتهای فایل: Parquet، Lance، Vortex، Nimble، BtrBlocks و فیزیک نوین ذخیرهسازی ستونی
حدود یک دههست که فرمت Parquet فرمت استاندارد ذخیرهسازی ستونی بود و خبر چندانی از تغییر نبود. اما طی سه سال اخیر، موج تحقیقاتی و استارتاپی جدیدی شکل گرفته و فرمتهایی مثل Lance، Vortex، Nimble و BtrBlocks معرفی شدن. این فرمتها با هدف سرعت بیشتر، پشتیبانی بهتر از دادههای AI و کارایی بالاتر در حجمهای عظیم داده طراحی شدن.
چرا مهمه؟
لایه فرمت فایل داده سالها بود که تقریباً بدون تغییر مونده بود. حالا چندین فرمت جدید با رویکردهای متفاوت معرفی شدن که هرکدوم مشکل خاصی رو هدف گرفتن. کسایی که با دادههای حجیم کار میکنن، مخصوصاً در حوزه AI، تحت تأثیر مستقیم این تغییرات قرار میگیرن، چون انتخاب فرمت فایل روی سرعت پردازش، هزینه ذخیرهسازی و کارایی کل سیستم تأثیر مستقیم داره.
به درد کی میخوره؟
مهندسان داده و معماران دیتا توسعهدهندههای زیرساخت AI تیمهای دادهکاوی و تحلیل داده مدیران فنی شرکتهایی که با حجم بالای داده سروکار دارن
تو عمل چی کار کنیم؟
اگه در حال حاضر از Parquet استفاده میکنی، شاید وقتش رسیده که فرمتهای جدیدتر رو امتحان کنی، مخصوصاً اگه دادههات حجم بالایی داره یا مربوط به مدلهای هوش مصنوعی هست. فرمتهایی مثل Lance و Vortex میتونن سرعت خواندن داده رو بهطور محسوسی بالا ببرن و هزینههای زیرساختی رو کم کنن. مقایسه عملی این فرمتها در پروژه واقعی، اولین قدمیه که میشه برداشت.
نظر Blue IT News
بعد از سالها ثبات در لایه فرمت داده، حالا شاهد رقابت جدی بین فرمتهای نسل جدید هستیم. این دوره جدید احتمالاً فرمت Parquet رو از جایگاه بلامنازعش پایین میکشه، اما انتخاب فرمت مناسب به نوع workload و زیرساخت هر تیم بستگی داره.