Category Archives: Be kategorijos

Archyvavimas Big Data sprendimuose

Didžiųjų duomenų (angl. Big Data) terminas ne veltui pradedami žodžių „didieji“. Visi tokio pobūdžio sprendimai užima didelius duomenų kiekius ir net vietos kietajame diske netaupančioms organizacijoms tenka pasvarstyti, kaip šią vieta optimuozuoti. Tam dažnai naudojami archyvavimo mechamizmai. Egzistuoja daugybė pasiūlymų, kaip realizuoti archyvavimą didiesiems duomenims, bet efektyviausi įvardinami keli:

  • snappy
  • LZO
  • LZF
  • gzip

Šališkus testus galite detaliau pasinagrinėti: http://blog.erdemagaoglu.com/post/4605524309/lzo-vs-snappy-vs-lzf-vs-zlib-a-comparison-of

Prieš atliekant archyvavimą, būtina įsitikinti kuris iš šių algoritmų labiau tinkamas realizuoti ne tik duomenų įrašymui, bet ir nuskaitymui. Dažnu atveju tai priklauso nuo pasirinktos programinės įrangos.