Andy Melnikov (nponeccop) wrote,
Andy Melnikov
nponeccop

Category:

IO Benchmark 1

Придумал тут хороший бенчмарк и даже с непосредственными практическими приложениями.

А давайте напишем свой tar с блекджеком и шлюхами.

Прецеденты есть - например

- https://github.com/replicon/fast-archiver - It reads a number of files concurrently and then serializes the output; It begins archiving files before it has completed reading the directory entries that it is archiving

- https://askubuntu.com/a/31709 - I ended up writing a little python script to calculate the correlation between directory names and inodes, inodes and data blocks, and directory names to data blocks

Интересно кстати что вопрос IO-очередей, NCQ и паралеллизма на стороне контроллера при работе с мелкими файлами рассматривается только с точки зрения администратора. Моего гугл-фу не хватило чтобы найти обсуждения этих проблем разработчиками приложений.

Короче, надо пробовать разные штуки для ускорения тара и смотреть, работают они или нет. По сути 2 бенча - затаривание и растаривание.
Tags: io optimization, programming
Subscribe

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 3 comments