Andy Melnikov (nponeccop) wrote,
Andy Melnikov
nponeccop

Мой MPI-проект принимает новые обороты. Кластер разросся, и управлять им стало совершенно невозможно. Говнорешения, сделанные на скорую руку, отслужили своё, и надо переписывать, как лучше. Да, почти всё под винду.

Сейчас у нас есть:

1) Узел для "больших ручных" задач (4 x dual core opteron, 12 TB storage, 16 GB RAM)
2) Узел для "малых ручных" задач (single core athlon, исторически первый "быстрый" узел, обгонявший целый кластер 10 x PII 450)
3) Главный узел для всех задач (quad core xeon, 8 GB ram, 2 TB storage).
4) 12 рабочих узлов для "реалтаймовых" задач (quad core xeon, 4 GB ram, 500 GB storage)
5) два вспомогательных linux-узла на rackspacecloud, используемых при всех задачах.

"Большие" задачи - 1 - 150 GB, могут быть терабайты.
"Малые" задачи - 100 B - 1 GB

Исторически самый большой когда-либо глобально анализируемый датасет - 300 ГБ. Был ограничен размером прошлого хранилища на "узле для больших ручных задач" в 1.5 тб. Получалось где-то 400 гб выходных данных, плюс столько же временных файлов внешней сортировки. Остальное занимали архивные данные, которые просто некуда было положить. Сейчас готовлюсь к терабайтам морально.

Ручные задачи - данные кладутся в папку, жмется кнопка обработки, результаты помещаются в другую папку.

Реалтаймовые задачи - всё запущено 24/7. Поллятся (S)FTP-сервера, данные выгребаются в папку, выполняется автоматическая обработка и аплоад результатов. "Большие реалтаймовые" задачи are not implemented yet, так что все реалтайм-задачи - "малые".

Обработка выглядит так:

1) Первый фильтрационный проход - из датасета извлекаются данные для глобального анализа
2) Вспомогательный этап - задействованы локальный, центральный и вспомогательные узлы. На основании глобального анализа текущего датасета с использованием информации, присланной ранее другими узлами, обновляются правила фильтрации
3) Второй фильтрационный проход - на основании обновленных правил выполняется фильтрация
4) Дедупликация - выполняется устранение дупликатов и другой глобальный анализ
Subscribe

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments