Andy Melnikov (nponeccop) wrote,
Andy Melnikov
nponeccop

Category:

Cнова о кластере

Основная часть нагрузки - это DAWG lookups и ахо-карасики, с большими словарями (до 400 мб)

Кое-где можно генерировать полноценные DFA. Разумеется, теоретически можно всё загнать в один большой DFA, грамматика у меня регулярного класса. И я даже кое-где делаю это посредством pcre. Но исторически там ничего не было, кроме нескольких поисков в std::map<std::string>, поэтому получился адхок-парсер наверху с указанными поисками в отдельных местах.
Tags: mpi
Subscribe

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 3 comments