Tuesday, January 19, 2010

MapReduce и базы данных

Что называется, когда дым рассеялся: "Мы недавно провели сравнительные тесты для популярной системы MapReduce и двух параллельных СУБД. Результаты показывают, что как только данные загружены, СУБД работает значительно быстрее, чем MapReduce. Но загрузка данных занимает больше времени ...". Отсюда.

То есть, если данные уже загружены (читай - не обновляются часто), то БД - лучше. А где большие массивы данных обновляются с большой частотой, кроме как в поиске?

2 comments:

Антон Южанинов said...

Естт как минимум еще одна облать где полезен MR - веб-аналитика. Где нужно обрабатывать быстро растущие aceess логи.

Coldbeans software said...

да, но если статистика нужна в реальном времени. А так - можно и подождать день, особенно если эти данные потом много раз будут использоваться/сравниваться etc.