Facebook открыл код распределённой системы хранения LogDevice

Facebook пeрeвёл в рaзряд oтрытыx прoдуктoв LogDevice, рaспрeдeлённую систeму xрaнeния пoслeдoвaтeльнo пoступaющиx нaбoрoв дaнныx, тaкиx кaк лoги, дaнныe мониторинга, данные об изменении конфигурации и потоки информации о событиях. Учение ориентирована на надёжное и отказоустойчивое растрата логов, обеспечивает сохранение порядка убыток записей и может масштабироваться для обработки миллионов разных логов в одном кластере хранения с интенсивностью прибыль. Ant. отчисления данных в несколько гигабайт в секунду. Шифр написан на языке С++ и опубликован лещадь лицензией BSD. LogDevice может адаптироваться на различных видов нагрузки. Например, может употребляться для сохранения потоков событий ото особо важных подсистем, гарантируя нераздельность всей поступающей информации и минимальные задержки получи обработку данных, или применяться в целях принятия больших объёмов данных для того контроля тренировки систем машинного обучения. В (видах обеспечения отказоустойчивости все поступающие талантливость реплицируются на несколько узлов. Мотор локального хранения на узлах основан получай RocksDB и оптимизирован как для применения жёстких дисков, неведомо зачем и SSD-накопителей. В хранилище данные поступают в виде непрерывного потока записей. Писание неделима и является минимальным объектом адресации в тайник. Каждая запись снабжена своим уникальным идентификатором последовательности (LSN - Log Sequence Number). Осуществляющее передачу логов дополнение получает информацию о присвоенном LSN после подтверждения успешной ежедневник данных в хранилище. При чтении приложению интересах обработки могут возвращаться сразу малость записей, но адресация производится единственно на основе LSN, т.е. хранилище может вознаграждать N записей начиная с указанного LSN. Хранилище работает в режиме пополнения, каковой допускает только добавление новых данных. Спряжение и удаление не поддерживается. Хранилище рассчитано в неограниченное время хранения записей, однако предусмотрена и возможность чистки устаревших данных. С целью проведения чистки устаревших записей предлагается оперировать урезание лога, при котором удаляются хана старые данные путём отсечения части лога. В (видах управления предлагается API и утилита командной строки ldshell, поддерживающая интерфейс LDQuery (теплая компания query) для формирования запросов данных и оценки состояния кластера близ помощи конструкций в стиле SQL. Источник: http://www.opennet.ru/opennews/art.shtml?num=49264