Компания Facebook опубликовала сведения о новом программном средстве для работы с большими объёмами данных, разработанном компанией. Фреймворк ThreatData позволяет собирать в общем хранилище информацию из множества различных источников, а затем анализировать её, идентифицировать киберугрозы и реагировать на них в реальном времени.

Как объясняет в блоге Facebook специалист по кибербезопасности Марк Хэммел, ThreatData состоит из трёх высокоуровневых компонентов. Один отвечает за взаимодействие с различными источниками данных, другой — за хранение извлечённой информации. Третий компонент обеспечивает быструю реакцию на угрозы.

Для хранения информации используются два программных средства — Hive и Scuba. Hive представляет собой подобие реляционной базы данных, построенное на базе Hadoop. Он позволяет извлекать информацию при помощи запросов на языке HiveQL, напоминающем SQL. В свою очередь Scuba — это распределённое хранилище с архитектурой in-memory (данные в оперативной памяти).

И Hive, и Scuba разработаны в Facebook, но оптимизированы для различных применений. Hive лучше подходит для тяжеловесных задач, тогда как достоинство Scuba — скорость. В ThreatData Hive заведует долговременными архивами. Зона ответственности Scuba — анализ текущей ситуации. Например, к Hive обращаются, когда нужно проверить, не встречалась ли найденная киберугроза в прошлом. Scuba отвечает на вопросы другого типа: какие новые виды вредоносного софта были замечены именно сегодня, где замечены новые фишинговые сайты и тому подобное.

Хэммел описывает несколько случаев, когда применение ThreatData помогало победить вирусы или решить другие проблемы, связанные с компьютерной безопасностью:

«Летом 2013 года мы заметили увеличение количества образцов вредоносного программного обеспечения, антивирусная сигнатура которых содержала строку “J2ME”. Дальнейшее расследование выявило кампанию по рассылке спама со ссылками на троян для простых мобильных телефонов через поддельные аккаунты в Facebook. Программа относилась к семейству Trojan:J2ME/Boxer и была способна похищать адресную книгу жертвы, распространять дорогостоящий СМС-спам и делать фотографии встроенной камерой телефона. Когда мы совершили это открытие, мы смогли проанализировать вредоносную программу и остановить рассылку спама, а затем вместе с нашими партнёрами нарушить инфраструктуру этого ботнета».

Другой пример использования ThreatData — анализ источников киберугроз. Карта, приведённая ниже, показывает результат обращения к системе: цвет страны зависит от количества источников киберугроз и числа пострадавших в течение месяца. Интересно, что Россия, некогда считавшаяся одним из мировых центров киберпреступности, судя по карте, непоправимо отстала в этой области от Китая.

1982048_1438166786423468_1806775828_n

Пока неизвестно, планируют ли в Facebook опубликовать исходники ThreatData, как это было сделано с многими другими наработками компании в области «больших данных». Надежда есть, иначе зачем рассказывать о фреймворке публике?