Как разбор больших данных помогает поддерживать безопасность бизнеса


В последнее время тема использования новых методов анализа на базе разбора так называемых больших данных (традиционно термин big data оставляют без перевода). Это позволяет решить массу проблем, которые в прошлом доставляли существенные трудности или неудобства. Прежде всего, связанные с обработкой больших массивов неструктурируемых или плохо структурируемых данных, а также поиском не вполне очевидных зависимостей.

Надо сказать, что только этим преимущества, которые дает разбор больших данных, не исчерпывается. Так, например, наиболее популярный движок hadoop является СПО, а значит, вообще говоря, его лицензирование не стоит ничего. Хорошо известные и популярные СУБД, как правило, являются коммерческими продуктами, причем от иностранных компаний, которые вынуждены следовать нормативным актам своих стран. Не надо долго распространяться, что в нынешних условиях последнее сопряжено с довольно серьезным риском. Да и стоимость лицензирования высока.

При этом комплексы, ориентированные на работу с обработки большими данными позволяют добиться более высокой производительности, не просто в разы, а на порядки, часто при меньших ресурсах. Известно, что сама концепция обработки больших данных возникла вследствие того, что реляционные СУБД, при достижении некоей критичной массы данных, резко замедляли работу. Особенно при обработке сложных запросов. Так что в середине 2000-ных начали говорить о «конце безразмерности». Стало очевидно, что объемы данных достигли того уровня, что обработка их традиционными методами уже в обозримом будущем может стать невозможной.

Такая ситуация связана с целым комплексом причин. Так, сама концепция реляционной СУБД не претерпела практически никаких изменений с 70-х годов прошлого века. Многое можно объяснить и тем, что быстродействие накопителей с того времени выросло не так существенно, как вычислительная мощность и скорость обмена данными между вычислительной подсистемой и памятью. Появление более быстродействующих накопителей лишь отсрочило этот процесс. В этих условиях использование технологий массово-параллельной обработки данных стало очевидным выходом. В том числе и для решения задач, связанных с обеспечением информационной безопасности.

Первые значимые результаты появились в 2013 году. А в текущем году данный процесс ускорился. Совершенствовались как уже существовавшие продукты, так и появлялись новые. Подробнее об этих тенденциях более подробно будет сказано ниже.

Полный текст статьи читайте на сайте журнала Intelligent Enterprise/RE 

Клиенты

Подпишитесь
на дайджест «МФИ Софт»

Получите pdf с рекомендациями
по формированию политик безопасности.