Технологии Big Data и их применение на современном промышленном предприятии
5
данных, интеллектуальные подходы в виде генетических алгоритмов,
нейросетей и других ответвлений искусственного интеллекта.
Главные задачи платформы Hadoop — хранение, обработка и
управление данными.
Основными составляющими платформы Hadoop являются [6, 7]:
отказоустойчивая распределенная файловая система Hadoop
Distributed File System (HDFS), при помощи которой осуществляется
хранение;
программный интерфейс Map Reduce, который является осно-
вой для написания приложений, обрабатывающих большие объемы
структурированных и неструктурированных данных параллельно на
кластере, состоящем из тысяч машин;
Apache Hadoop YARN, выполняющий функцию управления
данными.
Впервые о технологии Hadoop заговорили в 2007 г., и с каждым
годом интерес к ней все больше возрастает. Это отражает индекс ци-
тируемости Google (рис. 5).
Платформа Hadoop позволяет сократить время на обработку и под-
готовку данных, расширяет возможности по анализу, позволяет опери-
ровать новой информацией и неструктурированными данными.
Рис. 4.
Зависимость ожидаемого эффекта внедрения Big Data от сферы дея-
тельности и направления политики компании
