Syncfusion Big Data Platform

Syncfusion Big Data Platform — первый и единственный полный дистрибутив Hadoop для операционной системы Windows, который позволяет разработчикам легко управлять большими объемами данных, а также создавать и развертывать программное обеспечение для Windows с помощью привычных инструментов.

Основные возможности

• Эта платформа включает в себя полнофункциональную масштабируемую производственную среду для выполнения заданий Hadoop с максимальным использованием ресурсов кластеров. В ее состав входит корпоративный диспетчер, который с легкостью предоставляет доступ к ресурсам многоузловых Windows-кластеров Hadoop, а также дает пользователям возможность управлять ими и наблюдать за ними.
• Платформа Syncfusion Big Data Platform включает в себя встроенные средства управления несколькими кластерами с помощью браузера. Штатная система мониторинга предоставляет пользователям доступ к общей информации о состоянии кластера, подробным метрикам его узлов и сведениям о заданиях, выполняемых в кластере.
• Syncfusion Big Data Platform обеспечивает комплексную поддержку научного стека языка Python, в том числе интегрированного управления его пакетами.
• Удобный интерфейс платформы позволяет обновлять и добавлять в нее необходимые популярные пакеты. Syncfusion Big Data Platform позволяет отображать большие объемы данных с помощью Spark и использовать богатые возможности визуализации стека iPython, который входит в ее состав.
• Пользователи могут создавать и выполнять задания Oozie и Sqoop, а также с легкостью создавать и развертывать кластеры Syncfusion Hadoop в среде виртуальных машин Microsoft Azure за несколько минут. Диспетчер кластеров платформы Syncfusion Big Data Platform позволяет эффективно управлять ресурсами Microsoft Azure, выключать, перезапускать и удалять виртуальные машины.

Дополнительные возможности

• Развитая поддержка HBase.Платформа Syncfusion Big Data Platform включает в себя интегрированную поддержку горизонтально масштабируемой технологии HBase, которая позволяет хранить и обрабатывать большие объемы данных с высокой скоростью. HBase становится самым популярным хранилищем типа NoSQL и платформа Syncfusion Big Data Platform позволяет с легкостью развертывать его.
• Полностью автоматическая настройка.При создании кластера нет необходимости настраивать его вручную. Платформа Syncfusion включает в себя систему настройки кластеров и управления ими, которая берет на себя все необходимые задачи.
• Невысокие системные требования. Для использования платформы достаточно установить на каждом узле компактного агента, который выполняется на платформе .NET Framework версии 4.5 или выше. Диспетчер кластера полностью координирует процесс установки с этим агентом.
• Автоматическая установка агента с помощью WindowsPowerShell/ActiveDirectory. Несмотря на то, что агента можно устанавливать вручную в небольшие кластеры, платформа Syncfusion включает в себя сценарии, которые полностью автоматизируют установку агентов на большое количество узлов.
• Выполнение заданий Hadoop на любых языках, в том числе C#. Платформа Syncfusion Big Data Platform выполняет задания, написанные на любых языках, в том числе Java, Pig, Hive, Python и Scala. Кроме того, она полностью поддерживает язык C# и все языки платформы .NET.
• Кластер с поддержкой YARN. Платформа Syncfusion Big Data platform поддерживает любые приложения и системы, совместимые YARN, а не только программы MapReduce.
• Доступ к данным Hive непосредственно из кода C#. Приложения на языке C# имеют прямой доступ к распределенной файловой системе Hadoop (Hadoop distributed file system, HDFS) с помощью Hive. Syncfusion предоставляет разработчикам множество примеров на языке C#, демонстрирующих различные варианты доступа.
• Доступ к данным Hive/HBase без использования дополнительных компонентов. Для доступа к данным Hive/HBase не требуются драйвер ODBC и другие расширения — платформа включает в себя все необходимое.
• Взаимодействие с ApacheSpark. Syncfusion Big Data Studio обеспечивает полный доступ к среде Spark с помощью YARN и позволяет максимально быстро обрабатывать большие объемы данных инновационными методами.
• Масштабируемость. На начальном этапе работы с платформой можно включать в кластер 5-10 узлов и увеличивать их количество по необходимости. Hadoop расширяется вместе с вашим бизнесом и может включать в себя тысячи узлов.
• Стандартное оборудование. Платформа позволяет использовать стандартное оборудование, предназначенное для настольных ПК, и переходить на более мощное оборудование по необходимости.
• Эксплуатация кластеров в средах Azure, AWSи других облачных виртуальных машинах. Кластеры Hadoop, настроенные в соответствии с требованиями пользователя, могут работать в виртуальных машинах Azure и AWS. В отличие от ситуации, когда Hadoop выполняется в облачных службах, пользователи могут полностью и непосредственно контролировать кластер.
• Ввод в эксплуатацию в пределах 15 минут. Компания Syncfusion тщательно оптимизировала процедуру ввода своих продуктов в эксплуатацию с момента их скачивания. Кластеры любого масштаба настраиваются полностью автоматически.