HDInsight

Обновлено: Январь 2015 г.

Azure HDInsight — это служба, которая развертывает и провизионирует кластеры Apache™ Hadoop™ в облаке, обеспечивая программную среду для управления, анализа и создания отчетов о больших данных. В результате программная среда HDFS/MapReduce и связанные проекты, в том числе Pig, Hive и Sqoop, становятся более простыми, масштабируемыми и эффективными. Пакет HDInsight SDK также включает библиотеку Microsoft Avro Library для сериализации данных.

Главная концептуальная документация, в которой есть сведения о начале работы со службой Azure HDInsight Service, доступна по адресу Документация по Azure HDInsight.

Служба HDInsight Service использует Azure PowerShell для настройки, запуска и обработки заданий Hadoop. Документация по командлетам Azure PowerShell, используемым для управления HDInsight, доступна в разделе Командлеты Azure HDInsight.

Служба HDInsight имеет пакет .NET SDK, который предоставляет классы, связанные с созданием, настройкой, отправкой и отслеживанием заданий Hadoop, которыми управляет служба Azure HDInsight. Кроме того, пакет содержит классы, предназначенные для управления подписками Azure с помощью службы HDInsight и настройки кластеров, учетных записей хранилища, программ MapReduce, а также компонентов Hive и Oozie, связанных с кластерами HDInsight под управлением подписки Azure.

Пакет HDInsight .NET SDK также включает библиотеку Microsoft Avro Library, которая реализует систему сериализации данных Avro, включающую полнофункциональные структуры данных, определенные в JSON, и контейнер объектов для хранения постоянных данных. Формат данных Avro поддерживается многими языками: сейчас это C, C++, C#, Java, PHP, Python и Ruby. Инструкции по использованию библиотеки Microsoft Avro для сериализации объектов и других структур данных в потоки см. в разделе Сериализация данных с помощью библиотеки Microsoft Avro.

Документация по .NET SDK, включая библиотеку Avro, доступна по адресу HDInsight SDK Reference Documentation.

См. также

Показ: