Выполнение заданий Apache Sqoop с помощью пакета SDK для .NET для Apache Hadoop в HDInsight

Узнайте, как использовать пакет SDK для .NET Для Azure HDInsight для запуска заданий Apache Sqoop в HDInsight для импорта и экспорта между кластером HDInsight и базой данных SQL Azure или базой данных SQL Server.

Предпосылки

Использование Sqoop в кластерах HDInsight с пакетом SDK для .NET

SDK HDInsight для .NET предоставляет клиентские библиотеки .NET, чтобы упростить работу с кластерами HDInsight из .NET. В этом разделе описано, как создать консольное приложение C# для экспорта hivesampletable в таблицу базы данных SQL Azure, созданную из предварительных требований.

Настройка

  1. Запустите Visual Studio и создайте консольное приложение C#.

  2. Перейдите к Инструменты>Диспетчер пакетов NuGet>Консоль диспетчера пакетов и выполните следующую команду:

    Install-Package Microsoft.Azure.Management.HDInsight.Job

Экспорт Sqoop

От Hive до SQL Server. В этом примере данные из таблицы Hive hivesampletable экспортируются в таблицу mobiledata в базе данных SQL.

  1. Используйте следующий код в файле Program.cs. Измените код, чтобы задать значения для ExistingClusterName, и ExistingClusterPassword.

    using Microsoft.Azure.Management.HDInsight.Job;
using Microsoft.Azure.Management.HDInsight.Job.Models;
using Hyak.Common;

namespace SubmitHDInsightJobDotNet
{
    class Program
    {
        private static HDInsightJobManagementClient _hdiJobManagementClient;

        private const string ExistingClusterName = "<Your HDInsight Cluster Name>";
        private const string ExistingClusterPassword = "<Cluster User Password>";
        private const string ExistingClusterUri = ExistingClusterName + ".azurehdinsight.net";
        private const string ExistingClusterUsername = "admin";

        static void Main(string[] args)
        {
            System.Console.WriteLine("The application is running ...");

            var clusterCredentials = new BasicAuthenticationCloudCredentials { Username = ExistingClusterUsername, Password = ExistingClusterPassword };
            _hdiJobManagementClient = new HDInsightJobManagementClient(ExistingClusterUri, clusterCredentials);

            SubmitSqoopJob();

            System.Console.WriteLine("Press ENTER to continue ...");
            System.Console.ReadLine();
        }

        private static void SubmitSqoopJob()
        {
            var sqlDatabaseServerName = ExistingClusterName + "dbserver";
            var sqlDatabaseLogin = "sqluser";
            var sqlDatabaseLoginPassword = ExistingClusterPassword;
            var sqlDatabaseDatabaseName = ExistingClusterName + "db";

            // Connection string for using Azure SQL Database; Comment if using SQL Server
            var connectionString = "jdbc:sqlserver://" + sqlDatabaseServerName + ".database.windows.net;user=" + sqlDatabaseLogin + "@" + sqlDatabaseServerName + ";password=" + sqlDatabaseLoginPassword + ";database=" + sqlDatabaseDatabaseName;

            // Connection string for using SQL Server; Uncomment if using SQL Server
            // var connectionString = "jdbc:sqlserver://" + sqlDatabaseServerName + ";user=" + sqlDatabaseLogin + ";password=" + sqlDatabaseLoginPassword + ";database=" + sqlDatabaseDatabaseName;

            //sqoop start
            var tableName = "mobiledata";

            var parameters = new SqoopJobSubmissionParameters
            {
                 Command = "export --connect " + connectionString + " --table " + tableName + " --hcatalog-table hivesampletable"
            };
            //sqoop end

            System.Console.WriteLine("Submitting the Sqoop job to the cluster...");
            var response = _hdiJobManagementClient.JobManagement.SubmitSqoopJob(parameters);
            System.Console.WriteLine("Validating that the response is as expected...");
            System.Console.WriteLine("Response status code is " + response.StatusCode);
            System.Console.WriteLine("Validating the response object...");
            System.Console.WriteLine("JobId is " + response.JobSubmissionJsonResponse.Id);
        }
    }
}

  2. Чтобы запустить программу, выберите клавишу F5 .

Импорт Sqoop

Из SQL Server в службу хранилища Azure. Этот пример зависит от выполненного выше экспорта. В этом примере данные из таблицы mobiledata базы данных SQL импортируются в каталог wasb:///tutorials/usesqoop/importeddata в учетной записи облачного хранилища кластера по умолчанию.

  1. Замените приведенный выше код в блоке //sqoop start //sqoop end следующим кодом:

    var tableName = "mobiledata";
var exportDir = "/tutorials/usesqoop/importeddata";

var parameters = new SqoopJobSubmissionParameters
{
    Command = "import --connect " + connectionString + " --table " + tableName + " --target-dir " +  exportDir + " --fields-terminated-by \\t --lines-terminated-by \\n -m 1"
};

  2. Чтобы запустить программу, выберите клавишу F5 .

Ограничения

HDInsight под управлением Linux предоставляет следующие ограничения:

  • Массовый экспорт: соединитель Sqoop, используемый для экспорта данных в Microsoft SQL Server или Базу данных SQL Azure, в настоящее время не поддерживает массовые вставки.

  • С помощью переключателя -batch Sqoop выполняет несколько вставок подряд, вместо пакетной обработки операций вставки.

Дальнейшие действия

Теперь вы узнали, как использовать Sqoop. Дополнительные сведения см. на следующих ресурсах:

  • Last updated on