Разработка программ Java MapReduce для Apache Hadoop в HDInsight

Узнайте, как использовать Apache Maven для создания приложения MapReduce на основе Java, а затем запустить его с помощью Apache Hadoop в Azure HDInsight.

Предпосылки

• Java Developer Kit (JDK) версии 8.

• Средство Apache Maven правильно установлено согласно инструкциям Apache. Maven — система сборки проектов Java.

Настройка среды разработки

Среда, использованная в этой статье, — компьютер под управлением Windows 10. Команды были выполнены в командной строке, а различные файлы были отредактированы в блокноте. Внесите изменения в соответствии с особенностями своей среды.

В командной строке введите приведенные ниже команды, чтобы создать рабочую среду.

IF NOT EXIST C:\HDI MKDIR C:\HDI
cd C:\HDI

Создание проекта Maven

1. Введите следующую команду, чтобы создать проект Maven с именем wordcountjava:

   mvn archetype:generate -DgroupId=org.apache.hadoop.examples -DartifactId=wordcountjava -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
   

   Эта команда создает каталог с именем, указанным параметром artifactID (wordcountjava в этом примере).) Этот каталог содержит следующие элементы:

   • pom.xml — Объектная модель проекта (POM), содержащая сведения и сведения о конфигурации, используемые для сборки проекта.
   • src\main\java\org\apache\hadoop\examples: содержит код приложения.
   • src\test\java\org\apache\hadoop\examples: содержит тесты для приложения.

2. Удалите созданный пример кода. Удалите созданные тестовые файлы и файлы приложений AppTest.java, а также App.java, введите команды, приведенные ниже:

   cd wordcountjava
   DEL src\main\java\org\apache\hadoop\examples\App.java
   DEL src\test\java\org\apache\hadoop\examples\AppTest.java
   

Обновление модели объекта проекта

Полный справочник по файлу pom.xml см. в статье https://maven.apache.org/pom.html. Откройте pom.xml, введя следующую команду:

notepad pom.xml

Добавление зависимостей

Добавьте следующий текст в раздел pom.xml файла <dependencies>:

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-examples</artifactId>
    <version>2.7.3</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-common</artifactId>
    <version>2.7.3</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.3</version>
    <scope>provided</scope>
</dependency>

Это определяет обязательные библиотеки (перечисленные в <artifactId>) с определенной версией (указанной в <версии>). При компиляции эти зависимости скачиваются из репозитория Maven по умолчанию. Для просмотра дополнительных сведений можно использовать поиск репозитория Maven .

<scope>provided</scope> сообщает Maven, что эти зависимости не следует упаковывать с приложением, так как они предоставляются кластером HDInsight во время выполнения.

Конфигурация сборки

Подключаемые модули Maven позволяют настроить этапы сборки проекта. Этот раздел используется для добавления подключаемых модулей, ресурсов и других параметров конфигурации сборки.

Добавьте следующий код в файл pom.xml, затем сохраните и закройте файл. Эти строки должны находиться в файле внутри тегов <project>...</project> (например, между тегами </dependencies> и </project>).

<build>
    <plugins>
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>2.3</version>
        <configuration>
        <transformers>
            <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer">
            </transformer>
        </transformers>
        </configuration>
        <executions>
        <execution>
            <phase>package</phase>
                <goals>
                <goal>shade</goal>
                </goals>
        </execution>
        </executions>
        </plugin>
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.6.1</version>
        <configuration>
        <source>1.8</source>
        <target>1.8</target>
        </configuration>
    </plugin>
    </plugins>
</build>

В этом разделе настраиваются плагины компилятора Apache Maven и Apache Maven Shade. Подключаемый модуль компилятора используется для компиляции топологии. Подключаемый модуль shade используется для предотвращения дублирования лицензий в JAR-пакете, создаваемом с помощью Maven. Этот подключаемый модуль используется для предотвращения ошибки дублирования файлов лицензий, которая появляется во время выполнения на кластере HDInsight. Использование maven-shade-plugin с реализацией ApacheLicenseResourceTransformer позволяет избежать этой ошибки.

maven-shade-plugin также создает так называемый uber jar, который содержит все зависимости, требуемые для приложения.

Сохраните файл pom.xml.

Создание приложения MapReduce

1. Введите приведенную ниже команду, чтобы создать и открыть новый файл WordCount.java. Выберите Да в запросе, чтобы создать новый файл.

   notepad src\main\java\org\apache\hadoop\examples\WordCount.java
   

2. Затем скопируйте и вставьте приведенный ниже код Java в новый файл. После этого закройте файл.

   package org.apache.hadoop.examples;
   
   import java.io.IOException;
   import java.util.StringTokenizer;
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.fs.Path;
   import org.apache.hadoop.io.IntWritable;
   import org.apache.hadoop.io.Text;
   import org.apache.hadoop.mapreduce.Job;
   import org.apache.hadoop.mapreduce.Mapper;
   import org.apache.hadoop.mapreduce.Reducer;
   import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
   import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
   import org.apache.hadoop.util.GenericOptionsParser;
   
   public class WordCount {
   
       public static class TokenizerMapper
           extends Mapper<Object, Text, Text, IntWritable>{
   
       private final static IntWritable one = new IntWritable(1);
       private Text word = new Text();
   
       public void map(Object key, Text value, Context context
                       ) throws IOException, InterruptedException {
           StringTokenizer itr = new StringTokenizer(value.toString());
           while (itr.hasMoreTokens()) {
           word.set(itr.nextToken());
           context.write(word, one);
           }
       }
   }
   
   public static class IntSumReducer
           extends Reducer<Text,IntWritable,Text,IntWritable> {
       private IntWritable result = new IntWritable();
   
       public void reduce(Text key, Iterable<IntWritable> values,
                           Context context
                           ) throws IOException, InterruptedException {
           int sum = 0;
           for (IntWritable val : values) {
           sum += val.get();
           }
           result.set(sum);
           context.write(key, result);
       }
   }
   
   public static void main(String[] args) throws Exception {
       Configuration conf = new Configuration();
       String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
       if (otherArgs.length != 2) {
           System.err.println("Usage: wordcount <in> <out>");
           System.exit(2);
       }
       Job job = new Job(conf, "word count");
       job.setJarByClass(WordCount.class);
       job.setMapperClass(TokenizerMapper.class);
       job.setCombinerClass(IntSumReducer.class);
       job.setReducerClass(IntSumReducer.class);
       job.setOutputKeyClass(Text.class);
       job.setOutputValueClass(IntWritable.class);
       FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
       FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
       System.exit(job.waitForCompletion(true) ? 0 : 1);
       }
   }
   

   Обратите внимание, что имя пакета — org.apache.hadoop.examples, а имя класса — WordCount. Эти имена используются при отправке задания MapReduce.

Сборка и создание пакета приложения

Выполните следующую команду из каталога wordcountjava, чтобы собрать JAR-файл, содержащий приложение:

mvn clean package

Эта команда очищает все предыдущие артефакты сборки, загружает все зависимости, которые еще не установлены, а затем создает и упаковает приложение.

После завершения wordcountjava/target команды каталог содержит файл с именем wordcountjava-1.0-SNAPSHOT.jar.

Передача JAR-файла и запуск заданий (SSH)

В следующих действиях используется команда scp для копирования JAR-файла в головной узел Apache HBase в кластере HDInsight. С помощью команды ssh выполняется подключение к кластеру; пример запускается непосредственно на головном узле.

1. Передайте JAR-файл в кластер. Замените CLUSTERNAME именем кластера HDInsight, а затем введите следующую команду:

   scp target/wordcountjava-1.0-SNAPSHOT.jar [email protected]:
   

2. Подключение к кластеру. Замените CLUSTERNAME именем кластера HDInsight, а затем введите следующую команду:

   ssh [email protected]
   

3. В сеансе SSH выполните следующую команду, чтобы запустить приложение MapReduce:

   yarn jar wordcountjava-1.0-SNAPSHOT.jar org.apache.hadoop.examples.WordCount /example/data/gutenberg/davinci.txt /example/data/wordcountout
   

   Эта команда запускает приложение WordCount MapReduce. Входной файл — /example/data/gutenberg/davinci.txt, а выходной каталог — /example/data/wordcountout. Входной файл и выходные данные хранятся в хранилище по умолчанию для кластера.

4. После завершения задания используйте следующую команду, чтобы просмотреть результаты:

   hdfs dfs -cat /example/data/wordcountout/*
   

   Вы должны получить список слов и счетчиков со значениями, похожими на следующий текст:

   zeal    1
   zelus   1
   zenith  2
   

Дальнейшие действия

В этом документе вы узнали, как разработать задание Java MapReduce. Дополнительные сведения о работе с HDInsight см. в следующих документах.

• Используйте Apache Hive с HDInsight
• Использование MapReduce вместе с HDInsight
• Центр разработчиков Java