Skip to content

Latest commit

 

History

History
67 lines (40 loc) · 3.16 KB

README.md

File metadata and controls

67 lines (40 loc) · 3.16 KB

Module2 Hadoop: Тепловая карта кликов

Описание

Данный модуль Hadoop представляет собой программу, строящую тепловую карту кликов по странице.

Входные данные

Программа принимает 5 входных файлов:

  • clicks.1, clicks.2, clicks.3 (в директории input/): эти файлы содержат информацию о кликах пользователей на странице и генерируются случайным образом с помощью скрипта generateClicks.sh.
  • handbookAreas (в директории input_handbooks/): содержит описание разделов страницы.
  • handbookRanges (в директории input_handbooks/): содержит описание диапазонов температур.

Запуск программы

Перед запуском программы необходимо:

  1. Запустить Hadoop:

    • /opt/hadoop-3.3.6/sbin/start-dfs.sh
    • /opt/hadoop-3.3.6/sbin/start-yarn.sh

  2. Запустить программу скриптом ./run.sh:

mvn clean package

./generateClicks.sh

hdfs dfs -rm -r /output

hdfs dfs -rm -r /input

hdfs dfs -put input /input

hdfs dfs -put input_handbooks /input_handbooks

yarn jar target/lab1-1.0-SNAPSHOT-jar-with-dependencies.jar /input /output

Результат

В результате работы программы в директории output будет создан файл part-r-00000, содержащий тепловую карту кликов.

Дополнительные возможности

  • Скрипт generateClicks.sh: позволяет генерировать файлы с кликами пользователей.
  • Файлы handbookAreas и handbookRanges: могут быть изменены для изменения описания разделов страницы и диапазонов температур.

Примечание

  • Страница представляет собой прямоугольник размером 1000 в ширину и 1500 в высоту.
  • Каждая область является прямоугольником, который задаётся двумя точками - (x_min, y_min) и (x_max, y_max) - координатами левой нижней и правой верхней точек.
  • Координаты кликов (x, y) в файлах clicks.1, clicks.2, clicks.3 находятся в диапазоне от 0 до 1000 для x и от 0 до 1500 для y. Координата (0, 0) находится в левом нижнем углу страницы. Один из файлов, а именно clicks.2, намеренно испорчен и имеет координаты точек, выходящих за пределы страницы.

Пример использования

# Запуск программы
./run.sh

# Просмотр тепловой карты
hdfs dfs -cat /output/part-r-00000