Aprenda a 10 melhor diferença entre MapReduce e Yarn

Diferença entre mapa reduzir e fios

Yarn significa Yet Another Resource Negotiator, é a nova estrutura para gerenciar recursos (Memória e CPU). Ele nos ajuda a desenvolver o aplicativo distribuído de qualquer tipo, fornece daemons e APIs necessários. Outro recurso importante do YARN é: ele lida e agenda a solicitação de recursos do aplicativo e ajuda o processo a executar a solicitação. O YARN é uma plataforma genérica para executar qualquer aplicativo distribuído, o Map Reduce versão 2 é o aplicativo distribuído executado em cima do YARN, enquanto o map redução é a unidade de processamento do componente Hadoop, mas processa dados em paralelo no ambiente distribuído. Portanto, basicamente reduz o trabalho de mapeamento em um enorme componente de dados; ele processa os dados e armazena no HDFS de forma que a recuperação seja mais fácil do que o armazenamento tradicional.

Comparação cara a cara entre MapReduce vs Yarn (Infographics)

Abaixo está a comparação top 10 entre o MapReduce vs Yarn

Diferença de chave entre MapReduce e Yarn

No Hadoop 1, ele tem dois componentes, o primeiro é o HDFS (Hadoop Distributed File System) e o segundo é o Map Reduce. Enquanto no Hadoop 2 ele também possui dois componentes HDFS e YARN / MRv2 (geralmente chamamos YARN como o Map reduz a versão 2).
No Map Reduce, quando o Map-reduzir pára de funcionar, automaticamente, todo o seu nó escravo para de funcionar. Esse é o único cenário em que a execução da tarefa pode ser interrompida e é chamado de ponto único de falha. O YARN supera esse problema devido à sua arquitetura, o YARN possui o conceito de nó de nome ativo e nó de nome em espera. Quando o nó ativo para de funcionar por algum tempo, o nó passivo começa a trabalhar como nó ativo e continua a execução.
A redução de mapa tem arquitetura de mestre único e escravo múltiplo. Se o escravo mestre cair, o escravo inteiro deixará de funcionar, esse é o ponto único de falha no HADOOP1, enquanto o HADOOP2, que é baseado na arquitetura YARN, tem o conceito de mestre e escravo múltiplo, se um mestre cair, outro mestre retomará seu processo e continuará a execução.
Como podemos ver no diagrama abaixo, a diferença nos ecossistemas HADOOP1 e HADOOP2. O Gerenciamento de Recursos YARN em nível de componente interage com Redução de Mapa e HDFS.

Então, basicamente, o YARN é responsável pelo gerenciamento de recursos, e qual tarefa será executada por qual sistema será decidido pelo YARN, enquanto o map redução é a estrutura de programação responsável por como executar uma tarefa específica, portanto, basicamente o map-red tem dois componentes de mapeador e redutor. para execução de um programa.

No mapa, reduza cada nó de dados executado individualmente, enquanto no Yarn, cada nó de dados é executado por um gerenciador de nós.
A redução de mapa usa o rastreador de tarefas para criar e atribuir uma tarefa ao rastreador de tarefas, devido aos dados que o gerenciamento do recurso não é impressionante, pois alguns dos nós de dados permanecerão ociosos e não serão úteis, enquanto no YARN há um Gerenciador de Recursos para cada um. cluster e cada nó de dados executa um Node Manager. Para cada tarefa, um nó escravo atuará como mestre de aplicativos, monitorando recursos / tarefas.

Tabela de Comparação MapReduce vs Yarn

Base para comparação	FIO	Mapa Reduzir
Significado	YARN representa mais um negociador de recursos.	Reduzir mapa é auto-definido.
Versão	Introduzir no Hadoop 2.0	Introduzir no Hadoop 1.0
Responsabilidade	Agora o YARN é responsável pela parte de gerenciamento de recursos.	A redução de mapa anterior era responsável pelo gerenciamento de recursos e pelo processamento de dados
Modelo de execução	O modelo de execução de fios é mais genérico, em comparação com o Mapa de redução	Menos genérico em comparação com YARN.
Execução de aplicativo	O YARN também pode executar esses aplicativos que não seguem o modelo Map Reduce	O Map Reduce pode executar seu próprio aplicativo baseado em modelo.
Arquitetura	O YARN é introduzido no MR2 na parte superior do rastreador de tarefas e rastreador de tarefas. No lugar do aplicativo rastreador de tarefas e rastreador de tarefas, o mestre entra em cena.	Na versão anterior do MR1, o YARN não estava lá. No lugar do YARN, havia um rastreador de tarefas e um rastreador de tarefas que ajuda na execução de aplicativos ou tarefas.
Flexibilidade	YARN é mais isolado e escalável	Menos escalável quando comparado ao YARN.
Daemons	O YARN possui nó de nome, nó de dados, nó de nome secundário, gerenciador de recursos e gerenciador de nós.	O Map Reduce possui o nó Nome, Dados, nó Nome Secundário, rastreador de tarefas e rastreador de tarefas.
Limitação	Não existe um conceito de ponto único de falha no YARN porque ele possui vários mestres; portanto, se um deles falhar, outro mestre irá buscá-lo e retomar a execução.	Ponto único de falha, baixa utilização de recursos (máximo de 4200 clusters por YAHOO) e menor escalabilidade quando comparado ao YARN
Tamanho	Por padrão, o tamanho de um nó de dados no YARN é de 128 MB	Por padrão, o tamanho de um nó de dados na redução de mapa é de 64 MB.

Conclusão - MapReduce vs Yarn

No Hadoop 1, que é baseado no Map Reduce, há vários problemas que são superados no Hadoop 2 com o Yarn. Como no Hadoop 1, o rastreador de tarefas é responsável pelo gerenciamento de recursos, mas o YARN tem o conceito de gerenciador de recursos e de gerenciador de nós, que serão responsáveis pelo gerenciamento de recursos. A redução de mapa tem um único ponto de falha, ou seja, Rastreador de trabalhos, se o rastreador parar de funcionar, precisamos reiniciar todo o cluster e executar nosso trabalho novamente a partir de Inicial. Em um cenário real, nenhuma organização não deseja correr esse tipo de risco, especialmente em um setor de defesa bancária. Essa organização que trabalha com a racionalização de dados não estará pronta para assumir esse tipo de risco. Por alguns minutos, eles perderão seus dados e poderão ter algum impacto crítico nos negócios. Portanto, o YARN tem um resultado melhor em relação à redução de mapa.

Artigo recomendado

Este foi um guia para o MapReduce vs Yarn, seu significado, comparação cara a cara, diferenças principais, tabela de comparação e conclusão. Você também pode consultar os seguintes artigos para saber mais -