Carreira no Hadoop - Introdução
O Hadoop não é uma mera estrutura no mundo do Big Data. Possui um amplo ecossistema com um guarda-chuva de tecnologias relacionadas. Pelo mesmo motivo, uma carreira no Hadoop é promissora. Se você tiver uma boa compreensão dos fundamentos do Hadoop, será a base para uma excelente carreira no Hadoop.
Educação para carreira no Hadoop
Como muitas tecnologias de dados emergentes, o Hadoop não exige nenhuma formação educacional específica como tal. Cerca de metade dos desenvolvedores do Hadoop são de formação em ciências não relacionadas à computação, como Estatística ou Física. Portanto, fica claro que o pano de fundo não é um obstáculo para entrar no mundo do Hadoop, desde que você esteja pronto para aprender os fundamentos. Existem bons cursos on-line que abordam o Hadoop - o da eduCBA é o melhor exemplo - master-apache-Hadoop
Além disso, se você quiser se aprofundar em uma área específica de gerenciamento de cluster do Hadoop ou modelagem de dados nos materiais do Hive, sobre cada tópico específico disponível como cursos e manuais online. Na maioria das vezes, os clusters Hadoop são configurados em um fornecedor de nuvem como AWS ou Azure. Portanto, familiarizar-se com qualquer fornecedor de nuvem de sua escolha ajudará muito. O serviço Hadoop da AWS é chamado EMR.
A especialização popular inclui:
- Spark - Mecanismo escalável de processamento de dados na memória
- HBase - Nenhum banco de dados SQL sobre o HDFS
- Beam - Streaming de processamento de dados da primeira abordagem
- Pig - Script de transformação de dados (ETL)
- Hive - Data warehousing
- Mahout, Spark MLlib - Aprendizado de máquina escalável no Hadoop
- Apache Drill - mecanismo SQL no Hadoop
- Flume, Sqoop - Serviços de ingestão de dados
- Solr & Lucene - Pesquisa e indexação
Carreira no Hadoop
De acordo com os resultados da Pesquisa de estouro de pilha 2017, o Hadoop está liderando a estrutura mais popular e mais popular no espaço de Big Data (Link de pesquisa). Isso é possível apenas porque pessoas de diferentes perspectivas de TI consideraram o Hadoop um possível plano de carreira e desejam mudar.
Qualquer que seja sua função atual de TI, haverá uma mudança facilmente adaptável para uma carreira no mundo Hadoop. Alguns exemplos populares -
- Desenvolvedor de software (programador) -> Hadoop Data Developer que lida com diferentes SDKs de abstração do Hadoop e obtém valor dos dados.
- Data Analyst -> Então, você é proficiente em SQL.Huge oportunidade no Hadoop para trabalhar em mecanismos SQL como Hive ou Impala
- Analista de negócios -> Organizações que tentam se tornar mais lucrativas usando dados coletados em massa, e a função de um analista de negócios é crucial nisso.
- Desenvolvedor de ETL -> Se você estiver trabalhando como desenvolvedor de ETL tradicional, poderá mudar facilmente para o Hadoop ETL usando ferramentas como Spark.
- Testadores -> Há uma enorme demanda por testadores no mundo Hadoop. Compreendendo os fundamentos do Hadoop e a criação de perfil de dados, qualquer testador pode mudar para essa função.
- Profissões de BI / DW -> Pode mudar facilmente para a arquitetura de dados do Hadoop para modelagem de dados.
- Profissionais de TI sênior -> Com uma profunda compreensão do domínio e dos desafios existentes no mundo dos dados, um profissional sênior pode se tornar consultor adquirindo conhecimento de como o Hadoop está tentando resolver esses desafios.
- Existem funções genéricas, como Data Engineers ou Big Data Engineering, responsáveis pela implementação da solução principalmente nos fornecedores de nuvem. Ao adquirir conhecimento dos componentes de dados da nuvem, esse será um papel promissor.
Cargos
O ecossistema Hadoop oferece uma variedade de planos de carreira
- Desenvolvedor MapReduce - Essa é basicamente uma função de desenvolvedor Java que também entende como os sistemas Hadoop funcionam internamente. Existe uma abstração como Hive ou Pig disponível, ainda que os trabalhos MapReduce sejam necessários para sistemas de alto desempenho. Os desenvolvedores do MapReduce são aqueles que entendem e recebem um sistema e pagam muito alto.
- Administradores do Hadoop - Essas pessoas são responsáveis por manter o cluster do Hadoop íntegro e funcionando. Isso pode incluir tarefas típicas do administrador, como verificações regulares de integridade do sistema, mas a maioria das tarefas necessárias para entender a arquitetura do sistema Hadoop.
- Devops - implante novos componentes do sistema e outras alterações relacionadas ao desenvolvimento no cluster Hadoop. A responsabilidade desse papel varia muito e depende da cultura de uma organização.
- Desenvolvedor de dados - Processamento de dados sobre o Hadoop. Essa é uma das funções mais populares no ecossistema Hadoop. As pessoas do SQL ou do fundo de análise se encaixam melhor nessas funções. Trabalhe principalmente em uma abstração de alto nível do Hadoop, como o Hive ou o Pig.
- Administrador de segurança de dados - Os dados são os ativos mais valiosos e a segurança é o mais importante. Os administradores de segurança garantem políticas padrão do mercado e práticas recomendadas para proteger os dados, com uma limitação de entendimento de um sistema
- Visualizador de dados - lide com as ferramentas de visualização de última geração que permitem fatiar e agregar dados dinamicamente com o armazenamento em cache de dados na memória
- ETL Developer - Transforme dados para melhorar a qualidade dos dados ou conforme a lógica de negócios usando as ferramentas do ecossistema Hadoop. O processo ETL pode estar em fluxo contínuo ou em lote.
- Arquiteto de sistema - projete sistemas de alto desempenho, considerando a disponibilidade e a durabilidade dos dados de maneira econômica. Depende muito do provedor de hardware.
- Arquiteto de dados - Além do design lógico / físico tradicional de dados, muitas coisas como codificação de colunas, desnormalização, design de particionamento etc. serão de responsabilidade do arquiteto de dados.
Cursos recomendados
- Treinamento on-line XML e Java
- Cursos Node.JS
- Curso de treinamento Silverlight
- Programa Ember.JS
Salário
O salário médio de um desenvolvedor de software nos EUA é de US $ 90.956 por ano, enquanto o salário médio de um desenvolvedor do Hadoop é muito mais alto - US $ 118.234 por ano (conforme Indeed.com - Indeed.com)
Salários do desenvolvedor do Hadoop nas principais empresas dos EUA (Ref: Indeed.com)
| maçã | $ 147.573 por ano |
| Wipro | $ 110.553 por ano |
| HERO.jobs | $ 158.715 por ano |
| MBCAA | US $ 133.422 por ano |
| Ventures Unlimited Inc | US $ 130.000 por ano |
| Nityo Infotech Services Unip. Ltd. | US $ 128.633 por ano |
| ESTRELA DO NORTE | $ 126.370 por ano |
| PRI Technology | $ 121.396 por ano |
| NITYO INFOTECH | $ 116.909 por ano |
| HortonWorks, Inc | US $ 110.710 por ano |
Perspectivas de carreira
O ecossistema do Hadoop está se desviando muito para atender a uma mudança nas necessidades dos negócios. À medida que os dados gerados aumentam exponencialmente e cada vez mais organizações se tornam controladas por dados, a relevância do sistema Hadoop só aumenta.
Algumas das tendências notáveis:
- Mude do processamento em lote para transmitir a primeira abordagem de processamento de dados usando Spark e Beam
- Mais modelo de Machine Learning em tempo real aplicado a dados em tempo real usando o Spark ML
- Mecanismos SQL dissociados do armazenamento de dados, como o Presto, na parte superior do S3, para análises ad-hoc na parte superior do data lake.
- Bancos de dados MPP em colunas, como o AWS Redshift, para acesso rápido aos dados
Como um aspecto fundamental do processamento de Big Data reside em sistemas distribuídos tolerantes a falhas e escaláveis horizontalmente, que são bem implementados pelo Hadoop, o Hadoop continuará como um ecossistema líder para o processamento de dados.
Artigo recomendado
Este foi um guia para a Carreira no Hadoop. Aqui discutimos a introdução, educação, plano de carreira no Hadoop, salário e perspectivas de carreira no Hadoop. você também pode consultar o artigo a seguir para saber mais -
- Paas do Azure vs Iaas e seus benefícios úteis
- Descubra as diferenças entre Java e Node JS
- Melhor consultoria especializada em carreiras em mainframe
- Carreiras em SQL
- Carreiras úteis como engenheiro de software
- Administrador do Hadoop | Habilidades e Carreira