Introdução aos comandos do Sqoop
Nos comandos Sqoop, todas as linhas são tratadas como registros e as tarefas são subdivididas em subtarefas pelo Map Task Internally. Os bancos de dados suportados pelo sqoop são MYSQL, Oracle, IBM, PostgreSQL. O Sqoop fornece uma linha de comando simples, podemos buscar dados de diferentes bancos de dados através de comandos sqoop. Eles são gravados em Java e usam o JDBC para conexão com outros bancos de dados.
Significa 'SQL to Hadoop' e Hadoop to SQL e uma ferramenta de código aberto. É uma ferramenta de conectividade de aplicativos que transfere dados em massa entre o sistema de banco de dados relacional e o Hadoop (Hive, redução de mapa, Mahout, Pig, HBase). Eles permitem que os usuários especifiquem o local de destino dentro do Hadoop e façam com que o sqoop mova dados do RDMS para o destino. Eles fornecem conectores MySQL otimizados que usam API específica do banco de dados para fazer transferências em massa completamente. O usuário importa dados de fontes externas como Hive ou Hbase. O sqoop possui dois formatos de arquivo: formato de arquivo de texto delimitado e formato de arquivo de sequência.
Aqui estão os comandos básicos dos comandos do Sqoop:
-
Tabela de lista:
Este comando lista a tabela específica do banco de dados no servidor MYSQL.
Exemplo:
-
Diretório de destino:
Este comando importa a tabela em um diretório específico no HDFS. -m denota argumento do mapeador. Eles têm um valor inteiro.
Exemplo:
-
Proteção de senha:
Exemplo:
-
sqoop-eval:
Este comando executa rapidamente consultas SQL do respectivo banco de dados.
Exemplo:
-
sqoop - versão:
Este comando exibe a versão do sqoop.
Exemplo:
-
sqoop-job
Este comando nos permite criar um trabalho, os parâmetros criados podem ser chamados a qualquer momento. Eles aceitam opções como (–create, –delete, –show, –itit).
Exemplo:
-
Carregando arquivo CSV no SQL:
Exemplo:
-
Conector:
Exemplo:
-
gen do código:
Este comando Sqoop cria arquivos de classe java que encapsulam os registros importados. Todos os arquivos java são recriados e novas versões de uma classe são geradas. Eles geram código para interagir com os registros do banco de dados. Recupera uma lista de todas as colunas e seus tipos de dados.
Exemplo:
10.Lista-banco de dados:
Esta lista de comandos do Sqoop possui todo o banco de dados disponível no servidor RDBMS.
exemplo:
Comandos intermediários de comandos Sqoop:
1.sqoop -meta loja:
Este comando hospeda um repositório de metadados compartilhados. Usuários múltiplos / remotos podem executar vários trabalhos.
Comando:
$ sqoop .metastore.client.autoconnect.url
exemplo: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop -help:
Este comando lista as ferramentas disponíveis no sqoop e seus propósitos.
Comando:
Ajuda do $ sqoop
$ bin / sqoop ajuda a importar
3. Exportando:
Este comando exporta dados do HDFS para o banco de dados RDMS. No HDFS, os dados são armazenados como registros.
Comando:
$ sqoop export \ –connect jdbc: mysql: // localhost / inventário - nome de usuário jony –table lib –export -dir / usuário / jony / inventário.
4. Insira:
Este comando insere um novo registro da tabela HDFS para RDBMS.
Comando
$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - tabela emp_exported –export -dir / sqoop / newemp -m -000
5. Atualização:
Este comando Sqoop atualiza os registros no RDBMS a partir dos dados do HDFS.
Comando
$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - tabela emp_exported –export -dir / sqoop / newemp -m -000 –update -key id
6. Opção de lote:
Este comando insere várias linhas juntas, eles otimizam a velocidade de inserção usando o driver Sqoop JDBC.
Comando
$ sqoop export \ -connect JDBC: MySQL: // hostname / –username -password -export -dir
7. Split:
Quando esse comando é usado, a cláusula where é aplicada a todo o SQL.
Comando
$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT –table JUNK - em que “rownum <= 12”
8. arquivo AVRO no HDFS:
Eles armazenam dados RDBMS como um arquivo Avro.
Comando
$ sqoop import –connect JDBC: MySQL: // localhost / Acadgild –username root –password pp.34 –table payment -m1 –target -dir / sqoop_data / payment / avro / == as -avrodatfile.
Comandos avançados de comandos Sqoop:
Comandos de importação:
Os comandos de importação possuem argumentos de controle de importação. os vários argumentos são os seguintes:
- limite: usado para criar divisões.
- as - arquivo de texto: importa dados de texto sem formatação
- -columns (: importa colunas para a tabela
- -m, - num: para importar tarefas de mapeamento paralelo
- split-by: divide a coluna da tabela
- -z, - compress: a compactação dos dados está ativada.
Argumentos de importação incremental:
- coluna de verificação: indica colunas para determinar quais linhas serão importadas.
- incremental (modo): indica novas linhas (incluir anexar e modificar últimas linhas)
Argumentos da linha de saída:
- lines -terminated -by: Eles definem o caractere eol
- Delimitadores do MySQL: eles definem \ n campos: linhas:
Importar para o Hive
-hive - import: importam tabelas para o hive
-hive - partition-key: o nome da partição é compartilhado.
-hive - substituir: Eles substituem os dados na tabela existente.
Importar para argumentos Hbase:
-acumulo-tabela: especifica a tabela de destino no HBase.
-accumulo -column: para importar, define a coluna de destino.
-accumulo -: Para importar o nome do acúmulo
–Acumulo -: para importar a senha do acúmulo
Armazenando em arquivos de sequência:
$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inventário \ - nome da classe com.foo.com.Inventory -as - sequencefile
Importação de consulta:
Este comando especifica a instrução Sql com o argumento -query.
$ sqoop import \ –query 'SELECT a. *, b. * de um JOIN b em (a.id = b.id) em que $ conditions' \ -split - por / target-dir / user
Exportações incrementais:
$ sqoop export –connect –table –username –password –incremental –check-row –last-value
Importando todas as tabelas para o HDFS:
$ sqoop import -all - tables –connect jdbc: mysql: // localhost / sale_db - nome de usuário root.
Importando dados para o Hive:
$ sqoop import –connect –table –username –password –hive -import - hive -table
Importando dados para o HBase:
comando:
$ sqoop import –connect –table –username –password –hive -import - HBase -table
Codifique valores nulos:
comando:
$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –username sqoop \ -password sqoop \ –table lib \ –null -string '
Dicas e truques para usar comandos Sqoop:
Se queremos executar as operações de dados com eficiência, devemos usar o sqoop, apenas através de uma única linha de comando, podemos executar muitas tarefas e subtarefas nela. O Sqoop se conecta a diferentes bancos de dados relacionais por meio de conectores, eles usam o driver JDBC para interagir com ele. Como o sqoop é executado em sua própria fonte, podemos executar o sqoop sem um processo de instalação. A execução do sqoop é fácil como porque os dados são executados em paralelo. Usando o Map reduzir, podemos importar e exportar dados, o que, por sua vez, fornece execução paralela.
Conclusão - Comandos do Sqoop:
Para concluir, o Sqoop Commands regula o processo de importação e exportação dos dados. O Sqoop fornece a facilidade de atualizar as partes da tabela pela carga incremental. A importação de dados no sqoop não é orientada a eventos. E chega o sqoop2 com a GUI ativada para facilitar o acesso junto à linha de comando. A transferência de dados é rápida, pois eles são transferidos em paralelo. Eles desempenham um papel vital no ambiente Hadoop. Eles fazem seu trabalho por conta própria, não sendo necessário ao importar pequenos conjuntos de dados.
Artigos recomendados
Este foi um guia para os comandos do Sqoop. Aqui discutimos comandos básicos e avançados do Sqoop e alguns comandos imediatos do Sqoop. Você também pode consultar o seguinte artigo para saber mais -
- Perguntas e respostas da entrevista de Sqoop
- Cábula SQL (comandos, dicas grátis e truques)
- Comandos importantes do VBA
- Comandos do Tableau