Ferramentas Talend - Várias ferramentas ou componentes do Talend para integração de dados

Introdução às ferramentas Talend

O Talend open studio possui mais de 700 componentes em áreas como big data, bancos de dados, nuvem, etc. O Talend open studio pode ser dividido em vários como o Talend open studio para integração de dados e o Talend open studio para big data, etc. Neste artigo, nós verá as diferentes ferramentas do talento em detalhes.

Talend Open Studio Componentes / Ferramentas

O Talend Open Studio para integração de dados abrange as seguintes áreas / tecnologias com alguns componentes internos que ajudam no processamento facilmente.

Componentes de Big Data
Componentes de negócios
Componentes de Business Intelligence
Componentes da nuvem
Componentes de código personalizado
Componentes de qualidade de dados
Bancos de dados - componentes tradicionais
Bancos de dados - componentes de dispositivo / armazém de dados
Bancos de dados - outros componentes
Componentes DotNET
Componentes ELT
Componentes ESB
Componentes do arquivo
Componentes da Internet
Componentes de logs e erros
Vários componentes do grupo
Componentes de orquestração
Componentes de processamento
Componentes do sistema
Componentes do MDM Talend
Componentes técnicos
Componentes XML

Aqui discutiremos alguns componentes do Talend Open Studio para integração de dados.

1. tS3Connection: Este componente é usado para conectar-se ao amazon s3. Os componentes podem usar essa conexão para facilitar a configuração da conexão com o amazon s3.

2. tS3Input: É usado para ler um arquivo do sistema de arquivos S3. Ele possui algumas funções semelhantes ao tfileinputdelimited, mas usa o serviço Amazon Simple Storage.

3. tS3Output: É usado para gravar dados em um sistema de arquivos S3. Ele possui algumas funções semelhantes ao tfileoutputdelimited, mas usa o serviço Amazon Simple Storage.

4. ts3Put: É usado para colocar um arquivo em um sistema de arquivos S3 a partir de um sistema local.

5. ts3Get: Este componente é usado para recuperar um arquivo do S3 em um sistema local.

6. tS3BucketCreate: Este componente é usado para criar um bucket no S3.

7. tS3BucketDelete: este componente é usado para excluir um bucket no S3.

8. tS3BucketExist: este componente é usado para verificar se o bucket fornecido existe no S3. Retorna o resultado em valor booleano verdadeiro ou falso, que pode ser usado como um mapa global.

9. tS3BucketList: Este componente é usado para listar todos os buckets no S3.

10. tS3Copy: este componente é usado para copiar o objeto S3 de um balde para outro. É semelhante ao tFileCopy.

11. tS3Delete: este componente é usado para excluir o objeto S3 de um bucket. É semelhante ao tFileDelete.

12. tS3Close: Este componente é usado para fechar a conexão S3 que é criada usando o tS3Connection.

13. tCreateTemporaryFile: esse componente cria um arquivo temporário como tFileOutputDelimited, mas esse arquivo temporário pode ser excluído automaticamente após o término do trabalho ou pode ser mantido.

14. tFileArchive: Este componente é usado para criar um arquivo compactado a partir de um ou mais arquivos. A criptografia também pode ser aplicada em compactação.

15. tFileCompare: Este componente é usado para comparar dois arquivos e retorna os dados de comparação.

16. tFileUnarchive: Este componente é usado para descompactar um arquivo compactado.

17. tFileCopy: este componente é usado para copiar um arquivo ou pasta em um diretório de destino.

18. tFileDelete: este componente é usado para excluir um arquivo ou pasta.

19. tFileExist: este componente é usado para verificar se um arquivo existe ou não. Retorna o resultado em valor booleano verdadeiro ou falso, que pode ser usado como globalMap.

20. tFileInputExcel: este componente é usado para ler um arquivo do Excel com base no esquema definido.

21. tMsgBox: Este componente é usado para exibir uma caixa de diálogo com o botão OK.

22. tRowGenerator: Este componente é usado para criar qualquer número de linhas com colunas com valores específicos ou valores aleatórios. É usado principalmente para fins de teste e criação de arquivos de teste de amostra.

23. tIterateToFlow: É usado para transformar uma lista de fluxos no fluxo principal, o que significa iterar-> linha-> principal.

24. tFlowToIterate: É usado para transformar o fluxo principal em uma lista de fluxos, o que significa main-> row-> iterate.

25. tLoop: É usado para repetir uma tarefa específica.

26. tReplicar: É usado para replicar o esquema recebido em dois fluxos de saída.

27. tRunJob: É usado para executar outro trabalho de talento dentro do trabalho atual após o subjob ok.

28. tSleep: É usado para fazer com que a execução do trabalho ou o assunto específico seja pausado por um determinado tempo em segundos.

29. tWaitForFile: Ele examinará um diretório específico e acionará o próximo componente com base na condição.

30.tMysqlBulkExec: este componente é usado para Oferece ganhos de desempenho ao executar as operações de Inserção em um banco de dados Mysql.

31. tMysqlClose: Este componente é usado para fechar a conexão mysql criada por tMysqlConnection.

32. tMysqlRow: Este componente é usado para executar a consulta SQL diretamente no banco de dados MySQL.

33. tMysqlTableList: Este componente é usado para listar os nomes de uma tabela.

34. tMysqlColumnList: Este componente é usado para iterar todas as colunas de uma tabela.

35. tMysqlCommit: este componente é usado para confirmar as alterações feitas no banco de dados Mysql.

36. tMysqlLastInsertId: este componente é usado para obter o último valor da chave inserido

37. tMysqlOutputBulk: este componente é usado para gravar um arquivo com colunas baseadas no delimitador

38. tMysqlOutputBulkExec: esse componente é usado para gravar um arquivo com colunas baseadas no delimitador e, em seguida, executa o arquivo no banco de dados Mysql.

39. tContextLoad: este componente é usado para carregar valores no contexto de um fluxo de entrada. As variáveis de contexto devem ser criadas antes de carregar os valores nas variáveis de contexto. Se as variáveis de contexto não forem criadas, será exibido um aviso.

40. tHiveClose: Este componente é usado para fechar a conexão criada usando o tHiveConnection.

41. tHiveConnection: Este componente é usado para criar uma conexão do Hive e pode ser reutilizado por outros componentes do Hive.

42. tHiveRow: Este componente é usado para executar as consultas do Hive diretamente.

Conclusão

Os componentes HDFS podem ser vistos no estúdio aberto Talend para Big data.
thdfsinput, thdfsoutput são alguns dos componentes e são semelhantes aos componentes de arquivo.
tHDFSInput - Lê o arquivo localizado em um sistema de arquivos distribuídos (HDFS) Hadoop. Ele possui algumas funções semelhantes ao tfileinputdelimited, mas usa um sistema de arquivos distribuído Hadoop.
tHDFSOutput - grava o arquivo no sistema de arquivos distribuídos do Hadoop (HDFS).
Ele possui algumas funções semelhantes ao tfileoutputdelimited, mas usa um sistema de arquivos distribuído Hadoop.
tHDFSPut - É usado para colocar um arquivo no sistema de arquivos HDFS a partir de um sistema local.
tHDFSGet- Este componente usado para recuperar um arquivo do HDFS em um sistema local.

Artigos recomendados

Este é um guia para o Talend Tools. Aqui discutimos a introdução e o desenvolvimento de componentes ou ferramentas de estúdio aberto para integração de dados, que incluem tS3Connection, tS3Input, tS3Output e ts3Put, etc. Você também pode consultar os seguintes artigos para saber mais -