Introdução ao algoritmo de aumento de gradiente
A técnica de transitar alunos da semana para um aluno forte é chamada de reforço. O processo do algoritmo de aumento de gradiente trabalha nessa teoria de execução. O algoritmo de reforço Ada pode ser descrito para explicar e entender facilmente o processo pelo qual o reforço é injetado nos conjuntos de dados.
Árvore de decisão
Uma árvore de decisão é uma ferramenta de suporte ao veredicto que determina as decisões, implicando uma conseqüência semelhante a uma árvore e suas prováveis consequências, juntamente com resultados de eventos possíveis, custos de recursos etc. Essa técnica permite exibir instruções de controle que operam com resultados condicionais.
As operações de pesquisa usam amplamente essas árvores de decisão especificamente na análise de decisão. Também permite atingir uma meta e também é uma ferramenta admirada no aprendizado de máquina.
Algoritmo AdaBoost
O algoritmo AdaBoost começa com a preparação de uma árvore de decisão na qual cada observação recebe um peso equivalente. Depois de avaliar a árvore principal, aumentamos os pesos dessa interpretação que são complicados para categorizar e subordinamos os pesos para aqueles que são fáceis de categorizar. Como resultado, a segunda árvore é desenvolvida nesses dados preconceituosos. Aqui, o design é melhorar a profecia da árvore principal.
Em seguida, calcule o erro de categorização deste modelo inovador de coleta de 2 árvores e cultive a terceira árvore para prever os resíduos modificados. O procedimento acima é iterado em algumas instâncias. As observações que não estão bem definidas nas árvores anteriores são determinadas usando árvores subsequentes. As previsões do modelo de montagem final são, consequentemente, a figura preconceituosa das previsões terminadas pelos modelos de árvore anteriores.
Modelo GBM de treinamento
Para instruir um modelo gbm na linguagem R, a biblioteca GBM deve ser instalada e uma chamada para essa biblioteca GBM instalada a partir do programa de chamada é instanciada. Além disso, os argumentos necessários devem ser especificados, os principais argumentos estão listados abaixo,
1. A fórmula
2. Distribuição das variáveis de resposta
3. Variável preditora
4. Variável de resposta
As distribuições usuais usadas nos modelos GBM são Bernoulli, Poisson, etc.
Por fim, espera-se que os dados e os argumentos n.trees sejam especificados. Por padrão, o modelo gbm tomará como garantido 100 árvores, o que pode oferecer uma aproximação de boa qualidade do concerto do gbm.
Código de exemplo # 1
install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)
Aqui está uma próxima etapa: o conjunto de dados real é dividido em dividir o conjunto de dados de treinamento e teste e isso é alcançado usando a função createDataPartition (). Esse tipo de divisão será muito útil na parte posterior para treinar o conjunto de testes usando o conjunto de trens treinado e, além disso, são determinadas as previsões reais para os dados originais.
Código de exemplo # 2
TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)
O passo subsequente é treinar um modelo de gbm por meio de nossa oferta de treinamento. Embora todos os argumentos adicionais sejam precisos, o que foi notificado nas seções acima. mais dois argumentos adicionais são mencionados: interação, profundidade e retração.
1. Profundidade de interação explicita a profundidade máxima de cada árvore
2. A medição da taxa de intelecto é realizada usando o encolhimento. aqui todos os valores suplementares nas árvores básicas do aluno são diminuídos usando esse encolhimento.
Além disso, essa técnica permite exibir instruções de controle que operam com resultados condicionais. As operações de pesquisa usam amplamente essas árvores de decisão especificamente na análise de decisão. Também nos permite atingir uma meta e também são uma ferramenta admirada no aprendizado de máquina.
Saída do modelo GBM
A saída do modelo GBM contém detalhes sobre o número total de árvores implícitas para a execução. Isso ajudará a prever a influência da variável preditora no modelo, também a tabela de importância das variáveis e o gráfico do modelo podem ser derivados da função de resumo da saída do GBM.
Método Predict () usando o modelo GBM
Portanto, para fazer as previsões no topo dos dados digitados aqui, modelo GBM como outros modelos, o método de previsão está implícito. Além disso, a contagem do número total de árvores de decisão sendo usadas deve ser mencionada manualmente na seção de argumentos do método.
Código de amostra
predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)
Melhorias no modelo GBM
Restrições de árvore
- É significativo que os fracos alunos abranjam habilidades, mas permaneçam fracos.
Atualizações ponderadas
- A adição sequencial é aplicada a partir das previsões de cada árvore
- A doação de todas as árvores para esse valor precisa ser massiva para diminuir o aprendizado do algoritmo. esse processo é chamado de encolhimento.
Algoritmo Estocástico de Reforço de Gradiente
Esse lucro equivalente pode ser usado para diminuir a associação ladeada pelas árvores.
Algoritmo penalizado de aumento de gradiente
Árvores parametrizadas podem ser preenchidas com restrições adicionais; a árvore de decisão clássica não pode ser usada como aprendizes fracos. Em vez disso, é usado um personalizado chamado árvore de regressão que possui valores numéricos nos nós das folhas.
Artigos recomendados
Este foi um guia para o algoritmo de aumento de gradiente. Aqui discutimos uma introdução, Árvore de Decisão, Algoritmo AdaBoost, Modelo GBM de treinamento, Melhorias do modelo GBM, juntamente com alguns códigos de amostra. Você também pode consultar nossos outros artigos sugeridos para saber mais -- Algoritmo da Árvore de Decisão
- Algoritmos de aprendizado de máquina
- Algoritmo XGBoost
- Algoritmos de ciência de dados
- Algoritmo C ++ | Exemplos de algoritmo C ++
- Implementando a regressão de Poisson em R