Introdução à máquina restrita de Boltzmann

A máquina de Boltzmann restrita é um método que pode encontrar automaticamente padrões nos dados, reconstruindo nossa entrada. Geoff Hinton é o fundador da aprendizagem profunda. O RBM é uma rede superficial de duas camadas, na qual a primeira é a visível e a próxima é a camada oculta. Cada nó único na camada visível é associado a cada nó único na camada oculta. A máquina de Boltzmann restrita é considerada restrita porque dois nós da mesma camada não formam uma conexão. Um RBM é o equivalente numérico de tradutor bidirecional. No caminho de encaminhamento, um RBM recebe a entrada e a converte em um conjunto de números que codifica a entrada. No caminho inverso, leva isso como resultado e processa esse conjunto de entradas e as converte em sentido inverso para formar as entradas refazidas. Uma rede super treinada poderá executar essa transição reversa com alta veracidade. Em duas etapas, peso e valores têm um papel muito importante. Eles permitem que o RBM decodifique as inter-relações entre as entradas e também ajudam o RBM a decidir quais valores de entrada são mais importantes na detecção das saídas corretas.

Funcionamento da máquina de Boltzmann restrita

Cada nó visível recebe um valor de baixo nível de um nó no conjunto de dados. No primeiro nó da camada invisível, X é formado por um produto de peso e adicionado a um viés. O resultado desse processo é alimentado pela ativação que produz a potência do sinal de entrada fornecido ou da saída do nó.

No próximo processo, várias entradas se uniriam em um único nó oculto. Cada X é combinado pelo peso individual, a adição do produto é batida em valores e, novamente, o resultado é passado através da ativação para fornecer a saída do nó. Em cada nó invisível, cada entrada X é combinada pelo peso individual W. A entrada X tem três pesos aqui, formando doze juntos. O peso formado entre a camada se torna uma matriz em que as linhas são precisas para os nós de entrada e as colunas são satisfeitas para os nós de saída.

Cada nó invisível recebe quatro respostas multiplicadas pelo seu peso. A adição desse efeito é novamente adicionada ao valor. Isso atua como um catalisador para que algum processo de ativação aconteça e o resultado é novamente alimentado ao algoritmo de ativação que produz todas as saídas para cada entrada invisível.

O primeiro modelo derivado aqui é o modelo baseado em energia. Este modelo associa energia escalar a todas as configurações da variável. Este modelo define a distribuição de probabilidade através de uma função de energia da seguinte forma:

(1)

Aqui Z é o fator de normalização. É a função de partição em termos de sistemas físicos

Nesta função baseada em energia segue-se uma regressão logística que o primeiro passo definirá o log-. probabilidade e a próxima definirá a função de perda como uma probabilidade negativa.

usando o gradiente estocástico, Onde são os parâmetros

o modelo baseado em energia com uma unidade oculta é definido como 'h'

A parte Observada é denotada como 'x'

A partir da equação (1), a equação da energia livre F (x) é definida da seguinte forma

2)

(3)

O gradiente negativo tem a seguinte forma,

4)

A equação acima tem duas formas, a positiva e a negativa. O termo positivo e negativo não é representado por sinais das equações. Eles mostram o efeito da densidade de probabilidade. A primeira parte mostra a probabilidade de reduzir a energia livre correspondente. A segunda parte mostra a redução da probabilidade de amostras geradas. Então o gradiente é determinado da seguinte forma:

(5)

Aqui N é partículas negativas. Nesse modelo baseado em energia, é difícil identificar o gradiente analiticamente, pois inclui o cálculo de

Portanto, neste modelo EBM, temos observação linear que não é capaz de representar os dados com precisão. Portanto, no próximo modelo de máquina restrita de Boltzmann, a camada Oculta tem mais precisão e prevenção de perda de dados. A função de energia RBM é definida como,

6)

Aqui, W é o peso da conexão entre as camadas visíveis e ocultas. b é o deslocamento da camada visível.c é o deslocamento da camada oculta. convertendo para energia livre,

No RBM, as unidades da camada visível e oculta são completamente independentes, que podem ser escritas da seguinte maneira:

Das equações 6 e 2, uma versão probabilística da função de ativação do neurônio,

(7)

(8)

É ainda mais simplificado em

(9)

Combinando as equações 5 e 9,

(10)

Amostragem em máquina Boltzmann restrita

Amostragem de Gibbs da articulação de N variáveis ​​aleatórias é feito através de uma sequência de N subpasso de amostragem do formulário Onde

contém as outras variáveis ​​aleatórias em excluindo.

No RBM, S é um conjunto de unidades visíveis e ocultas. As duas partes são independentes, que podem executar ou bloquear a amostragem de Gibbs. Aqui, a unidade visível realiza a amostragem e atribui valor fixo às unidades ocultas; as unidades ocultas simultaneamente fornecem valores fixos à unidade visível por amostragem

aqui, é definido de todas as unidades ocultas. Um exemplo é escolhido aleatoriamente para ser 1 (versus 0) com probabilidade, e da mesma forma, é escolhido aleatoriamente para ser 1 (versus 0) com probabilidade

Divergência contrastante

É usado como catalisador para acelerar o processo de amostragem
Como esperamos ser verdade, esperamos o valor da distribuição deve estar próximo de P, de modo a formar uma convergência para a distribuição final de P

Mas a divergência contrastante não espera a convergência da cadeia. A amostra é obtida apenas após o processo de Gibb, portanto, definimos aqui k = 1 onde ela funciona surpreendentemente bem.

Divergência contrastante persistente

Este é outro método para a forma de amostragem por aproximação. É um estado persistente para cada método de amostragem que extrai novas amostras simplesmente alterando os parâmetros de K.

Camadas de máquina Boltzmann restrita

A máquina de Boltzmann restrita tem duas camadas, redes neurais rasas que se combinam para formar um bloco de redes de crenças profundas. A primeira camada é a camada visível e a outra camada é a camada oculta. Cada unidade refere-se a um círculo semelhante a um neurônio chamado nó. Os nós da camada oculta são conectados aos nós da camada visível. Mas dois nós da mesma camada não estão conectados. Aqui, o termo restrito refere-se a nenhuma comunicação intralayer. Cada nó processa a entrada e toma a decisão estocástica de transmitir ou não a entrada.

Exemplos

O importante papel do RBM é uma distribuição de probabilidade. Os idiomas são únicos em suas letras e sons. A distribuição de probabilidade da carta pode ser alta ou baixa. Em inglês, as letras T, E e A são amplamente utilizadas. Porém, em islandês, as letras comuns são A e N., não podemos tentar reconstruir o islandês com um peso baseado no inglês. Isso levará a divergência.

O próximo exemplo é imagens. A distribuição de probabilidade de seu valor de pixel difere para cada tipo de imagem. Podemos considerar que existem duas imagens Elephant e Dog para rebocar nós de entrada, o encaminhamento direto do RBM gerará uma pergunta, como devo gerar um nó de pixel forte para o nó do elefante ou o nó do cachorro ?. Então o passe para trás gerará perguntas como para o elefante, como devo esperar uma distribuição de pixels? Então, com a probabilidade e ativação das articulações produzidas pelos nós, eles construirão uma rede com co-ocorrência articular como orelhas grandes, tubo não linear cinza, orelhas flexíveis, rugas e o elefante. Portanto, o RBM é o processo de aprendizado profundo e visualização. Eles formam dois grandes vieses e agem de acordo com seu senso de ativação e reconstrução.

Vantagens da máquina restrita de Boltzmann

  • A máquina restrita de Boltzmann é um algoritmo aplicado usado para classificação, regressão, modelagem de tópicos, filtragem colaborativa e aprendizado de recursos.
  • A máquina Boltzmann restrita é usada para neuroimagem, reconstrução de imagem esparsa no planejamento de minas e também no reconhecimento de alvo por radar
  • RBM capaz de resolver problemas de dados desequilibrados pelo procedimento SMOTE
  • O RBM encontra valores ausentes pela amostragem de Gibb, que é aplicada para cobrir os valores desconhecidos
  • RBM supera o problema de etiquetas ruidosas por dados de etiqueta não corrigidos e seus erros de reconstrução
  • Os dados não estruturados do problema são retificados pelo extrator de recursos que transforma os dados brutos em unidades ocultas.

Conclusão

O aprendizado profundo é muito poderoso, que é a arte de resolver problemas complexos, ainda é um espaço para aprimoramentos e implementações complexas. Variáveis ​​livres devem ser configuradas com cuidado. As idéias por trás da rede neural eram difíceis antes, mas hoje o aprendizado profundo é o pé do aprendizado de máquina e da inteligência artificial. Portanto, o RBM oferece um vislumbre dos enormes algoritmos de aprendizado profundo. Ele lida com a unidade básica de composição que cresceu progressivamente em muitas arquiteturas populares e amplamente utilizada em muitas indústrias de larga escala.

Artigo recomendado

Este foi um guia para a máquina restrita Boltzmann. Aqui discutimos o funcionamento, a amostragem, as vantagens e as camadas da máquina Boltzmann restrita. Você também pode consultar nossos outros artigos sugeridos para saber mais _

  1. Algoritmos de aprendizado de máquina
  2. Arquitetura de aprendizado de máquina
  3. Tipos de aprendizado de máquina
  4. Ferramentas de aprendizado de máquina
  5. Implementação de redes neurais

Categoria:

Big Data