˜ Redes Neurais Artificiais: Introduc¸ao Parte 2 ˜ Lu´ıs Garcia Rosa Joao ˆ ˜ Departamento de Ciencias de Computac¸ao ˆ ´ ˜ Universidade de Sao ˜ Paulo Instituto de Ciencias Matematicas e de Computac¸ao, http://www.icmc.usp.br/˜joaoluis
[email protected] ˜ - ICMC-USP - Sao ˜ Carlos, 22 de Outubro de 2009 12a . Semana da Computac¸ao
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
1/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
´ Sumario 1 2
3
4 5
Aprendizado Conexionista O Aprendizado Backpropagation Algoritmo LMS Backpropagation ´ Plausibilidade Biologica ˜ a respeito da plausibilidade Considerac¸oes O BP e´ considerado biologicamente implaus´ıvel GeneRec Sistemas H´ıbridos RNA Baseadas em Conhecimento PLN Conexionista ˜ para o PLN Representac¸ao ˜ conexionista Soluc¸ao Estrutura de Superf´ıcie e Estrutura de Caso
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
2/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
´ Sumario 1 2
3
4 5
Aprendizado Conexionista O Aprendizado Backpropagation Algoritmo LMS Backpropagation ´ Plausibilidade Biologica ˜ a respeito da plausibilidade Considerac¸oes O BP e´ considerado biologicamente implaus´ıvel GeneRec Sistemas H´ıbridos RNA Baseadas em Conhecimento PLN Conexionista ˜ para o PLN Representac¸ao ˜ conexionista Soluc¸ao Estrutura de Superf´ıcie e Estrutura de Caso
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
3/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
˜ capazes de aprender Sistemas Conexionistas sao
Redes conexionistas aprendem: ´ da mudanc¸a dos pesos sinapticos, ´ atraves ´ da mudanc¸a da topologia da rede (em poucos atraves modelos).
´ da mudanc¸a dos pesos, a rede aprende, Atraves ˜ estat´ısticas a partir do meio automaticamente, correlac¸oes ambiente. Racioc´ınio probabil´ıstico: sem um modelo estat´ıstico do problema. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
4/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
˜ capazes de aprender Sistemas Conexionistas sao
´ ˜ Com o aprendizado Hebbiano, dois metodos sao poss´ıveis: ˜ ha´ ˜ supervisionado nao Com o aprendizado nao ˜ professor: a rede tenta discernir regularidades nos padroes de entrada. Com o aprendizado supervisionado uma entrada e´ associada com uma sa´ıda. ˜ iguais, trata-se de aprendizado Se a entrada e a sa´ıda sao auto-associativo. ˜ diferentes e´ chamado de aprendizado Se sao hetero-associativo.
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
5/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplos de aprendizado Hebbiano
Aprendizado competitivo (competitive learning) e´ uma ˜ supervisionado. forma de aprendizado nao Aprendizado hetero-associativo nas redes de Willshaw e´ um exemplo de aprendizado supervisionado.
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
6/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplo de aprendizado competitivo est´ımulo ’at’ e´ apresentado:
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
7/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplo de aprendizado competitivo ˜ inicia no n´ıvel categoria: competic¸ao
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
8/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplo de aprendizado competitivo ˜ resolve: a competic¸ao
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
9/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplo de aprendizado competitivo acontece o aprendizado Hebbiano:
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
10/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplo de aprendizado competitivo ˜ do ’to’ leva a` ativac¸ao ˜ do no´ categoria 1: A apresentac¸ao
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
11/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplo de aprendizado competitivo ˜ do ’to’ leva a` ativac¸ao ˜ do no´ categoria 1: A apresentac¸ao
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
12/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplo de aprendizado competitivo ˜ do ’to’ leva a` ativac¸ao ˜ do no´ categoria 1: A apresentac¸ao
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
13/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplo de aprendizado competitivo ˜ do ’to’ leva a` ativac¸ao ˜ do no´ categoria 1: A apresentac¸ao
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
14/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Exemplo de aprendizado competitivo ´ do aprendizado A categoria 1 e´ estabelecida atraves Hebbiano:
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
15/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Redes de Willshaw1
Um peso tem o valor 0 ou 1. ˜ 1. Um peso e´ colocado em 1 se a entrada e a sa´ıda sao ˜ a entrada da rede e´ dividida pelo numero Na recuperac¸ao ´ ´ ativos no padrao ˜ de entrada. total de nos
1
David J. Willshaw and Christoph von der Malsburg. How patterned neural connections can be set up by self-organization. Proceedings of the Royal Society of London, Series B, Vol. 194, pp. 431-445, 1976. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
16/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Redes de Willshaw ´ Exemplo de uma memoria hetero-associativa simples do tipo Willshaw:
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
17/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Redes de Willshaw ˜ de padrao: ˜ Exemplo de recuperac¸ao
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
18/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Redes de Willshaw ˜ (de forma bem sucedida) Exemplo: completar o padrao ˜ usando um subpadrao:
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
19/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O Aprendizado
Redes de Willshaw ˜ suave: pequenas lesoes ˜ tem ˆ Exemplo de degradac¸ao pequenos efeitos:
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
20/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
´ Sumario 1 2
3
4 5
Aprendizado Conexionista O Aprendizado Backpropagation Algoritmo LMS Backpropagation ´ Plausibilidade Biologica ˜ a respeito da plausibilidade Considerac¸oes O BP e´ considerado biologicamente implaus´ıvel GeneRec Sistemas H´ıbridos RNA Baseadas em Conhecimento PLN Conexionista ˜ para o PLN Representac¸ao ˜ conexionista Soluc¸ao Estrutura de Superf´ıcie e Estrutura de Caso
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
21/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Algoritmo LMS
Algoritmo de aprendizagem LMS Algoritmo de aprendizagem usado por perceptrons de uma unica camada. ´ LMS = Least-Mean-Square. ˜ Seja um conjunto de treinamento composto de I padroes de entrada/sa´ıda desejada. Como a rede tem m unidades de entrada x e n unidades ˜ e´ do tipo: de sa´ıda desejada t, cada um dos I padroes ((x1 , ..., xm ), (t1 , ..., tn )) ˜ de Uma vez que se apresenta a` rede os I padroes treinamento, pode-se obter uma medida do erro produzido pela rede. ˜ O erro e´ func¸ao: ˜ e de cada padrao, do erro produzido em cada unidade de sa´ıda, quando cada ˜ e´ apresentado. padrao ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
22/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Algoritmo LMS
Treinamento Supervisionado: Regra delta
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
23/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Algoritmo LMS
Algoritmo de aprendizagem LMS Se... ˜ de treinamento, e a rede aprende perfeitamente os padroes ˜ de treinamento refletem perfeitamente a tarefa os padroes que se quer aprender
˜ Entao... ´ o treinamento, o erro sera´ zero. apos
A principal causa do erro vem das diferenc¸as entre sa´ıda real e sa´ıda desejada, que decorre da sa´ıda produzida por pesos (e biases) incorretos. Aprender significa achar os pesos que tornem m´ınimo o erro. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
24/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Algoritmo LMS
Algoritmo de aprendizagem LMS ´ o treinamento e: ´ O erro total E apos
E(w) =
l X
Ep
p=1
´ ˜ de onde Ep e´ o erro produzido quando o p-esimo padrao treinamento e´ apresentado a` rede. ´ O erro Ep pode ser medido de varias maneiras, mas a ´ ´ medida mais usada e´ o erro quadratico medio: n
Ep =
1X (tk − yk )2 2 k=1
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
25/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Backpropagation
Backpropagation A dificuldade de aplicar a regra delta: como calcular o erro para uma unidade da camada escondida? ˜ (Error) Backpropagation ⇒ Generalizac¸ao ˜ da Soluc¸ao: regra delta. Backpropagation e´ um algoritmo supervisionado, que requer duas fases: ˜ da ativac¸ao, ˜ e propagac¸ao ˜ do erro. retropropagac¸ao
˜ local: permite calcular o erro baseado so´ em informac¸ao ´ dispon´ıvel nos pesos e unidades proximas ao peso que esta´ sendo modificado (como no SNC). logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
26/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Backpropagation
Error Backpropagation
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
27/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Backpropagation
Backpropagation
O algoritmo supervisionado backpropagation pode ser resumido: 1 ˜ Propague a ativac¸ao da camada de entrada para a escondida, da camada escondida para a de sa´ıda. 2
Calcule o erro. para as unidades de sa´ıda, Retropropague o erro para as unidades escondidas e para as de entrada. ˜ (epoca). ´ Os passos 1 e 2 constituem um ciclo de ativac¸ao
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
28/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Backpropagation
Backpropagation Os problemas do backpropagation: E´ bastante caro computacionalmente (lento), ˜ resolve bem problemas de grande porte, Nao ` vezes, a soluc¸ao ˜ encontrada e´ um m´ınimo local - um As ˜ erro. valor localmente m´ınimo para a func¸ao
Vantagens do backpropagation: ˜ universal: poder de aproximac¸ao ˜ cont´ınua, existe uma rede de duas dada uma func¸ao camadas (uma escondida) que pode ser treinada por backpropagation de modo a aproximar o quanto se queira ˜ essa func¸ao.
algoritmo mais usado. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
29/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
´ Sumario 1 2
3
4 5
Aprendizado Conexionista O Aprendizado Backpropagation Algoritmo LMS Backpropagation ´ Plausibilidade Biologica ˜ a respeito da plausibilidade Considerac¸oes O BP e´ considerado biologicamente implaus´ıvel GeneRec Sistemas H´ıbridos RNA Baseadas em Conhecimento PLN Conexionista ˜ para o PLN Representac¸ao ˜ conexionista Soluc¸ao Estrutura de Superf´ıcie e Estrutura de Caso
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
30/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ Considerac¸oes a respeito da plausibilidade
˜ Introduc¸ao Os modelos de RNA recentes: ˜ contemplam muitas propriedades fisiologicas ´ nao do ˆ neuronio, mais orientados a` performance computacional que a` ´ credibilidade biologica.
˜ Proposta desta sec¸ao: ˜ biologica ´ tentar resgatar a inspirac¸ao dos sistemas conexionistas.
Uma abordagem conexionista biologicamente inspirada deve apresentar: um algoritmo de treinamento neurofisiologicamente motivado, uma arquitetura conexionista bi-direcional, ´ varias outras caracter´ısticas, como por exemplo, ˜ distribu´ıdas. representac¸oes ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
31/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O BP e´ considerado biologicamente implaus´ıvel
Backpropagation (BP) BP e´ considerado implaus´ıvel biologicamente. ˜ baseia-se na retro-propagac¸ao ˜ do erro: A razao o est´ımulo se propaga para frente (da entrada para a sa´ıda), o erro (diferenc¸a entre as sa´ıdas desejada e real) se ´ (da sa´ıda para a entrada). propaga para tras
´ No cortex cerebral: ˆ o est´ımulo gerado quando um neuronio “dispara” cruza o ˆ ˜ ao seu terminal para fazer sinapse em axonio em direc¸ao ˆ um outro neuronio de entrada.
´ Suponha que o BP ocorra no cerebro: o erro deve se propagar de volta, dos dendritos do ˆ ´ ´ ˆ neuronio pos-sin aptico para o axonio e depois para o ˆ ´ ´ dendrito do neuronio pre-sin aptico.
´ Parece um tanto irreal e improvavel. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
32/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
O BP e´ considerado biologicamente implaus´ıvel
´ A implausibilidade biologica do Backpropagation
´ Os pesos sinapticos devem ser modificados para permitir o ˜ da forma que o BP faz, aprendizado: mas certamente nao ˜ local A mudanc¸a de pesos deve usar apenas informac¸ao da sinapse onde ocorre, ˜ porque o BP parece ser tao ˜ biologicamente Esta e´ a razao implaus´ıvel!
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
33/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
GeneRec
Algoritmo GeneRec - Generalized Recirculation
Algoritmo conexionista supervisionado baseado no backpropagation, Arquitetura bi-direcional, Biologicamente mais plaus´ıvel, Consiste de duas fases: a fase menos e a fase mais.
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
34/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
GeneRec
GeneRec - fase “menos”
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
35/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
GeneRec
GeneRec - fase “menos”
hj−
A C X X = σ( wij · xi (t) + wjk · ok (t − 1)) i=0
k=1
˜ de ativac¸ao ˜ sigmoide ´ σ = func¸ao
ok (t) = σ(
B X
wjk · hj− )
j=1 logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
36/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
GeneRec
GeneRec - fase “mais”
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
37/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
GeneRec
GeneRec - fase “mais”
hj+ = σ(
A X i=0
wij · xi (t) +
C X
wjk · yk (t))
k=1
∆wjk = η · (yk (t) − ok (t)) · hj−
∆wij = η · (hj+ − hj− ) · xi (t) η = taxa de aprendizado ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
38/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
GeneRec
˜ simples GeneRec - uma aplicac¸ao
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
39/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
GeneRec
Coffee break
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
40/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
´ Sumario 1 2
3
4 5
Aprendizado Conexionista O Aprendizado Backpropagation Algoritmo LMS Backpropagation ´ Plausibilidade Biologica ˜ a respeito da plausibilidade Considerac¸oes O BP e´ considerado biologicamente implaus´ıvel GeneRec Sistemas H´ıbridos RNA Baseadas em Conhecimento PLN Conexionista ˜ para o PLN Representac¸ao ˜ conexionista Soluc¸ao Estrutura de Superf´ıcie e Estrutura de Caso
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
41/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
RNA Baseadas em Conhecimento
ˆ A Inteligencia Artificial ˆ A Inteligencia Artificial divide-se basicamente em dois paradigmas em princ´ıpio opostos: ´ ´ simbolico, baseado na logica, e ˜ da atividade de conexionista, baseado na propagac¸ao processadores elementares.
´ Vantagens da abordagem simbolica: ˜ do conhecimento, Facilidade de representac¸ao ˜ logicas ´ Poder expressivo das representac¸oes gerais, ´ da inferencia ˆ ´ Entendimento atraves logica.
´ Vantagens da abordagem conexionista (sub-simbolica): aprendizado, ˜ generalizac¸ao, ˆ tolerancia a falhas. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
42/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
RNA Baseadas em Conhecimento
´ Abordagem Simbolica Baseada em regras: ˜ da logica: ´ Implicac¸ao (A ∧ B) → C ´ Clausula do Prolog: C : −A, B.
Maiores cr´ıticas aos sistemas conexionistas: ˆ ˜ se sabe como), Falta de transparencia (funciona mas nao Demora no treinamento.
˜ Redes Neurais Baseadas em Conhecimento Soluc¸ao: ´ (abordagem h´ıbrida simbolico-conexionista). logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
43/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
RNA Baseadas em Conhecimento
Abordagem H´ıbrida
Vantagens da abordagem h´ıbrida: ˜ do conhecimento simbolico ´ Extrac¸ao a partir da rede neural ˜ entre representac¸oes ˜ de permite a troca de informac¸ao ´ conhecimento conexionista e simbolico, ´ O conhecimento simbolico pode ser inserido na rede neural e depois refinado, Uma melhora significativa no tempo de aprendizado.
Abordagem H´ıbrida: 1 2 3
´ ˜ ’Conhecimento’ inicial simbolico −→ Pesos de conexao, Aprendizado, ˜ −→ ’Conhecimento’ final simbolico. ´ Pesos de conexao logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
44/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
RNA Baseadas em Conhecimento
Abordagem H´ıbrida
((WAC ∗ A) + (WBC ∗ B)) → C ˜ As redes neurais podem aprender associac¸oes entrada-sa´ıda. ˜ capazes de recuperar uma sa´ıda As redes neurais sao baseado em itens de entrada incompletos. ˜ suave. As redes neurais mostram degradac¸ao ´ Na abordagem h´ıbrida, a IA simbolica e a IA conexionista se encontram. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
45/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
´ Sumario 1 2
3
4 5
Aprendizado Conexionista O Aprendizado Backpropagation Algoritmo LMS Backpropagation ´ Plausibilidade Biologica ˜ a respeito da plausibilidade Considerac¸oes O BP e´ considerado biologicamente implaus´ıvel GeneRec Sistemas H´ıbridos RNA Baseadas em Conhecimento PLN Conexionista ˜ para o PLN Representac¸ao ˜ conexionista Soluc¸ao Estrutura de Superf´ıcie e Estrutura de Caso
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
46/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ para o PLN Representac¸ao
˜ em RNA: Um Exemplo de PLN Representac¸ao conexionista
˜ depende de uma boa representac¸ao,” ˜ “Uma boa soluc¸ao ˜ utilizada nos sistemas CPPro [20] e Representac¸ao ˆ HTRP [23]: Microcaracter´ısticas Semanticas, de McClelland e Kawamoto (1986)2 .
2
J. L. McClelland and A. H. Kawamoto, Mechanisms of Sentence Processing: Assigning Roles to Constituents of Sentences. Parallel Distributed Processing - Explorations in the Microstructure of Cognition Volume 2: Psychological and Biological Models - James L. McClelland and David E. Rumelhart (Eds.), A Bradford Book, The MIT Press, 1986. Chapter 19 (pages 272-325). ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
47/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ para o PLN Representac¸ao
´ de caso tematicos ´ Papeis ˜ da sentenc¸a: a atribuic¸ao ˜ Um aspecto da compreensao ´ de caso dos constituintes de uma sentenc¸a aos papeis ´ tematicos corretos. ´ Varias sentenc¸as com o verbo quebrar: 1. 2. 3. 4. 5.
(O menino)SN quebrou (a vidrac¸a)SN . (A pedra)SN quebrou (a vidrac¸a)SN . (A vidrac¸a)SN quebrou. (O menino)SN quebrou a vidrac¸a (com (a pedra)SN )SP . (O menino)SN quebrou (a vidrac¸a)SN (com (a cortina)SN )SP .
O primeiro SN pode ser: o AGENTE (sentenc¸as 1, 4 e 5), o INSTRUMENTO (sentenc¸a 2), o PACIENTE (sentenc¸a 3).
O SN do SP pode ser: o INSTRUMENTO (sentenc¸a 4), modificador do segundo SN (sentenc¸a 5). ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
48/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ para o PLN Representac¸ao
´ de caso tematicos ´ Papeis ˜ de papeis ´ de com-SN: Ambiguidade da atribuic¸ao ¨ ˜ com molho. 6. O menino comeu o macarrao ˜ com garfo. 7. O menino comeu o macarrao
˜ da ordem da palavra Restric¸oes 8. O vaso quebrou a vidrac¸a. 9. A vidrac¸a quebrou o vaso. ´ 10. O lapis chutou a vaca.
˜ na ordem das palavras (como em 10) sao ˜ Restric¸oes ˆ mas nao ˜ e´ universal. muito fortes em portugues, ˜ semanticas: ˆ Restric¸oes e´ poss´ıvel (no italiano) atribui o papel de AGENTE a a vaca em 10. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
49/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ para o PLN Representac¸ao
Contexto
Contexto global em que a sentenc¸a e´ apresentada: ´ 11. O menino viu a menina com os binoculos.
1o . Contexto: Um menino olha pela janela tentando ´ descobrir quanto ele consegue ver com varios ´ instrumentos opticos, 2o . Contexto: Duas meninas tentam identificar alguns ´ passaros quando um menino se aproxima. Uma menina ´ ˜ tem um par de binoculos e a outra nao.
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
50/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ para o PLN Representac¸ao
Um Exemplo de PLN conexionista
˜ Enquanto o fato de que a ordem da palavra e as restric¸oes ˆ ˜ de caso tem sido semanticas influenciam a atribuic¸ao ˜ reconhecido, existem alguns poucos modelos que vao ´ e propoem ˜ alem um mecanismo para explicar a causa destes efeitos. Entretanto, existem alguns pesquisadores em PLN que ˆ tentado encontrar formas de trazer as considerac¸oes ˜ tem ˆ ´ semanticas para o processamento sintatico de uma forma ou outra. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
51/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ para o PLN Representac¸ao
ˆ Preferencia lexical ´ Uma abordagem recente depende do lexico para ´ ˜ de influenciar o processamento sintatico e a construc¸ao ˜ funcionais basicas, ´ representac¸oes que consideram casos como: ´ 12. A mulher (queria (o vestido do armario) SN )SV . ´ 13. A mulher (colocou (o vestido)SN no armario) SV .
A leitura preferida para a primeira destas sentenc¸as (12) ´ tinha do armario como um modificador de o vestido, enquanto que a leitura preferida para a segunda (13) tinha ´ no armario como um argumento de local de colocou. ˜ de caso, foi Para explicar esta diferenc¸a na atribuic¸ao proposto dois princ´ıpios: ˆ preferencia lexical, argumentos finais. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
52/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ para o PLN Representac¸ao
ˆ Preferencia lexical ˆ Basicamente, a preferencia lexical estabelece uma estrutura de argumento esperada (por ex. Sujeito-Verbo-Objeto Direto no caso de querer; Sujeito-Verbo-Objeto Direto-Objeto Indireto no caso de colocar) consultando uma lista ordenada de poss´ıveis estruturas de argumentos associadas com cada verbo. ˜ na Se um constituinte que poderia preencher uma posic¸ao ´ estrutura de argumento esperada e encontrado, o mesmo e´ tratado como um argumento do verbo. Portanto, se um constituinte que aparece para satisfazer ˜ do argumento final da estrutura de as condic¸oes ˜ na argumento esperada e´ encontrado, sua colocac¸ao ˜ dos sentenc¸a e´ atrasada para permitir a incorporac¸ao constituintes subsequentes. ¨ ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
53/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ para o PLN Representac¸ao
ˆ Preferencia lexical
Portanto, com querer, o SN o vestido e´ um candidato para ˜ e´ colocado diretamente como um argumento final e nao constituinte do Sintagma Verbal (SV ); antes, uma estrutura SN superordenada contendo o vestido do ´ armario e´ finalmente colocada no SV . ˜ poderia ser o Com colocar, entretanto, o vestido nao argumento final, e portanto, ele e´ colocado diretamente ao SV . ´ ˜ dispon´ıvel para a colocac¸ao ˜ como No armario esta´ entao argumento final do SV . logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
54/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ para o PLN Representac¸ao
Um Exemplo de PLN conexionista
De qualquer forma, esta´ claro que um mecanismo e´ ´ necessario no qual todos os constituintes de uma sentenc¸a possam trabalhar simultaneamente para ˜ de casos aos constituintes. influenciar a atribuic¸ao ´ Este modelo toma como entrada uma analise parcial ˜ de n´ıvel superficial e gera a partir disto uma representac¸ao de caso.
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
55/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ conexionista Soluc¸ao
Um Exemplo de PLN conexionista
Meta principal: prover um mecanismo que considere o papel da ordem da ˜ semanticas ˆ ˜ de papel (de palavra e restric¸oes na atribuic¸ao caso): que seja capaz de aprender a fazer isto baseado na ˆ ˜ de caso. experiencia com sentenc¸as e suas representac¸oes que seja capaz de generalizar o que aprendeu para novas ˜ de sentenc¸as constru´ıdas a partir de novas combinac¸oes palavras.
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
56/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ conexionista Soluc¸ao
Um Exemplo de PLN conexionista Outras metas: que seja capaz de selecionar contextualmente leituras apropriadas de palavras amb´ıguas, que selecione o verbo (verb frame) apropriado baseado no ˜ de argumentos e em suas caracter´ısticas padrao ˆ semanticas, que preencha os argumentos ausentes em sentenc¸as incompletas com valores plaus´ıveis, que seja capaz de generalizar seu conhecimento de ˜ de papel correto a sentenc¸as que contenham atribuic¸ao uma palavra nunca vista antes, dado apenas uma ˜ de algumas das propriedades semanticas ˆ especificac¸ao da palavra. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
57/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ conexionista Soluc¸ao
Arquitetura do Modelo O modelo consiste de dois conjuntos de unidades: um para representar a estrutura de superf´ıcie (ES) da sentenc¸a, um para representar a estrutura de caso (EC) da sentenc¸a.
´ de apresentac¸oes ˜ de pares O modelo aprende atraves corretos ES/EC. Sentenc¸as: ˆ SNs. um verbo e de um a tres Ha´ sempre um SN sujeito e opcionalmente, um SN objeto. ´ um com-SN, isto e, ´ um SN num SP Pode haver tambem comec¸ando com com.
Formato de Entrada das Sentenc¸as: ˜ canonica ˆ representac¸ao da sentenc¸a, ´ forma produzida por um parser de superf´ıcie e um lexico simples. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
58/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ conexionista Soluc¸ao
ˆ Microcaracter´ısticas Semanticas ˆ ˜ No formato de entrada canonico, as palavras sao representadas como listas de microcaracter´ısticas ˆ semanticas. ˜ Para verbos e substantivos, os trac¸os (caracter´ısticas) sao ´ ˜ agrupados em varias dimensoes. ˜ consiste de um conjunto de valores Cada dimensao mutuamente exclusivos. Em geral, cada palavra e´ representada por um vetor no ˜ esta´ ligado qual apenas um unico valor em cada dimensao ´ (representado por “1”). ˜ desligados sao ˜ representados por Valores que estao pontos (“.”). ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
59/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ conexionista Soluc¸ao
ˆ Microcaracter´ısticas Semanticas ˜ e os valores em cada dimensao ˜ foram As dimensoes ˜ importantes de escolhidos para capturar dimensoes ˜ semantica ˆ variac¸ao nos significados das palavras com ˜ na atribuic¸ao ˜ de papel de caso. implicac¸ao ˜ e valores de caracter´ısticas dos substantivos: Dimensoes
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
60/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ conexionista Soluc¸ao
ˆ Microcaracter´ısticas Semanticas ˜ e valores de caracter´ısticas dos verbos: Dimensoes
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
61/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ conexionista Soluc¸ao
ˆ Microcaracter´ısticas Semanticas: Exemplo
Microcaracter´ısticas do substantivo bola: ˜ humano; soft; neutro; pequeno; compacto; nao ´ arredondado; inquebravel; brinquedo.
Microcaracter´ısticas do verbo quebrar: ator; causa; toque instrumento; troca em pedac¸os; ˜ nenhum movimento movimento agente participac¸ao; paciente; intensidade alta.
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
62/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
˜ conexionista Soluc¸ao
Ambiguidade ¨ Umas das metas para o modelo e´ mostrar como ele pode selecionar o significado apropriado no contexto para uma palavra amb´ıgua. ˜ de Para palavras amb´ıguas (cravo, por exemplo) o padrao ´ ˜ de caracter´ısticas de cada entrada e´ a media dos padroes uma das duas leituras da palavra. Isto significa que nos casos onde as duas concordam com ˜ de entrada particular, esta o valor de uma dimensao ˜ tem o valor acordado na representac¸ao ˜ de dimensao entrada. Nos casos onde os dois discordam, a caracter´ıstica tem o ˜ de valor de 0.5 (representado por “?”) na representac¸ao entrada. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
63/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Superf´ıcie - ES ˜ e´ ver se o modelo pode Um dos objetivos das simulac¸oes ˜ especificados, corretamente preencher estes valores nao efetivamente recuperando os valores perdidos do contexto ˜ da palavra ao caso apropriado. no processo da atribuic¸ao ˜ do n´ıvel de Estrutura de Superf´ıcie de A representac¸ao ˜ e´ o conjunto de vetores de uma sentenc¸a de entrada nao ˜ de ativac¸ao ˜ caracter´ısticas constituintes, mas sim o padrao que esses vetores produzem sobre as unidades que correspondem a pares de caracter´ısticas. ˜ chamadas unidades de estrutura de Estas unidades sao superf´ıcie (ES). ˜ de duas Cada unidade ES representa a conjunc¸ao microcaracter´ısticas do preenchedor de um caso de superf´ıcie particular. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
64/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Superf´ıcie - ES Como ha´ quatro casos de estruturas de superf´ıcie, existem quatro conjuntos de unidades ES. Dentro de cada conjunto existe uma unidade que ˜ de todo valor de representa a conjunc¸ao ˜ com todo valor de microcaracter´ıstica em cada dimensao ˜ microcaracter´ıstica em qualquer outra dimensao. ´ ˜ das Considera-se varios esquemas para a ativac¸ao unidades de ES. ˜ Um esquema poss´ıvel seria usar uma regra de ativac¸ao determin´ıstica, tal que uma unidade ES particular seria ligada apenas se ambas as caracter´ısticas que a unidade representa estivessem dentro do vetor de caracter´ısticas. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
65/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Superf´ıcie - ES Este uso das unidades ES permitiria que o modelo aprendesse a responder de uma forma mais apurada a ˜ de microcaracter´ısticas. determinadas conjunc¸oes ˜ bem o modelo poderia Entretanto, deseja-se ver o quao ˜ de entrada com funcionar usando uma representac¸ao ru´ıdos. ˜ e´ facilitada quando Contudo sabe-se que a generalizac¸ao as unidades que unificam apenas parcialmente com a ˆ alguma chance de serem ativadas. entrada tem No presente caso, considera-se isto importante para ser capaz de generalizar para palavras com significados similares. ˜ tratadas como unidades Portanto, as unidades ES sao ´ ´ binarias estocasticas. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
66/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Superf´ıcie - ES ´ Cada unidade ES recebe entrada excitatoria de cada uma das duas caracter´ısticas que ela representa e a ˜ e a variancia ˆ polarizac¸ao das unidades e´ colocada de tal forma que quando ambas as caracter´ısticas das unidades ˜ ativas, a unidade “liga” com probabilidade 0.85; e ES estao quando nenhuma esta´ ativa, ela “liga” com probabilidade 0.15. ˜ representados na tabela por “1” e “.”, Estes casos sao respectivamente. ´ As unidades que recebem apenas uma entrada excitatoria ˜ “liga” com probabilidade .5; estas unidades sao representadas por “?”. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
67/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Superf´ıcie - ES
˜ Enquanto o modelo funciona bem com esta simulac¸ao, ˜ que usem um lexico ´ presume-se que simulac¸oes maior ˜ de algumas representac¸oes ˜ requeiram maior diferenciac¸ao de substantivos e verbos. Para trabalhar com tais casos, acredita-se que seria ´ ˜ de entrada as ` necessario permitir o ajuste das conexoes ´ do algoritmo backpropagation de tal unidades ES atraves ˜ maior possa ser obtida forma que uma diferenciac¸ao ´ quando necessario. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
68/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Caso - EC ˜ de caso tem uma forma levemente A representac¸ao ˜ de estrutura de sentenc¸a. diferente da representac¸ao ˜ e´ util Para entender esta representac¸ao, ´ voltar a um ponto de vista mais abstrato e considerar mais geralmente como ˜ estrutural numa se deve representar uma descric¸ao ˜ distribu´ıda. representac¸ao ˜ estrutural pode ser representada Em geral uma descric¸ao por um conjunto de triplas da forma (A R B) onde A e B ´ na descric¸ao ˜ estrutural e R correspondem aos nos ˜ entre os nos. ´ representa a relac¸ao ˜ de classes pode Por exemplo, uma hierarquia de inclusao ´ ser representada por triplas da forma (X E-UM Y ), onde X ˜ nomes de categorias. e Y sao ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
69/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Caso - EC ˜ estrutural, seja uma estrutura de Qualquer outra descric¸ao ´ constituinte sintatico, uma estrutura de constituinte ˆ semantico ou qualquer outra coisa, pode ser representada desta forma. ˜ de caso dos constituintes da Especificamente, a atribuic¸ao sentenc¸a O garoto quebrou a vidrac¸a com o martelo pode ser representada como: Quebrou AGENTE Garoto, Quebrou PACIENTE Vidrac¸a, Quebrou I NSTRUMENTO Martelo.
A estrutura constituinte de uma sentenc¸a tal como O ˜ com molho poderia ser garoto comeu o macarrao representada por: Comeu AGENTE Garoto, ˜ Comeu PACIENTE Macarrao, ˜ Modificador Molho. Macarrao ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
70/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Caso - EC ˜ local, poder-se-ia representar cada Numa representac¸ao uma destas triplas por uma unidade unica. ´ ˜ a conjunc¸ao ˜ de Cada unidade destas representaria entao uma determinada cabec¸a ou lado esquerdo de uma tripla, ˜ e uma determinada cauda ou uma determinada relac¸ao, lado direito. Nesta abordagem mais distribu´ıda seriam alocados grupos de unidades para representar cada uma das ˜ (ou casos), que seriam o AGENTE, poss´ıveis relac¸oes PACIENTE, I NSTRUMENTO e Modificador, e teriam unidades ˜ de dentro de cada grupo representando conjunc¸oes microcaracter´ısticas do primeiro e terceiro argumentos (a cabec¸a e a cauda) da tripla. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
71/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Caso - EC ˜ por uma unica Portanto, a tripla e´ representada nao ´ ˜ de ativac¸ao ˜ sobre um unidade ativa, mas por um padrao conjunto de unidades. ˜ existe um grupo de unidades para Nesta implementac¸ao, ˜ permitidas na estrutura de cada uma das quatro relac¸oes caso. Os grupos do AGENTE, PACIENTE, I NSTRUMENTO e ˜ colocados da esquerda para a direita. Modificador sao Dentro de cada grupo, as unidades individuais ˜ de uma microcaracter´ıstica da representam conjunc¸oes ˜ com uma microcaracter´ıstica da cabec¸a de cada relac¸ao ˜ cauda de cada relac¸ao. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
72/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
Unidades de Estrutura de Caso - EC ˜ por exemplo no slide 11, Quebrou-AGENTE-Garoto Entao, ˜ de ativac¸ao. ˜ e´ representado por um padrao ´ ´ A unidade na i-esima linha e j-esima coluna representa a ˜ da caracter´ıstica i do verbo com caracter´ıstica j conjunc¸ao do substantivo. ˜ todas as unidades com a mesma caracter´ıstica de Entao, ˜ alinhadas na mesma linha, enquanto que verbo estao todas as unidades com a mesma caracter´ıstica de ˜ alinhadas na mesma coluna. substantivo estao ´ Para o grupo do Modificador, a unidade na i-esima linha e ´ ˜ da caracter´ıstica j-esima coluna representaria a conjunc¸ao i do SN modificado e a caracter´ıstica j do SN modificador. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
73/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
ˆ Microcaracter´ısticas Semanticas
˜ de dimensao ˜ das As letras indicando as especificac¸oes ˜ colocadas ao longo das bordas lateral e unidades sao superior. Exemplo de uma unidade de ES para o verbo quebrar e EC para Quebrou-AGENTE-Garoto e´ mostrada abaixo. ˆ SNs A matriz do verbo e´ diferente das matrizes dos tres ˜ juntadas nas pois caracter´ısticas diferentes sao ˜ de verbo e de SN. representac¸oes
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
74/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
ˆ Microcaracter´ısticas Semanticas
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
75/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
˜ Experimentos de Simulac¸ao
Geradores para sentenc¸as usadas no treinamento e testes: ´ o humano quebrou o objeto-fragil.
Categorias de substantivos para preencher a tabela do gerador: humano: homem, mulher, menino, menina. ´ objeto-fragil: prato, vidrac¸a, vaso.
´ Resultado: Numero medio de microcaracter´ısticas ´ ˜ da quantidade de incorretas produzidas como uma func¸ao ˆ experiencia de aprendizado. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
76/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
´ Resultados Basicos
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
77/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
´ ˜ Metodos para Formar Representac¸oes Distribu´ıdas ˜ Uma abordagem popular para formar representac¸oes ˜ de caracter´ısticas (trac¸os) distribu´ıdas e´ a codificac¸ao ˆ semanticos usadas por McClelland e Kawamoto [11]. ˜ e´ significativo por si so. ´ Este tipo de representac¸ao ´ poss´ıvel extrair informac¸ao ˜ apenas examinando a E ˜ sem necessidade de treinar uma rede para representac¸ao, interpreta-la. ´ Varios sistemas diferentes podem processar as mesmas ˜ e se comunicar usando-as. representac¸oes logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
78/93
Aprendizado Conexionista
Backpropagation
´ Plausibilidade Biologica
Sistemas H´ıbridos
PLN Conexionista
Estrutura de Superf´ıcie e Estrutura de Caso
´ ˜ Metodos para Formar Representac¸oes Distribu´ıdas
˜ devem ser pre-codificados ´ Por outro lado, tais padroes e mantidos fixos. ˜ pode ser otimizada adaptando as A performance nao ˜ as ` tarefas e dados reais. representac¸oes ˜ classificados ao longo das Porque todos os conceitos sao ˜ ˜ se torna mesmas dimensoes, o numero de dimensoes ´ ˜ irrelevantes ao conceito muito grande, e muitas delas sao ˆ o genero ˆ particular (em Ingles, de substantivos). logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
79/93
The End Obrigado!
˜ Lu´ıs Garcia Rosa Joao
[email protected] ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
80/93
Bibliografia
Bibliografia I
[1] A. E. Bryson and Y.-C. Ho Applied Optimal Control. Blaisdell, New York, 1969. [2] F. Crick and C. Asanuma Certain Aspects of the Anatomy and Physiology of the Cerebral Cortex. in J. L. McClelland and D. E. Rumelhart (eds.), Parallel Distributed Processing, Vol. 2, Cambridge, Massachusetts London, England, The MIT Press, 1986. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
81/93
Bibliografia
Bibliografia II [3] A. S. d’Avila Garcez, K. Broda, and D. M. Gabbay Symbolic knowledge extraction from trained neural networks: a sound approach. Artificial Intelligence 125, 155–207, 2001. [4] L. M. Fu Knowledge Base Refinement by Backpropagation. Data and Knowledge Engineering 7, 35-46, 1991. [5] L. M. Fu Knowledge-Based Connectionism for Revising Domain Theories. IEEE Trans. on Systems, Man, and Cybernetics, Vol. 23, No.1, 173–182, 1993. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
82/93
Bibliografia
Bibliografia III [6] S. Haykin Neural networks - a comprehensive foundation, 2nd. edition. Prentice Hall, 1999. [7] G. E. Hinton and J. L. McClelland Learning Representations by Recirculation. in Neural Information Processing Systems, D. Z. Anderson (Ed.), American Institute of Physics, New York, 358–366, 1988. [8] A. K. Jain, J. Mao, and K. M. Mohiuddin Artificial Neural Networks: A Tutorial. IEEE Computer, March 1996, pp. 31–44. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
83/93
Bibliografia
Bibliografia IV
[9] E. R. Kandel, J. H. Schwartz, and T. M. Jessell Principles of Neural Science. Fourth Edition. McGraw-Hill, 2000. [10] G. G. Matthews Neurobiology Molecules, Cells and System Blackwell Science Inc., Cambridge, Massachusetts London, England, 2 edition, 2001. Figures: http://www.blackwellpublishing.com/ matthews/figures.html. Acc. February, 2005. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
84/93
Bibliografia
Bibliografia V [11] J. L. McClelland and A. H. Kawamoto Mechanisms of Sentence Processing: Assigning Roles to Constituents of Sentences. in Parallel Distributed Processing, Volume 2 - Psychological and Biological Models, J. L. McClelland and D. E. Rumelhart (Eds.), A Bradford Book, MIT Press, 1986. [12] J. L. McClelland and D. E. Rumelhart (Eds.) Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 2: Psychological and Biological Models. A Bradford Book - The MIT Press, 1986. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
85/93
Bibliografia
Bibliografia VI
[13] MUN - Memorial University of Newfoundland Canada. Biology: http://www.mun.ca/biology/. Accessed in February, 2005. [14] J. Murre Introduction to Connectionism. Universiteit van Amsterdam en Universiteit Utrecht, 2001. http: //www.neuromod.org/courses/connectionism/ introduction-to-connectionism/ logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
86/93
Bibliografia
Bibliografia VII
[15] C. W. Omlin and C. L. Giles Rule Revision with Recurrent Neural Networks. IEEE Transactions on Knowledge and Data Engineering, 8(1): 183–188, 1996. [16] C. W. Omlin and C. L. Giles Extraction of Rules from Discrete-time Recurrent Neural Networks. Neural Networks, 9(1): 41–52, 1996.
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
87/93
Bibliografia
Bibliografia VIII
[17] R. C. O’Reilly Biologically Plausible Error-driven Learning Using Local Activation Differences: the Generalized Recirculation Algorithm. Neural Computation, 8(5), 895–938, 1996. [18] R. C. O’Reilly Six principles for biologically-based computational models of cortical cognition. Trends in Cognitive Science, 2, 455–462, 1998. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
88/93
Bibliografia
Bibliografia IX [19] T. Orru, ´ J. L. G. Rosa, M. L. Andrade Netto SABio: A Biologically Plausible Connectionist Approach to Automatic Text Summarization. Applied Artificial Intelligence. Volume 22, Issue 9 October 2008, pages 896–920. Taylor & Francis. [20] J. L. G. Rosa A Thematic Connectionist Approach to Portuguese Language Processing. Proceedings of the IASTED International Conference on Artificial Intelligence and Soft Computing, July 27-August 1, Banff, Canada, 240–243, 1997. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
89/93
Bibliografia
Bibliografia X
[21] J. L. G. Rosa An Artificial Neural Network Model Based on Neuroscience: Looking Closely at the Brain. ´ N. C. Steele, R. Neruda, and M. Karn´ ´ y in V. Kurkova, (Eds.), Artificial Neural Nets and Genetic Algorithms Proceedings of the International Conference in Prague, Czech Republic, 2001 - ICANNGA-2001. April 22-25, Springer-Verlag, 138–141, 2001.
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
90/93
Bibliografia
Bibliografia XI [22] J. L. G. Rosa Biologically Plausible Artificial Neural Networks. Tutorial de duas horas, ministrado no IJCNN 2005 International Joint Conference on Neural Networks, ´ Canada, em 31 de julho de 2005. Dispon´ıvel em Montreal, http://ewh.ieee.org/cmte/cis/mtsc/ieeecis/ contributors.htm. [23] J. L. G. Rosa and E. Franc¸ozo Hybrid Thematic Role Processor: Symbolic Linguistic Relations Revised by Connectionist Learning. in Proceedings of IJCAI’99 - Sixteenth International Joint Conference on Artificial Intelligence, Stockholm, Sweden, logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
91/93
Bibliografia
Bibliografia XII July 31-August 6, Volume 2, Morgan Kaufmann, 852–857, 1999. [24] D. E. Rumelhart and J. L. McClelland (Eds.) Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 1: Foundations. A Bradford Book - The MIT Press, 1986. [25] S. Russell and P. Norvig Artificial Intelligence - A Modern Approach. 2nd. edition. Prentice Hall, Inc., 2001. [26] R. Setiono and H. Liu Symbolic Representation of Neural Networks. IEEE Computer, Vol. 29, No. 3, 71–77, 1996. ˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
logo
92/93
Bibliografia
Bibliografia XIII
[27] M. O. Schneider and J. L. G. Rosa Application and Development of Biologically Plausible Neural Networks in a Multiagent Artificial Life System. Neural Computing & Applications. 2008. [28] R. Sun Hybrid connectionist/symbolic systems. in The Handbook of Brain Theory and Neural Networks, 2nd. edition, M. A. Arbib (Ed.), A Bradford Book, MIT Press, 543–547, 2003. logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
93/93
Bibliografia
Bibliografia XIV
[29] G. G. Towell and J. W. Shavlik Extracting Refined Rules from Knowledge-based Neural Networks. Machine Learning, 13, 71–101, 1993. [30] Wikipedia, the Free Encyclopedia. http://en.wikipedia.org/wiki/Main_Page
logo
˜ - Parte 2 Redes Neurais Artificiais: Introduc¸ao
94/93
