Descobrindo o que a Máquina Aprendeu

Os alunos usarão o Teachable Machine para comparar dois modelos treinados com conjuntos de imagens diferentes. A meta será descobrir se o modelo está utilizando a característica desejada ou alguma pista acidental presente nos exemplos.

Passo a Passo para Execução

  1. Abrir o Teachable Machine e criar um projeto de classificação de imagens.
  2. Criar duas categorias de objetos facilmente disponíveis em sala.
  3. Treinar o primeiro modelo com imagens variadas.
  4. Fazer testes utilizando ângulos e fundos diferentes.
  5. Registrar o comportamento do modelo.
  6. Criar um segundo modelo com exemplos muito semelhantes entre si.
  7. Manter deliberadamente uma característica de fundo constante no segundo conjunto.
  8. Testar o segundo modelo utilizando o mesmo objeto em outro fundo.
  9. Comparar o primeiro e o segundo modelos.
  10. Formular uma hipótese sobre a característica que cada modelo pode ter aprendido.
  11. Adicionar exemplos variados ao segundo conjunto.
  12. Treinar novamente.
  13. Repetir os testes.
  14. Registrar o que mudou depois da inclusão de exemplos mais diversos.
  15. Fazer cada dupla explicar a diferença entre 'modelo treinado' e 'modelo testado'.

Comentários

A experiência mostra que aprender padrões não significa necessariamente aprender o padrão certo. Um modelo pode encontrar uma pista que parece funcionar muito bem nos dados disponíveis e depois falhar diante de um exemplo diferente. O conceito de generalização descreve justamente a capacidade de funcionar também com dados novos. Para uma criança, é como estudar para uma prova decorando somente os exemplos do livro: quando a professora muda o desenho do problema, a estratégia pode deixar de funcionar.

O Mistério das Características Escondidas

As equipes receberão conjuntos de cartões que apresentam objetos de duas categorias. Alguns exemplos terão pistas úteis; outros terão uma pista acidental que pode confundir o classificador. A turma deverá descobrir qual característica o modelo aparentemente aprendeu.

Materiais Necessários

  • 36 cartões com imagens de objetos classificados em duas categorias
  • Cartões com pequenas etiquetas descrevendo características visíveis, como forma, cor, tamanho e textura
  • Dois conjuntos de treinamento: um equilibrado e outro propositalmente desequilibrado
  • Cartões de teste que apresentem características novas
  • Quadro branco para montar uma tabela de características
  • Folhas de registro
  • Lápis, borracha e lápis de cor
  • Canetas coloridas
  • Cartões de hipótese
  • Cartões de 'pista útil' e 'pista enganosa'
  • Crachás de 'Cientista de Dados' e 'Investigador'
  • Envelopes separados para treinamento e teste

Passo a Passo da Execução

  1. Perguntar como uma máquina poderia distinguir duas categorias de objetos.
  2. Explicar que características, também chamadas de features em muitos contextos de IA, são informações que podem ajudar a descrever os exemplos.
  3. Apresentar um conjunto equilibrado em que várias características relevantes aparecem em diferentes combinações.
  4. Pedir que os alunos listem as características que acreditam ser úteis para a classificação.
  5. Mostrar um segundo conjunto em que uma pista irrelevante aparece quase sempre junto com uma determinada categoria.
  6. Pedir que os alunos imaginem qual padrão um modelo poderia aprender nesse caso.
  7. Apresentar um cartão de teste que quebre essa coincidência.
  8. Comparar a previsão feita pela equipe com o comportamento esperado.
  9. Identificar a pista que pode ter enganado o classificador.
  10. Refazer o conjunto de exemplos retirando a coincidência indesejada.
  11. Criar novos exemplos com maior variedade.
  12. Testar novamente.
  13. Discutir por que exemplos de treinamento precisam representar diferentes situações que o sistema poderá encontrar.
  14. Pedir que os grupos criem um conjunto de treinamento ruim e desafiem outra equipe a descobrir seu problema.
  15. Encerrar relacionando a atividade a reconhecimento de imagens, voz, objetos e textos.

Conexão Computacional

Feature é uma característica utilizada pelo sistema para representar ou distinguir exemplos. Pode ser algo relacionado a forma, cor, tamanho, som ou outra informação, dependendo do problema. O perigo aparece quando o sistema aprende uma pista que parece funcionar nos exemplos de treinamento, mas não representa realmente o que queremos reconhecer. Imagine ensinar alguém a reconhecer carros usando somente fotos tiradas em uma garagem: a pessoa pode começar a pensar que 'garagem' faz parte da definição de carro. Na vida real, cientistas e engenheiros precisam analisar os dados para descobrir se o modelo está aprendendo características úteis ou pistas acidentais.