Conceitos Básicos de Machine Learning e Inteligência Artificial.
English version: https://medium.com/@mendexjs/basic-concepts-of-machine-learning-and-artificial-intelligence-963780da46ef
Introdução
Muito se fala ultimamente sobre Inteligência Artificial, modelos preditivos, processamento de linguagem natural. O tema vem tomando cada dia mais destaque com o avanço de aplicações como Chat GPT, carros autônomos e robôs de atendimento.
O assunto é bastante complexo, mas será que você sabe pelo menos o básico de como isso tudo funciona ? Não… não é tecnologia extraterrestre! Vem comigo nesse artigo para entender os princípios fundamentais da IA.
Qual a definição de inteligência artificial ? A resposta para essa pergunta é um pouco abstrata, e varia de acordo com a visão de cada cientista. Em termos gerais, a inteligência artificial é uma forma de inteligência criada computacionalmente, baseada em grandes quantidades de dados e algoritmos que utilizam de estatística, cálculo e outras ferramentas matemáticas para gerar alguma conclusão, previsão ou ação.
Alguns tipos de IA são:
- Visão computacional
- Processamento de linguagem natural
- Análise de sentimentos
- Conversão de texto para audio e audio para texto
- Previsões de dados ex: Temperatura, Score de crédito e tempo de entrega.
- Classificações de dados ex: Retornar a espécie de uma planta baseada em suas características ou definir classes de consumidores num e-commerce.
É claro que devemos combinar diferentes abordagens de IA para poder construir uma solução robusta. Para desenvolver um robô de telemarketing ou atendimento por exemplo, precisamos combinar processamento de linguagem natural, análise de sentimentos, conversão de voz para texto e mais algumas outras peças para dar uma experiência realmente satisfatória para o usuário.
A boa notícia, é que apesar de tudo isso ser bastante complexo, existem plataformas e ferramentas que abstraem a parte difícil e disponibilizam interfaces para podermos construir soluções mais rapidamente — imagina só se tivéssemos que sempre construir essas soluções do zero, seria reinventar a roda o tempo todo.
É o que grandes plataformas de cloud como AWS, IBM Watson, Azure e Google Cloud estão investindo nos últimos anos. Com essas ferramentas podemos facilmente enviar um texto via API e receber um blob com o áudio transcrito, sem se preocupar em como isso foi feito.
Okay, agora que você já entendeu o básico do assunto, vamos aprofundar um pouco em modelos de machine learning, que está sendo o meu contexto de trabalho atual.
Alguns tipo de Modelos de Machine Learning:
- Classificação binária
- Classificação multi-classe
- Regressão
Classificação binária
Os modelos de classificação binária são utilizados para classificar um dado em duas possíveis classes — por isso o nome “binária”. Para isso podem ser utilizados diversos algoritmos, como por exemplo regressão logística, árvore binária de decisão, dentre outros.
Exemplos de problemas de classificação binária:
- “Este produto é um sapato?” (Sim/Não)
- “Amanhã vai chover?” (Sim/Não)
- “Este veículo é um carro ou uma motocicleta?” (Carro/Motocicleta)
Classificação multi-classe
Basicamente a mesma ideia do anterior, porém com mais de duas possibilidades de resultados da classificação. Alguns algoritmos famosos para esse modelo e o k-vizinhos mais próximos (Knn) , Gaussian Naive Bayes e Árvore de decisão.
Exemplos de problemas de classificação multi-classe:
- Classificar resenhas de produtos como Positiva/Neutra/Negativa
- Classificar perfil de cliente em diferentes personas de consumo
- Classificar espécie de animal com base nas características físicas
Regressão
Modelos de regressão são utilizados para prever um valor numérico real, não pertencente a um conjunto delimitado tal como os anteriores. Aqui podem ser usados alguns algoritmos como árvore de regressão, regressão linear e regressão polinomial.
Exemplos de problemas de regressão:
- Previsão da temperatura em graus
- Previsão de faturamento com base em vendas
- Previsão de valor de ações com base no histórico e correlações
Como funciona ?
Legal, agora que você conhece alguns dos mais utilizados modelos de ML, você deve estar se perguntando, mas como essas classificações e previsões funcionam ? Como eles se aperfeiçoam, e como podemos saber que o resultado é mesmo confiável ?
Muito bem, existem modelos supervisionados e não supervisionados.
Supervisionado: Nestes modelos, os dados fornecidos já são rotulados corretamente, e utilizamos uma parte de um conjunto de dados com os dados de entrada e o resultado para treinar esse modelo. Por exemplo, podemos treinar nosso modelo com uma planilha de dados em que cada linha seja um conjunto de características de uma planta, e uma das colunas seja a espécie. Após treinar o modelo com um algoritmo adequado para classificação, poderíamos inserir agora uma nova linha de uma planta descoberta e receber uma classe mais próxima para valores fornecidos
Não supervisionados: Neste caso, as informações não possuem um rótulo, e o algoritmo é responsável por entender as relações das variáveis e encontrar padrões ocultos que podem ser utilizados para clusterizar os dados (dividir em grupos por similaridade). Por exemplo, podemos ter um gigantesco lago de dados (Data Lake) de imagens, que por si são matrizes numéricas, e clusterizar fotos por similaridade para detectar imagens duplicadas ou parecidas, ou até identificar o conteúdo como paisagens, pessoas, carros e etc.
Como saber se o nosso modelo está nos dando as previsões corretas ?
Para isso existem diversas formas de retirar algumas métricas dos modelos.
Algumas métricas utilizadas são:
- Acurácia (Taxa de acerto do nosso modelo)
- Precisão (Qualidade da previsão positiva, calculado pelo número de verdadeiros positivos dividido pela soma de falsos positivos e verdadeiros positivos)
- Revocação (Número total de casos positivos reais que foram previstos corretamente, calculado pelo número de verdadeiro positivos dividido pela soma de verdadeiro positivos e falsos negativos)
Falso positivo e verdadeiro positivo, como assim ?
Nosso modelo de classificação binária pode classificar um dado incorretamente quando estamos treinando, podemos comparar os resultados da previsão com o resultado real que já conhecemos durante o treino. Para isso existe a matriz de confusão, que expressa as classificações como:
- Verdadeiro positivo: Quando o modelo acerta o valor entendido como 1
- Verdadeiro negativo: Quando o modelo acerta o valor entendido como 0
- Falso positivo: Quando o modelo prevê 1 para um dado que é 0
- Falso negativo: Quando o modelo previu 0 para um dado que é 1
Com isso podemos desenhar uma matriz para visualizar, e calcular as métricas descritas acima.
No caso de modelos multi-classe fica um pouco mais complexo, não vamos nos aprofundar nisso, mas segue a mesma ideia, porém por ter maior dimensão o cálculo fica mais extenso.
Também é importante ressaltar que os nossos conjuntos de dados podem ser muito extensos, e serem compostos de milhares de variáveis para poder realizar uma predição, e esses dados são ingeridos de diversas formas a depender da aplicação. Podemos acabar tendo uma ingestão incorreta e enviar dados equivocados para nossos modelos. Por isso se faz muito importante o MONITORAMENTO desses dados.
E exatamente o que estamos desenvolvendo aqui na WhyLabs.
Maneiras muito eficazes de ter certeza que seus modelos estão funcionando como esperado, possibilitar que o usuário crie alertas e monitores especializados em tipos de dados, formato, intervalo de valores e muito mais. Também estamos trabalhando em formas de traçar o histórico dos dados e entender a causa raiz dos seus problemas relacionados aos modelos de machine learning e datasets.
É importante lembrar que o mercado e as pessoas se transformam com o tempo, não podemos apenas criar um modelo e acreditar que ele vai funcionar para sempre, podemos cair numa armadilha com esse pensamento.
Conclusão
Bom… Agora você já sabe o mínimo sobre AI e ML para poder se aprofundar mais. Deixo aqui alguns links que ajudaram na escrita deste mini-artigo e que podem ser úteis para um entendimento maior.
https://c3.ai/glossary/data-science/mean-absolute-error/
https://www.ibm.com/cloud/blog/supervised-vs-unsupervised-learning
https://docs.aws.amazon.com/machine-learning/latest/dg/types-of-ml-models.html
Matheus Mendes — Linkedin
Frontend Software Engineer
