Prompt para Automação de Atualização de Preços do Mercado Livre em Aplicativo de Afiliados
Objetivo
Desenvolver um sistema de automação que monitore e atualize periodicamente as informações (preço, descrição, marca, etc.) de produtos do Mercado Livre, cujos links são de afiliados, e as integre automaticamente em um aplicativo externo. O sistema deve ser robusto, escalável e capaz de lidar com as variações da estrutura das páginas do Mercado Livre.
Requisitos Funcionais
Extração de Dados:
Para cada link de afiliado fornecido, o sistema deve ser capaz de navegar até a página do produto no Mercado Livre.
Extrair as seguintes informações de cada produto:
Nome do Produto: Título completo do anúncio.
Marca: Marca do produto.
Preço Atual: Valor de venda do produto.
Preço Original (se houver): Valor antes de descontos.
Porcentagem de Desconto (se houver): Calcular com base no preço atual e original.
Descrição: Breve descrição ou características principais.
URL da Imagem Principal: Link direto para a imagem principal do produto.
Disponibilidade: Indicar se o produto está disponível ou esgotado.
URL do Produto: O link direto para a página do produto no Mercado Livre (não o link de afiliado).
Atualização Automática:
O sistema deve ser configurável para rodar em intervalos regulares (ex: a cada 6 horas, diariamente).
Após a extração, as informações devem ser comparadas com os dados existentes no aplicativo do afiliado.
Se houver alterações (preço, disponibilidade, etc.), o aplicativo deve ser atualizado automaticamente via uma API ou método de integração definido.
Inclusão Automática de Imagem:
Ao adicionar um novo produto ou atualizar um existente, a imagem correspondente ao produto deve ser incluída automaticamente no aplicativo, utilizando a URL da imagem principal extraída.
Tratamento de Erros e Notificações:
O sistema deve registrar logs de todas as operações, incluindo sucessos e falhas.
Em caso de falha na extração de dados de um link ou na atualização do aplicativo, o sistema deve notificar o administrador (ex: por e-mail, Slack, etc.).
Mecanismos de re-tentativa para falhas temporárias.
Requisitos Não Funcionais
Performance: A extração e atualização devem ser eficientes para não sobrecarregar os servidores do Mercado Livre nem o aplicativo do afiliado.
Robustez: O sistema deve ser resiliente a pequenas alterações na estrutura HTML das páginas do Mercado Livre.
Escalabilidade: Deve ser capaz de lidar com um número crescente de links de produtos.
Legalidade e Ética: O sistema deve respeitar os termos de serviço do Mercado Livre e o arquivo robots.txt. Evitar requisições excessivas que possam ser interpretadas como ataque DDoS.
Abordagem Sugerida
Devido à natureza dos links de afiliados que redirecionam para perfis sociais e a ausência de uma API pública direta para consulta de preços de produtos específicos de afiliados, a abordagem mais viável é o Web Scraping.
Ferramentas e Tecnologias Sugeridas:
Linguagem de Programação: Python (devido à vasta biblioteca para web scraping e automação).
Bibliotecas de Web Scraping:
requests: Para fazer requisições HTTP às páginas.
BeautifulSoup ou lxml: Para parsear o HTML e extrair os dados.
Selenium (opcional, se houver JavaScript dinâmico ou necessidade de simular interação do navegador).
Agendamento:
cron (para sistemas Linux/Unix) ou agendador de tarefas do sistema operacional.
Serviços de cloud como AWS Lambda, Google Cloud Functions ou Azure Functions com triggers de tempo para execução serverless.
Ferramentas de orquestração como Apache Airflow para fluxos de trabalho mais complexos.
Armazenamento: Banco de dados (SQL ou NoSQL) para armazenar os dados dos produtos e controlar as atualizações.
Integração com o App: Uma API RESTful no seu aplicativo para receber as atualizações de preço e disponibilidade.
Passos para Implementação
Análise da Estrutura da Página: Inspecionar o HTML das páginas de produto do Mercado Livre para identificar os seletores CSS ou XPath dos elementos que contêm as informações desejadas (preço, título, marca, etc.).
Desenvolvimento do Script de Scraping: Escrever o código Python para navegar, extrair e processar os dados.
Desenvolvimento da API de Atualização: Criar endpoints na API do seu aplicativo para receber os dados atualizados do script de scraping.
Implementação do Agendamento: Configurar o agendamento para que o script de scraping seja executado periodicamente.
Tratamento de Erros: Adicionar tratamento de exceções e mecanismos de log e notificação.
Teste: Testar exaustivamente o sistema com diferentes links e cenários (produto esgotado, preço alterado, etc.).
Exemplo de Estrutura de Dados (JSON para API de atualização)
{
"product_id": "MLB123456789",
"name": "Nome do Produto Extraído",
"brand": "Marca do Produto",
"current_price": 123.45,
"original_price": 150.00,
"discount_percentage": 17.7,
"description": "Descrição breve do produto...",
"image_url": "https://example.com/imagem_produto.jpg",
"availability": "in_stock",
"product_url": "https://www.mercadolivre.com.br/nome-do-produto/MLB123456789"
}
Este prompt serve como um guia detalhado para a criação do seu sistema de atualização automática. É crucial que você adapte a implementação às especificidades do seu aplicativo e às políticas de uso do Mercado Livre.