Data Platform Engineer Pleno (Exclusiva para mulheres e pessoas open to work)
Loggi, Brazil
Job Description
Somos uma empresa de tecnologia que está reinventando a logística e a forma de fazer entregas no Brasil. Queremos empoderar pessoas e transformar negócios com entregas de excelência. Movimentamos mais de 400 mil pacotes por dia com uma tecnologia de ponta a ponta, que aproxima todos os cantos do país. Temos o propósito de que as entregas sejam acessíveis para todas as pessoas do Brasil. Esse é nosso desafio diário, por isso buscamos inovação em tudo que fazemos. Por aqui, valorizamos diferentes formas de pensar, pois sabemos que só assim poderemos criar um futuro mais democrático para as pessoas.
Nossa cultura é traduzida todos os dias pelos comportamentos de cada Logger e das experiências que construímos com os nossos clientes e sociedade. Nossos valores são como um guia de como as pessoas devem se comportar diante das pequenas e grandes atitudes que são tomadas no nosso ambiente de trabalho todos os dias.
A área de Dados assume a missão de ser os guardiões e catalisadores dos insights contidos nos dados que coletamos e analisamos incansavelmente. Isso se traduz em melhorias significativas em nossa eficiência operacional, satisfação do cliente e na criação de soluções inovadoras que mantêm a Loggi na vanguarda do nosso setor.
O time de plataforma de dados (Data Platform) é uma das principais equipes da área de Dados e tem como missão garantir a autonomia dos profissionais de dados em toda a nossa infraestrutura analítica, preservando sua disponibilidade, escalabilidade, manutenção e segurança.
Nossa plataforma de dados atual:
- Dados em batch: Ambiente Data Warehouse com Redshift, usando o framework do DBT.
- Dados perto do tempo: Coleta de eventos de backend usando Kafka Streams e Kafka Connect para disponibilização de dados em camada fria (lakehouse) como também em camada quente (opensearch).
- Ingestão de dados de diferentes fontes e formatos que precisam de ferramentas simples e fáceis para os times consumirem sem gasto de tempo. Para isso estamos migrando para o Airbyte da nossa stack atual que seria o Stitch.
- Utilização de Airflow para orquestração de jobs python e DBT
- Utilização de jobs EMR via pyspark para tratar dados brutos.
- Visualização de dados utilizando Kibana, Looker e Grafana.
- Ambiente AWS.
E algum dos desafios:
- Construção de um lakehouse para substituir o atual Data Warehouse, mantendo o framework DBT;
- Otimizar solução para a ingestão de dados ser simples e performática;
- Disponibilizar ferramental que consiga auxiliar governança sobre os dados criados, gerando o ciclo de vida sobre o dado, além de mensurar qualidade e definir SLA de entrega entre produtor-consumidor.
- Trazer monitoramento de infraestrutura e dos custos utilizados no ambiente provisionado
- Manter nosso ambiente estável para a equipe de dados conseguir gerar valor sobre os dados.
Junte-se a nós e faça parte da equipe que está democratizando a logística e conectando o Brasil, proporcionando uma experiência de entrega excepcional aos clientes.
Requirements
- Conhecimento básico de Infra é um diferencial (Kubernetes e Terraform);
- Conhecimento em Python;
- Conhecimento em ferramenta de orquestração (preferencialmente AirFlow);
- Conhecimento em ambiente cloud para dados e Spark;
- Experiência prévia em projetos e execução de arquiteturas de dados e pipelines em toda a nossa infraestrutura analítica, preservando sua disponibilidade, escalabilidade, manutenção e segurança
- Capacidade de identificar problemas e sugerir melhorias de infraestrutura e / ou código;
- Conhecimento na stack AWS é um diferencial;
- Paixão pela resolução de problemas;
- Excelentes habilidade de trabalhar em equipe;
- Excelentes habilidades de comunicação.
Responsabilidades
Sua responsabilidade no time será dar uma resposta rápida em relação aos tickets da equipe, criar automações/monitorias no nosso ambiente, suportar os engenheiros sêniors na demanda de Roadmap da nossa área e, com o tempo, se desenvolver tecnicamente para identificar e propor soluções para problemas mais complexos na equipe, a fim de tornar a área cada vez melhor.
No time de Data Platform buscamos pessoas com comprometimento com as entregas estipuladas, além de desejo e capacidade de adquirir conhecimentos. Focamos no time em equalizar conhecimento e com as entregas necessárias para a evolução da Loggi.
Benefits
- Vale-refeição no cartão Flash;
- Vale Transfer no cartão Flash (apenas para trabalho hibrido);
- Auxílio Home Office;
- Plano de Saúde Sulamérica ou Unimed 100% custeado pela Loggi, inclusive para filhos de até 21 anos (se universitários, até 24);
- Plano Odontológico p