Por trás de tudo o que entregamos aqui no Confidencial (Apenas para Cadastrados), existe uma série de profissionais imprescindíveis. Estamos buscando Engenheiro de Dados que queira fazer parte deste time!
Responsabilidades e atribuições
- Trabalhar com uma grande quantidade de dados estruturados e não estruturados;
- Realizar o gerenciamento contínuo de plataformas, processos e estruturas de DataOps para melhorar a qualidade dos dados e o ciclo de vida dos dados tanto on-premises quando em serviços de cloud;
- Prestar suporte a Data Warehouses, Data Lakehouses e Data Stores;
- Manter pipelines de dados para coletar, limpar, transformar e armazenar dados de várias fontes em diferentes formatos;
- Automatizar tarefas repetitivas e processos de ETL (Extract, Transform, Load) para garantir a efConfidencial (Apenas para Cadastrados)ência e a consistência das operações de dados;
- Atualizar ferramentas de automação e monitoramento para acompanhar o desempenho dos fluxos de dados em tempo real, identificar problemas e garantir a integridade e disponibilidade dos dados;
- Integrar dados de diferentes fontes, como bancos de dados, APIs e arquivos;
- Limpar, transformar e padronizar dados para garantir a qualidade e a consistência;
- Manter medidas de segurança para proteger os dados contra acesso não autorizado, violações de segurança e vazamentos de dados;
- Identificar e resolver gargalos de desempenho nos pipelines de dados, bancos de dados e sistemas relacionados para garantir o processamento efConfidencial (Apenas para Cadastrados)ente e rápido dos dados;
- Colaborar com equipes de desenvolvimento de software e dados, cientistas de dados, engenheiros de machine learning, engenheiros de software e outros profissionais para entender as necessidades de dados da organização e fornecer soluções;
- Documentar processos, procedimentos e fluxos de dados para facilitar a compreensão e a colaboração entre as equipes e garantir a consistência e a padronização das práticas de DataOps;
- Diagnosticar e resolver problemas relacionados a dados, infraestrutura e integração de sistemas de forma rápida e efConfidencial (Apenas para Cadastrados)ente para minimizar o impacto nos negócios;
- Apoiar na adoção de novas tecnologias e ferramentas que possam melhorar a efConfidencial (Apenas para Cadastrados)ência, escalabilidade e confiabilidade das operações de dados da organização;
- Realizar o gerenciamento contínua de clusters para orquestrar contêineres que executam aplicativos e serviços de dados, garantindo alta disponibilidade, escalabilidade e resiliência;
- Manter a integração contínua e entrega pipelines de dados;
- Atualizar ferramentas e plataformas de DataOps, como Apache Airflow, Spark, Hadoop, entre outras, com o Kubernetes para orquestração e automação de pipelines de dados e processamento distribuído;
- Configurar soluções de monitoramento e logging para coletar métricas, monitorar o desempenho de clusters e analisar logs de aplicativos de dados.
Requisitos e qualificações
- Ensino superior completo nas áreas de Ciência da Computação, Tecnologia em Ciência de Dados, Matemática, Estatística, Análise de Sistemas, Engenharia da Computação;
- Pós-graduação nas áreas correlatas;
- Experiência prévia como DBA ou Engenheiro de Dados.
Conhecimentos em:
- Tecnologias para Big Data: Apache Spark, Kafka, Airflow, Hive e Hadoop;
- Modelagem avançada e efConfidencial (Apenas para Cadastrados)ente de dados;
- Bancos de dados relacionais e não relacionais;
- Princípios de DevOps e como aplica-los ao gerenciamento de dados;
- Arquitetura de dados on-premises e cloud;
- Sistemas Operacionais Linux;
- Lógica de programação;
- Linguagem de Programação Python, SQL, Scala e Java;
- Ferramentas de ETL (dbt e trino);
- Kubernetes;
- MinIO e Delta Lake;
- Ferramentas de Change Data Capture;
- Análises Estatísticas;
- Excel Avançado;
- Inglês Técnico.
Diferenciais:
- Ter atuado em projetos de big data;
- Experiência em projetos de arquitetura de data lakehouse on-premise;
- Conhecimento em sistema operacional Linux (Oracle Linux, Ubuntu ou Red Hat).
Competências comportamentais:
- Perfil analítico, boa comunicação verbal e escrita;
- Foco e Organização;
- Comunicação e Relacionamento;
- Proatividade e InConfidencial (Apenas para Cadastrados)ativa.
Informações adConfidencial (Apenas para Cadastrados)onais
Jornada de trabalho:
- Jornada de segunda à sexta-feira, 8 horas diárias.
Modalidade:
- Híbrido (Curitiba/PR) ou Home-office.
Benefícios:
- TotalPass (benefício corporativo para academias e estúdios, com milhares de opções em todo o país);
- Processo seletivo interno e oportunidades de desenvolvimento profissional;
- Treinamentos, eventos de reciclagem e troca de conhecimento;
- Folga no aniversário;
- Parcerias com instituições de ensino e escolas de idiomas;
- Parcerias com restaurantes na região do Confidencial (Apenas para Cadastrados) - Curitiba/PR;
- Cartão Qualidade (https://cartaoqualidade.Confidencial (Apenas para Cadastrados).curitiba.org.br/) - Verifique a disponibilidade em sua região;
- Licença maternidade e paternidade estendida;
- Assistência médica e odontológica;
- Seguro de vida;
- Vale-alimentação e/ou vale-refeição;
- Vale-transporte.
Etapas do processo
- Etapa 1: Cadastro
- Etapa 2: Teste de Perfil
- Etapa 3: Entrevista
- Etapa 4: Feedback
- Etapa 5: Contratação
Quem somos
Nós somos o Confidencial (Apenas para Cadastrados) – Instituto das Cidades Inteligentes, uma organização que atua há mais de 25 anos com soluções de tecnologia da informação e comunicação (TIC) para a gestão pública.
Com sede em Curitiba (PR), trabalhamos com o desenvolvimento de portais, aplicativos, sistemas de informação, serviço de atendimento ao cidadão e infraestrutura de TIC. Nós apoiamos os municípios em suas jornadas de transformação para cidades inteligentes.
Entre os nossos clientes está a Prefeitura MunConfidencial (Apenas para Cadastrados)pal de Curitiba, eleita a cidade mais inteligente do mundo em 2023 pelo World Smart City Awards. Também trabalhamos com as prefeituras de Nova Lima (MG), Florianópolis (SC), Osasco (SP), Londrina (PR), Ponta Grossa (PR), Maringá (PR), Anápolis (GO) e Uberlândia (MG).
Desempenhamos nossas atividades movidos pelo propósito de melhorar a vida das pessoas e transformar as cidades, por meio do uso da tecnologia da informação e comunicação nos serviços públicos.