Como pensamos engenharia de dados
A Streamrocks é uma operação técnica focada em datalakes analíticos com replicação contínua. Esta página explica os princípios que guiam a abordagem, como conduzimos um projeto e por que decisões de arquitetura aparecem antes de slides de apresentação.
Quatro princípios que guiam todo projeto
1. Open core, sem lock-in
Toda a stack. captura de mudanças, stream service, processador, datalake. é construída sobre componentes open source consolidados. Caso o cliente decida trocar de fornecedor, mantém os dados, os schemas e a equipe que aprendeu a operar. A camada de valor que entregamos é a engenharia: configuração correta, observabilidade real, evolução de schema sem fricção. não uma plataforma proprietária no meio do caminho.
2. Engenharia concreta, não slides
Trabalhamos diretamente com o que vai para produção: configurações reais de replicação lógica, código de pipeline em Git, dashboards de saúde do stream, runbooks operacionais escritos. A documentação serve para registrar decisões já implementadas, não como entregável principal. O artefato que importa é o pipeline em operação.
3. Transparência sobre o que entregamos e o que não
Não substituímos o time de dados ou o time de BI do cliente. operamos a infraestrutura por baixo. As ferramentas analíticas (Metabase, Superset, Grafana, dbt, Tableau) continuam sendo escolha do cliente. Modelagem de dados específica para domínio (dim/fact, regras de negócio em SQL) é trabalho colaborativo: ajudamos com fundação e padrões, mas o conhecimento de domínio precisa estar do lado do cliente.
4. Atendimento dedicado e escala intencional
A equipe é pequena por escolha. Cada projeto recebe a profundidade que uma stack distribuída de dados exige. Não terceirizamos a operação para profissionais juniores nem rodamos vários projetos simultâneos por engenheiro. a qualidade da entrega depende disso, e prefere-se recusar trabalho a entregar mal.
O processo, em detalhe
Diagnóstico inicial (gratuito, 1-2 reuniões)
Mapeamos o cenário atual: quais bancos entram no datalake, qual o volume de mudanças, quais consultas analíticas são prioridade, qual o frescor de dado desejado, qual a infraestrutura disponível. O resultado é uma análise honesta: viabilidade, esforço esperado, números projetados (latência CDC, throughput, custo de infra) e se a arquitetura proposta realmente resolve o problema. em alguns casos, a recomendação é não avançar.
Proposta com escopo, prazo e custo transparentes
Apresentamos o que será feito, em que ordem, quanto tempo leva e quanto custa. Sem letras pequenas, sem custos surpresa, sem prazos otimistas. Quando uma parte do trabalho exige decisões do lado do cliente (modelagem de domínio, escolha de ferramenta de BI), isso fica explícito.
Implantação em paralelo com o time interno
O pipeline é implantado em conjunto com o time técnico do cliente. Cada decisão de configuração (slot de replicação, retenção do stream, partições no StarRocks, materialized views) é discutida e revisada. Ao final, o time interno tem autonomia para manter o ambiente em operação. não há dependência operacional permanente da Streamrocks.
Operação contínua (opcional)
Após a implantação, o cliente pode optar por operar o pipeline internamente ou contratar manutenção mensal. A manutenção inclui monitoramento ativo, evolução de schema, ajuste de capacidade, atualizações dos componentes e respostas a incidentes. É opcional. não há contrato recorrente obrigatório.
Quem é a Streamrocks
A Streamrocks opera como uma equipe técnica enxuta com background prático em arquitetura de dados, sistemas distribuídos e operação de bancos transacionais e analíticos. Atendemos primariamente o mercado brasileiro, em português, mas projetos em inglês são possíveis.
O ponto de contato profissional é o e-mail e o WhatsApp listados na página de contato; em uma primeira conversa apresentamos quem vai conduzir o projeto e qual o background técnico relevante.
Para clientes que precisam de informações formais antes de iniciar uma conversa (NDAs, dados cadastrais, referências técnicas), tudo é fornecido sob solicitação por e-mail. Não publicamos essas informações abertamente, mas também não há barreiras para acessá-las.
O que a Streamrocks não é
- Não somos um SaaS multi-tenant de pipelines. O serviço é executado sob medida para cada cliente, não em uma plataforma central que ingere dados de muitos clientes em paralelo. Os dados ficam na infraestrutura do cliente; a operação fica do lado do cliente quando ele quiser assumi-la.
- Não somos uma consultoria de "data strategy". O foco é técnico: implantar e operar a infraestrutura de dados. Modelagem específica de domínio, governança corporativa, escolha de ferramenta de BI e estratégia de produto são responsabilidade do cliente. apoiamos quando faz sentido, mas não substituímos.
- Não competimos com Fivetran ou Airbyte como SaaS de conector. A diferença é vertical: fazemos uma stack inteira (CDC + stream + StarRocks + operação) sob medida para um caso de uso específico. não dezenas de conectores genéricos cobrando por linha movimentada.
- Não somos um fornecedor de StarRocks gerenciado para qualquer caso. StarRocks é um motor versátil; nós focamos no caso "datalake operacional alimentado por CDC contínuo". Outros casos (lakehouse com Iceberg, ingestão batch de Parquet) são possíveis mas exigem projetos dedicados.
Conhecer melhor antes de fechar
O diagnóstico inicial é gratuito e sem compromisso. Em uma primeira conversa, apresentamos o time, o background técnico e a abordagem específica para o seu cenário.