Serviços de visualização de dados da AWS: painéis e BI feitos da maneira certa

Certa vez, uma equipe financeira nos mostrou um lindo painel da AWS criado por seu último fornecedor. Gráficos limpos, as cores certas, os executivos adoraram. Também estava errado: dois dos números de primeira linha estavam saindo de uma tabela que não era atualizada há semanas, e ninguém sabia porque o painel nunca dizia isso. Essa é toda a lição da visualização de dados na AWS em uma história: o gráfico é a parte fácil, e um gráfico bonito construído em um pipeline quebrado é pior do que nenhum painel.

O funil por trás de um bom painel

Cada visualização confiável fica no topo de uma cadeia que a maioria das pessoas nunca vê. Os dados são ingeridos de suas fontes — bancos de dados, ferramentas SaaS, arquivos. Ele pousa no armazenamento, geralmente S3. Ele é limpo e remodelado, porque os dados brutos são sempre mais confusos do que qualquer um admite. Ele é modelado em métricas que significam uma coisa consistente. Só então ele chega a um gráfico.

Pule ou apresse qualquer uma dessas etapas e o painel ainda renderiza — ele apenas renderiza algo falso. O valor da engenharia está nas camadas inferiores, que é exatamente onde o trabalho barato do painel é mais importante.

Qual é a aparência de um AWS Stack

Os serviços específicos dependem dos seus dados, mas a forma é consistente:

• S3 como o lar durável e barato para dados brutos e processados
• Um armazém ou mecanismo de consulta — Redshift ou Athena consultando o S3 diretamente — para análise em grande escala
• Uma etapa de transformação que limpa e modela dados de acordo com um cronograma
• Uma camada de visualização — QuickSight para BI padrão ou um painel incorporado personalizado quando os dados pertencem ao seu próprio produto
• Programação e monitoramento para que as atualizações sejam previsíveis e as falhas sejam percebidas

A montagem delas na AWS, em vez de uma única plataforma tudo-em-um, mantém você no controle dos custos à medida que os dados aumentam e permite que cada camada seja a ferramenta certa, em vez de qualquer pacote incluído.

BI autônomo ou incorporado

Alguns clientes querem um espaço de trabalho de BI no qual seus analistas façam login. Outros querem que os gráficos estejam dentro de seu próprio aplicativo ou portal, para que os usuários nunca saiam do produto para ver seus números. Fazemos as duas coisas: a rota incorporada significa um front-end personalizado no React e no Node no mesmo pipeline da AWS, que é o tipo de trabalho de dados full-stack que criamos regularmente.

Como diferenciar um painel funcional de um bonito

Três cheques resolvem isso rapidamente. Os números se reconciliam com uma fonte em que você já confia? Ele é atualizado de acordo com uma programação que você pode nomear e informa quando foi a última atualização? Uma determinada métrica é lida de forma idêntica em todos os lugares em que aparece? Um painel que os supera está fazendo seu trabalho. Uma que falha em qualquer uma delas é uma apresentação de slides com cosplay de dados ao vivo — e você só descobrirá quando for tomada uma decisão sobre um número que estava obsoleto.