Data Engineering
Data engineering handlar om att utforma, bygga och underhålla de tekniska system och infrastrukturer som ni behöver för att hantera stora mängder data. Det inkluderar att designa och utveckla databaser, datalager och data piplines.
Data engineers ansvarar för att säkerställa att data lagras och bearbetas effektivt och säkert. Det innebär att se till att data är tillgängligt för analys och användning av ert datavetenskapsteam och andra användare.
Datalagring
Lagringen är en central del där data förvaras efter att ha samlats in från olika system i er verksamhet genom pipelines. Förvaringen kräver struktur och ordning. Ett bra datalager är logiskt strukturerat, konsekvent genomfört och spårbart. Det är tydligt var datat kommer ifrån och kan växa i takt med er verksamhet. När ni får fler eller byter ut verksamhetssystem kan det nya datat läggas till det som redan finns utan att det påverkar negativt.
Slutligen är data engineering en kritisk del av datahanteringsprocessen och avgörande för att ni ska kunna dra nytta av ert data. Det innebär att harmonisera data från olika källor genom att översätta begrepp och likställa information från olika system i er verksamhet. Det innebär också att förprocessa datat genom att forma och förberäkna det på ett sätt som passar slutanvändaren och ger dessutom hög kvalitet i användarupplevelsen.
Några av de verktyg och tekniker vi använder oss av:
- Azure SQL, Azure Synapse, Azure Data Factory, Azure Databricks
- Snowflake, Cloudera, SSIS, SSAS
- Microsoft, Databricks, Snowflake
Kontakt
