Data Engineer Rødovre, Denmark

Può essere disponibile

(Aggiornato% updatedDate%)

Data Engineer

Rødovre, Denmark

Nativo Danish, English, Intermedio Svenska, Norwegian

  • Cloudera
  • Spark
  • Scala

Competenze (26)

APACHE HADOOP OOZIE

Hadoop

DATAKILDER

APACHE HADOOP HDFS

ARCHITECTURE

Hbase

Spark

CDH

Business Intelligence

Datamodellering

Data Analysis

Scala

APACHE HADOOP IMPALA

ETL

DB2

APACHE HADOOP SQOOP

DATABASER

R

AWS

Machine Learning

DATA SCIENCE

ERP

DATAARKITEKTUR

SAS

ACL

Kafka

Riassunto

* Specializing in Scala, Spark, R, Hadoop, Data pipelines and Dataflows for large amount of data, batch and streaming
* Domain knowledge in aviation, telecom, healthcare, media business, and financial institutions
* Databricks, Cloudera, Hortonworks, AWS, cloud
* Devoted functional programmer with a keen interest in statistics and data investigation.

Esperienze professionali

Konsulent - Data Engineer, BigData & Hadoop specialist

2020-01 - Presente

Beskrivelse:
Selvstændig konsulent, udvikler og rådgiver med speciale i Datapipelines/flows med nyeste teknologi.
Opbygning og optimering af Data Lake / Data Warehouse. Herunder Streaming data
Indsamling, "cleaning" og tilpasning af data til Data Science projekter og/eller øvrige BI-løsninger.
Konsulent - Scala udvikler
Projektbeskrivelse

2019-07 - 2019-12

Generelt:
• Scala Udvikling af ETL flow.
• Generel ETL og ELT.
Specifikt:
• Data Engineering
• Indlæsning, rensning og datamodellering
• Scala udvikling
• Opsætning af datapiplines i AirFlow

Dans rolle: Konsulent - Scala udvikler
Teknologi og metode: SPARK, SCALA, PostgreSQL, MSSQL, AWS, S3, AirFlow, CircleCi, Git
Konsulent - Data Engineer, BigData & Hadoop specialist
Contentor Aps

2015-11 - 2019-12

Beskrivelse:
Ansvarlig for, samt udarbejdelse af, POC's omkring Hadoop og Bigdata løsninger.
Konsulent, udvikler og rådgiver indenfor Hadoop økosystemer, bla. Cloudera og Hortonworks.
Konsulent - Data Engineer, Big Data & Hadoop Specialist
Projekterfaring

2018-04 - 2019-05

Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
Periode: 04/2018 - 05/2019
Projektbeskrivelse:
Generelt:
• Datamodtagelse/ -indlæsning, pseudonymisering, flytning og transformering.
• Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen.
• Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP platform.
• Generel ETL og ELT.
Specifikt:
• Indlæsning og opsætning af CPR3 på den nye platform.
• Indlæsning af LPR2 på den nye platform.
• Indlæsning af LAB.
• Indlæsning af MiniPAS,
• Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP.
• Viderebringelse af applikationer fra udvikling til test og produktion
• Support og videreudvikling af Hadoop relaterede problemstillinger, samt designmæssig rådgivning omkring implementering af løsningsmodeller i Hadoop.
• Re-modellering/ -programmering af uhensigtsmæssige tidligere løsninger.
• Performance-tuning og "brandslukning" i produktion bla. i forbindelse med sikkerhedsbrister og fejlkørsler.
• Udarbejdelse af vejledninger i forbindelse med indlæsninger i Hadoop, for både nuværende og fremtidige datakilder.

Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop (CDH), SPARK, SCALA, HIVE, HBase, IMPALA, SQOOP, OOZIE, BEELINE, PIG, GRUNT, HUE, HDFS, DB2, SQL, HQL, MSSQL, SSIS, HDFS-security (Kerberos/ACL), SFTP, LINUX, BASH, CURL, scripting generelt


Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
Konsulent - Data Engineer, Big Data & Hadoop Specialist
Projektbeskrivelse

2017-10 - 2018-04

Datamodtagelse/ -indlæsning, pseudonymisering, flytning og transformering.
Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen. Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP. Specifikt: Indlæsning og opsætning af CPR3 på den nye platform. Indlæsning af LPR2 på den nye platform. Indlæsning af LAB. Indlæsning af MiniPAS, Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP. Viderebringelse af applikationer fra udvikling til test.

Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop, HIVE, HBase, Impala, Sqoop, Oozie, Beeline, PIG, HUE, HDFS, DB2, MSSQL, SSIS, HDFS-security (Kerberos/ACL), Linux, Bash, etc. etc.


Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
Konsulent - Data Engineer, Big Data & Hadoop Specialist
Projektbeskrivelse

2017-04 - 2017-10

Datamodtagelse/ -indlæsning, pseudonymisering, flytning og transformering.
Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen. Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP. Specifikt: Indlæsning og opsætning af CPR3 på den nye platform. Indlæsning af LPR2 på den nye platform. Indlæsning af LAB. Indlæsning af MiniPAS, Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP. Viderebringelse af applikationer fra udvikling til test.

Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop, HIVE, HBase, Impala, Sqoop, Oozie, Beeline, PIG, HUE, HDFS, DB2, MSSQL, SSIS, HDFS-security (Kerberos/ACL), Linux, Bash, etc. etc.


Projekt: Etablering af videnscenter omkring BI og Big Data
Som Senior BigData Solution Architect
Contentor ApS

2015-11 - 2017-04

i Contentor har Dan været med til at definere arkitekturen for Contentors etablering af et videnscenter omkring BI og Big Data bygget op omkring Apache Hadoop og Informatica Powercenter.
Hands on implementering af to Hadoop/Hive POC bestående af et Cloudera cluster og et Horton Works cluster for at oparbejde mest mulig viden i organisationen omkring Hadoop og værktøjerne i og omkring Hadoop.
Benyttet SCD's: Type 2 til 6 historik samt afarter heraf.

Dans rolle: Senior BigData Solution Architect
Teknologi og metode: Hadoop, Hive, Spark, Python, R, Scala, Big Data, Scrum, Prince2, ITIL3, SSIS, SSRS, SSAS og TOGAF


Projekt: Løsningsarkitektur for Release koordination
Kunde: TDC
Ansvarlig
Projektbeskrivelse

2014-12 - 2015-10

for løsningsarkitekturen, Release koordination, sikring af crossplatform kontinuitet og for koordinering af underleverandører.
Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige. Change-, Incident og taskforce management/handling, QA-sikring.
Arbejdede indenfor EDW, ETL, Billing, CRM og mobil-området.

Dans rolle: Løsningsarkitekt og projektleder
Teknologi og metode: EDW, ETL, Bigdata, ITIL, Agile, Prince2, Java, Unix, HPMS, DB2


Projekt: Løsningsarkitektur for Release koordination
Løsningsarkitekt og Projektleder
Ansvarlig for bl

2014-12 - 2015-10

Beskrivelse:
Ansvarlig for bl.a. løsningsarkitektur, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
Ansvarlig
Tata Consultancy Services

2012-04 - 2014-11

Periode: 04/2012 - 11/2014
Projektbeskrivelse:
TDC ønskede at ændre leverandør, og derfor blev hele teleafdelingen virksomhedsoverført til Tata.
• Dan var ansvarlig for: Løsningsarkitekturen, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
• Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige.
• Change-, Incident og taskforce management/handling, QA-sikring.

Dans rolle: Løsningsarkitekt, Deployment Manager og udvikler
Teknologi og metode: Big Data, EDW, ETL, Java, Unix, Linux, HPMS og Oracle DW, ITIL, Agile, Prince2, DB2


Projekt: Vedligehold af BI miljø
Løsningsarkitekt, Deployment Manager og udvikler
Tata Consultancy Services

2012-04 - 2014-11

Beskrivelse:
Ansvarlig for bl.a. løsningsarkitektur, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
Ansvarlig
Projektbeskrivelse

2005-04 - 2012-03

Dan var ansvarlig for:
• Build-processen.
• Installation og vedligehold på Development-, Test- og pre-Prod miljøerne.
• Udvikling af semi-automatisk install tool for reducering af tidsforbrug samt mindskning af installationsfejl.
• Ansvarlig for koordinering af underleverandører.

Dans rolle: Deployment Manager og udvikler
Teknologi og metode: MSSQL, EDW, ETL, SAP, Java, Unix, Linux, .NET, VBA, Team Foundation Server, TOAD, ITIL, Agile, Prince2, DB2
Deployment Manager og udvikler
SAS

2005-04 - 2012-03

Periode: 4/2005 - 03/2012
Projektbeskrivelse:
Dan var ansvarlig for:
• Håndtering og sikring af TDC's IT og dataarkitektur
• Taskforce management/handling
• QA-sikring
• Koordinering af underleverandører

Dans rolle: Deployment Manager og udvikler
Teknologi og metode: MSSQL, EDW, ETL, SAP, Java, Unix, Linux, .NET, VBA, Team Foundation Server, TOAD, ITIL, Agile, Prince2, DB2


Projekt: Vedligehold af BI miljø
Kunde: TDC
Deployment Manager og udvikler
Ansat i SAS

2005-04 - 2012-03

Beskrivelse: Ansat i SAS/Airline-afdelingen og TDC/Telekommunikationsafdelingen. Begge med fokus på Business Intelligence.
Deployment Manager og Build Manager
SAS (Scandinavian Airlines)

2001-05 - 2005-03

Beskrivelse:
Ansvarlig for løsningsarkitektur, building, installation og deploying af scandinavian.net, SAS's online booking-platform.
Ansvarlig for løsningsarkitektur
Scandinavian Airlines

2001-05 - 2005-03

building, installation og deploying af scandinavian.net, SAS's online booking platform. Ansvarlig for løsningsarkitekturen og build-processen samt ansvarlig for installation og vedligehold på Development-, Test- og pre-Prod miljøerne. Udvikling af semi-automatisk install tool for reducering af tidsforbrug og mindskning af installationsfejl.
Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige. Ansvarlig for koordinering af underleverandører.

Dans rolle: Deployment Manager og Build Manager
Teknologi og metode: MSSQL, EDW, ETL, Java, .NET, Team Foundation Server, TOAD, SAP, Agile, DB2
Planlægnings- og beregnings Ingeniør
FLSmidth

1996-01 - 2001-04

Beskrivelse:
Ansvarlig for udarbejdelse af anlægsdelene af tilbud og opfølgning på faktisk vs. forventet tidsforbrug. Planlægning og estimering af tidsforbrug for cementfabrikker. Dansk ejet - og ledet - firma.
Dan udviklede et planlægningsværktøj/tidsregistreringssystem i Excel VBA, som alle afdelinger skulle benytte i opfølgningsprocesserne.
Dan udviklede et semi-automatisk beregnings værktøj til estimering af tidsforbrug i forbindelse med afgivelse af tilbud. Baseret på stor ikke-relationel database.
Udtræk via Access, TOAD og MS SQL.

Esperienze formative

License

2020-01 - 2017-01

License

2020-01 - 2016-01

License

2020-01 - 2016-01

License

2020-01 - 2016-01

License

2020-01 - 2016-01

License

2020-01 - 2015-01

Contatta il consulente

/