Può essere disponibile
(Aggiornato% updatedDate%)Data Engineer
Rødovre, Denmark
Nativo Danish, English, Intermedio Svenska, Norwegian
- Cloudera
- Spark
- Scala
Competenze (26)
APACHE HADOOP OOZIE
Hadoop
DATAKILDER
APACHE HADOOP HDFS
ARCHITECTURE
Hbase
Spark
CDH
Business Intelligence
Datamodellering
Data Analysis
Scala
APACHE HADOOP IMPALA
ETL
DB2
APACHE HADOOP SQOOP
DATABASER
R
AWS
Machine Learning
DATA SCIENCE
ERP
DATAARKITEKTUR
SAS
ACL
Kafka
Riassunto
* Specializing in Scala, Spark, R, Hadoop, Data pipelines and Dataflows for large amount of data, batch and streaming
* Domain knowledge in aviation, telecom, healthcare, media business, and financial institutions
* Databricks, Cloudera, Hortonworks, AWS, cloud
* Devoted functional programmer with a keen interest in statistics and data investigation.
Esperienze professionali
2020-01 - Presente
Selvstændig konsulent, udvikler og rådgiver med speciale i Datapipelines/flows med nyeste teknologi.
Opbygning og optimering af Data Lake / Data Warehouse. Herunder Streaming data
Indsamling, "cleaning" og tilpasning af data til Data Science projekter og/eller øvrige BI-løsninger.
2019-07 - 2019-12
• Scala Udvikling af ETL flow.
• Generel ETL og ELT.
Specifikt:
• Data Engineering
• Indlæsning, rensning og datamodellering
• Scala udvikling
• Opsætning af datapiplines i AirFlow
Dans rolle: Konsulent - Scala udvikler
Teknologi og metode: SPARK, SCALA, PostgreSQL, MSSQL, AWS, S3, AirFlow, CircleCi, Git
2015-11 - 2019-12
Ansvarlig for, samt udarbejdelse af, POC's omkring Hadoop og Bigdata løsninger.
Konsulent, udvikler og rådgiver indenfor Hadoop økosystemer, bla. Cloudera og Hortonworks.
2018-04 - 2019-05
Kunde: SundhedsDataStyrelsen - SDS
Periode: 04/2018 - 05/2019
Projektbeskrivelse:
Generelt:
• Datamodtagelse/ -indlæsning, pseudonymisering, flytning og transformering.
• Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen.
• Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP platform.
• Generel ETL og ELT.
Specifikt:
• Indlæsning og opsætning af CPR3 på den nye platform.
• Indlæsning af LPR2 på den nye platform.
• Indlæsning af LAB.
• Indlæsning af MiniPAS,
• Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP.
• Viderebringelse af applikationer fra udvikling til test og produktion
• Support og videreudvikling af Hadoop relaterede problemstillinger, samt designmæssig rådgivning omkring implementering af løsningsmodeller i Hadoop.
• Re-modellering/ -programmering af uhensigtsmæssige tidligere løsninger.
• Performance-tuning og "brandslukning" i produktion bla. i forbindelse med sikkerhedsbrister og fejlkørsler.
• Udarbejdelse af vejledninger i forbindelse med indlæsninger i Hadoop, for både nuværende og fremtidige datakilder.
Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop (CDH), SPARK, SCALA, HIVE, HBase, IMPALA, SQOOP, OOZIE, BEELINE, PIG, GRUNT, HUE, HDFS, DB2, SQL, HQL, MSSQL, SSIS, HDFS-security (Kerberos/ACL), SFTP, LINUX, BASH, CURL, scripting generelt
Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
2017-10 - 2018-04
Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen. Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP. Specifikt: Indlæsning og opsætning af CPR3 på den nye platform. Indlæsning af LPR2 på den nye platform. Indlæsning af LAB. Indlæsning af MiniPAS, Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP. Viderebringelse af applikationer fra udvikling til test.
Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop, HIVE, HBase, Impala, Sqoop, Oozie, Beeline, PIG, HUE, HDFS, DB2, MSSQL, SSIS, HDFS-security (Kerberos/ACL), Linux, Bash, etc. etc.
Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
2017-04 - 2017-10
Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen. Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP. Specifikt: Indlæsning og opsætning af CPR3 på den nye platform. Indlæsning af LPR2 på den nye platform. Indlæsning af LAB. Indlæsning af MiniPAS, Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP. Viderebringelse af applikationer fra udvikling til test.
Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop, HIVE, HBase, Impala, Sqoop, Oozie, Beeline, PIG, HUE, HDFS, DB2, MSSQL, SSIS, HDFS-security (Kerberos/ACL), Linux, Bash, etc. etc.
Projekt: Etablering af videnscenter omkring BI og Big Data
2015-11 - 2017-04
Hands on implementering af to Hadoop/Hive POC bestående af et Cloudera cluster og et Horton Works cluster for at oparbejde mest mulig viden i organisationen omkring Hadoop og værktøjerne i og omkring Hadoop.
Benyttet SCD's: Type 2 til 6 historik samt afarter heraf.
Dans rolle: Senior BigData Solution Architect
Teknologi og metode: Hadoop, Hive, Spark, Python, R, Scala, Big Data, Scrum, Prince2, ITIL3, SSIS, SSRS, SSAS og TOGAF
Projekt: Løsningsarkitektur for Release koordination
Kunde: TDC
2014-12 - 2015-10
Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige. Change-, Incident og taskforce management/handling, QA-sikring.
Arbejdede indenfor EDW, ETL, Billing, CRM og mobil-området.
Dans rolle: Løsningsarkitekt og projektleder
Teknologi og metode: EDW, ETL, Bigdata, ITIL, Agile, Prince2, Java, Unix, HPMS, DB2
Projekt: Løsningsarkitektur for Release koordination
2014-12 - 2015-10
Ansvarlig for bl.a. løsningsarkitektur, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
2012-04 - 2014-11
Projektbeskrivelse:
TDC ønskede at ændre leverandør, og derfor blev hele teleafdelingen virksomhedsoverført til Tata.
• Dan var ansvarlig for: Løsningsarkitekturen, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
• Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige.
• Change-, Incident og taskforce management/handling, QA-sikring.
Dans rolle: Løsningsarkitekt, Deployment Manager og udvikler
Teknologi og metode: Big Data, EDW, ETL, Java, Unix, Linux, HPMS og Oracle DW, ITIL, Agile, Prince2, DB2
Projekt: Vedligehold af BI miljø
2012-04 - 2014-11
Ansvarlig for bl.a. løsningsarkitektur, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
2005-04 - 2012-03
• Build-processen.
• Installation og vedligehold på Development-, Test- og pre-Prod miljøerne.
• Udvikling af semi-automatisk install tool for reducering af tidsforbrug samt mindskning af installationsfejl.
• Ansvarlig for koordinering af underleverandører.
Dans rolle: Deployment Manager og udvikler
Teknologi og metode: MSSQL, EDW, ETL, SAP, Java, Unix, Linux, .NET, VBA, Team Foundation Server, TOAD, ITIL, Agile, Prince2, DB2
2005-04 - 2012-03
Projektbeskrivelse:
Dan var ansvarlig for:
• Håndtering og sikring af TDC's IT og dataarkitektur
• Taskforce management/handling
• QA-sikring
• Koordinering af underleverandører
Dans rolle: Deployment Manager og udvikler
Teknologi og metode: MSSQL, EDW, ETL, SAP, Java, Unix, Linux, .NET, VBA, Team Foundation Server, TOAD, ITIL, Agile, Prince2, DB2
Projekt: Vedligehold af BI miljø
Kunde: TDC
2005-04 - 2012-03
2001-05 - 2005-03
Ansvarlig for løsningsarkitektur, building, installation og deploying af scandinavian.net, SAS's online booking-platform.
2001-05 - 2005-03
Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige. Ansvarlig for koordinering af underleverandører.
Dans rolle: Deployment Manager og Build Manager
Teknologi og metode: MSSQL, EDW, ETL, Java, .NET, Team Foundation Server, TOAD, SAP, Agile, DB2
1996-01 - 2001-04
Ansvarlig for udarbejdelse af anlægsdelene af tilbud og opfølgning på faktisk vs. forventet tidsforbrug. Planlægning og estimering af tidsforbrug for cementfabrikker. Dansk ejet - og ledet - firma.
Dan udviklede et planlægningsværktøj/tidsregistreringssystem i Excel VBA, som alle afdelinger skulle benytte i opfølgningsprocesserne.
Dan udviklede et semi-automatisk beregnings værktøj til estimering af tidsforbrug i forbindelse med afgivelse af tilbud. Baseret på stor ikke-relationel database.
Udtræk via Access, TOAD og MS SQL.
Esperienze formative
2020-01 - 2017-01
2020-01 - 2016-01
2020-01 - 2016-01
2020-01 - 2016-01
2020-01 - 2016-01
2020-01 - 2015-01