It looks like you are in United States. Would you like to go to https://onsiter.com/us/ instead?
Könnte verfügbar sein
(Aktualisiert 2020-08-26)Data Engineer
Rødovre, Denmark
Einheimische Danish, English, Mittelstufe Svenska, Norwegian
- Cloudera
- Spark
- Scala
Fähigkeiten (26)
APACHE HADOOP OOZIE
Hadoop
DATAKILDER
APACHE HADOOP HDFS
ARCHITECTURE
Hbase
Spark
CDH
Business Intelligence
Datamodellering
Data Analysis
Scala
APACHE HADOOP IMPALA
ETL
DB2
APACHE HADOOP SQOOP
DATABASER
R
AWS
Machine Learning
DATA SCIENCE
ERP
DATAARKITEKTUR
SAS
ACL
Kafka
Zusammenfassung
* Specializing in Scala, Spark, R, Hadoop, Data pipelines and Dataflows for large amount of data, batch and streaming
* Domain knowledge in aviation, telecom, healthcare, media business, and financial institutions
* Databricks, Cloudera, Hortonworks, AWS, cloud
* Devoted functional programmer with a keen interest in statistics and data investigation.
Berufserfahrung
Konsulent - Data Engineer, BigData & Hadoop specialist
2020-01 - Jetzt
Beskrivelse:
Selvstændig konsulent, udvikler og rådgiver med speciale i Datapipelines/flows med nyeste teknologi.
Opbygning og optimering af Data Lake / Data Warehouse. Herunder Streaming data
Indsamling, "cleaning" og tilpasning af data til Data Science projekter og/eller øvrige BI-løsninger.
Selvstændig konsulent, udvikler og rådgiver med speciale i Datapipelines/flows med nyeste teknologi.
Opbygning og optimering af Data Lake / Data Warehouse. Herunder Streaming data
Indsamling, "cleaning" og tilpasning af data til Data Science projekter og/eller øvrige BI-løsninger.
Konsulent - Scala udvikler
Projektbeskrivelse
2019-07 - 2019-12
Generelt:
• Scala Udvikling af ETL flow.
• Generel ETL og ELT.
Specifikt:
• Data Engineering
• Indlæsning, rensning og datamodellering
• Scala udvikling
• Opsætning af datapiplines i AirFlow
Dans rolle: Konsulent - Scala udvikler
Teknologi og metode: SPARK, SCALA, PostgreSQL, MSSQL, AWS, S3, AirFlow, CircleCi, Git
• Scala Udvikling af ETL flow.
• Generel ETL og ELT.
Specifikt:
• Data Engineering
• Indlæsning, rensning og datamodellering
• Scala udvikling
• Opsætning af datapiplines i AirFlow
Dans rolle: Konsulent - Scala udvikler
Teknologi og metode: SPARK, SCALA, PostgreSQL, MSSQL, AWS, S3, AirFlow, CircleCi, Git
Konsulent - Data Engineer, BigData & Hadoop specialist
Contentor Aps
2015-11 - 2019-12
Beskrivelse:
Ansvarlig for, samt udarbejdelse af, POC's omkring Hadoop og Bigdata løsninger.
Konsulent, udvikler og rådgiver indenfor Hadoop økosystemer, bla. Cloudera og Hortonworks.
Ansvarlig for, samt udarbejdelse af, POC's omkring Hadoop og Bigdata løsninger.
Konsulent, udvikler og rådgiver indenfor Hadoop økosystemer, bla. Cloudera og Hortonworks.
Konsulent - Data Engineer, Big Data & Hadoop Specialist
Projekterfaring
2018-04 - 2019-05
Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
Periode: 04/2018 - 05/2019
Projektbeskrivelse:
Generelt:
• Datamodtagelse/ -indlæsning, pseudonymisering, flytning og transformering.
• Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen.
• Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP platform.
• Generel ETL og ELT.
Specifikt:
• Indlæsning og opsætning af CPR3 på den nye platform.
• Indlæsning af LPR2 på den nye platform.
• Indlæsning af LAB.
• Indlæsning af MiniPAS,
• Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP.
• Viderebringelse af applikationer fra udvikling til test og produktion
• Support og videreudvikling af Hadoop relaterede problemstillinger, samt designmæssig rådgivning omkring implementering af løsningsmodeller i Hadoop.
• Re-modellering/ -programmering af uhensigtsmæssige tidligere løsninger.
• Performance-tuning og "brandslukning" i produktion bla. i forbindelse med sikkerhedsbrister og fejlkørsler.
• Udarbejdelse af vejledninger i forbindelse med indlæsninger i Hadoop, for både nuværende og fremtidige datakilder.
Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop (CDH), SPARK, SCALA, HIVE, HBase, IMPALA, SQOOP, OOZIE, BEELINE, PIG, GRUNT, HUE, HDFS, DB2, SQL, HQL, MSSQL, SSIS, HDFS-security (Kerberos/ACL), SFTP, LINUX, BASH, CURL, scripting generelt
Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
Kunde: SundhedsDataStyrelsen - SDS
Periode: 04/2018 - 05/2019
Projektbeskrivelse:
Generelt:
• Datamodtagelse/ -indlæsning, pseudonymisering, flytning og transformering.
• Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen.
• Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP platform.
• Generel ETL og ELT.
Specifikt:
• Indlæsning og opsætning af CPR3 på den nye platform.
• Indlæsning af LPR2 på den nye platform.
• Indlæsning af LAB.
• Indlæsning af MiniPAS,
• Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP.
• Viderebringelse af applikationer fra udvikling til test og produktion
• Support og videreudvikling af Hadoop relaterede problemstillinger, samt designmæssig rådgivning omkring implementering af løsningsmodeller i Hadoop.
• Re-modellering/ -programmering af uhensigtsmæssige tidligere løsninger.
• Performance-tuning og "brandslukning" i produktion bla. i forbindelse med sikkerhedsbrister og fejlkørsler.
• Udarbejdelse af vejledninger i forbindelse med indlæsninger i Hadoop, for både nuværende og fremtidige datakilder.
Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop (CDH), SPARK, SCALA, HIVE, HBase, IMPALA, SQOOP, OOZIE, BEELINE, PIG, GRUNT, HUE, HDFS, DB2, SQL, HQL, MSSQL, SSIS, HDFS-security (Kerberos/ACL), SFTP, LINUX, BASH, CURL, scripting generelt
Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
Konsulent - Data Engineer, Big Data & Hadoop Specialist
Projektbeskrivelse
2017-10 - 2018-04
Datamodtagelse/ -indlæsning, pseudonymisering, flytning og transformering.
Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen. Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP. Specifikt: Indlæsning og opsætning af CPR3 på den nye platform. Indlæsning af LPR2 på den nye platform. Indlæsning af LAB. Indlæsning af MiniPAS, Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP. Viderebringelse af applikationer fra udvikling til test.
Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop, HIVE, HBase, Impala, Sqoop, Oozie, Beeline, PIG, HUE, HDFS, DB2, MSSQL, SSIS, HDFS-security (Kerberos/ACL), Linux, Bash, etc. etc.
Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen. Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP. Specifikt: Indlæsning og opsætning af CPR3 på den nye platform. Indlæsning af LPR2 på den nye platform. Indlæsning af LAB. Indlæsning af MiniPAS, Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP. Viderebringelse af applikationer fra udvikling til test.
Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop, HIVE, HBase, Impala, Sqoop, Oozie, Beeline, PIG, HUE, HDFS, DB2, MSSQL, SSIS, HDFS-security (Kerberos/ACL), Linux, Bash, etc. etc.
Projekt: Aktivering af Sunddataplatformen
Kunde: SundhedsDataStyrelsen - SDS
Konsulent - Data Engineer, Big Data & Hadoop Specialist
Projektbeskrivelse
2017-04 - 2017-10
Datamodtagelse/ -indlæsning, pseudonymisering, flytning og transformering.
Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen. Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP. Specifikt: Indlæsning og opsætning af CPR3 på den nye platform. Indlæsning af LPR2 på den nye platform. Indlæsning af LAB. Indlæsning af MiniPAS, Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP. Viderebringelse af applikationer fra udvikling til test.
Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop, HIVE, HBase, Impala, Sqoop, Oozie, Beeline, PIG, HUE, HDFS, DB2, MSSQL, SSIS, HDFS-security (Kerberos/ACL), Linux, Bash, etc. etc.
Projekt: Etablering af videnscenter omkring BI og Big Data
Implementering af pseudonymiserings procedurer og processer på Sunddataplatformen. Flytning, pseudonymisering samt konvertering af DB2 databaser til ny DB2 hhv. HADOOP. Specifikt: Indlæsning og opsætning af CPR3 på den nye platform. Indlæsning af LPR2 på den nye platform. Indlæsning af LAB. Indlæsning af MiniPAS, Sikring af Oozie workflows for hhv. SHAK, SKS og SOR i HADOOP. Viderebringelse af applikationer fra udvikling til test.
Dans rolle: Konsulent - Data Engineer, Big Data & Hadoop Specialist
Teknologi og metode:
Cloudera Hadoop, HIVE, HBase, Impala, Sqoop, Oozie, Beeline, PIG, HUE, HDFS, DB2, MSSQL, SSIS, HDFS-security (Kerberos/ACL), Linux, Bash, etc. etc.
Projekt: Etablering af videnscenter omkring BI og Big Data
Som Senior BigData Solution Architect
Contentor ApS
2015-11 - 2017-04
i Contentor har Dan været med til at definere arkitekturen for Contentors etablering af et videnscenter omkring BI og Big Data bygget op omkring Apache Hadoop og Informatica Powercenter.
Hands on implementering af to Hadoop/Hive POC bestående af et Cloudera cluster og et Horton Works cluster for at oparbejde mest mulig viden i organisationen omkring Hadoop og værktøjerne i og omkring Hadoop.
Benyttet SCD's: Type 2 til 6 historik samt afarter heraf.
Dans rolle: Senior BigData Solution Architect
Teknologi og metode: Hadoop, Hive, Spark, Python, R, Scala, Big Data, Scrum, Prince2, ITIL3, SSIS, SSRS, SSAS og TOGAF
Projekt: Løsningsarkitektur for Release koordination
Kunde: TDC
Hands on implementering af to Hadoop/Hive POC bestående af et Cloudera cluster og et Horton Works cluster for at oparbejde mest mulig viden i organisationen omkring Hadoop og værktøjerne i og omkring Hadoop.
Benyttet SCD's: Type 2 til 6 historik samt afarter heraf.
Dans rolle: Senior BigData Solution Architect
Teknologi og metode: Hadoop, Hive, Spark, Python, R, Scala, Big Data, Scrum, Prince2, ITIL3, SSIS, SSRS, SSAS og TOGAF
Projekt: Løsningsarkitektur for Release koordination
Kunde: TDC
Ansvarlig
Projektbeskrivelse
2014-12 - 2015-10
for løsningsarkitekturen, Release koordination, sikring af crossplatform kontinuitet og for koordinering af underleverandører.
Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige. Change-, Incident og taskforce management/handling, QA-sikring.
Arbejdede indenfor EDW, ETL, Billing, CRM og mobil-området.
Dans rolle: Løsningsarkitekt og projektleder
Teknologi og metode: EDW, ETL, Bigdata, ITIL, Agile, Prince2, Java, Unix, HPMS, DB2
Projekt: Løsningsarkitektur for Release koordination
Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige. Change-, Incident og taskforce management/handling, QA-sikring.
Arbejdede indenfor EDW, ETL, Billing, CRM og mobil-området.
Dans rolle: Løsningsarkitekt og projektleder
Teknologi og metode: EDW, ETL, Bigdata, ITIL, Agile, Prince2, Java, Unix, HPMS, DB2
Projekt: Løsningsarkitektur for Release koordination
Løsningsarkitekt og Projektleder
Ansvarlig for bl
2014-12 - 2015-10
Beskrivelse:
Ansvarlig for bl.a. løsningsarkitektur, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
Ansvarlig for bl.a. løsningsarkitektur, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
Ansvarlig
Tata Consultancy Services
2012-04 - 2014-11
Periode: 04/2012 - 11/2014
Projektbeskrivelse:
TDC ønskede at ændre leverandør, og derfor blev hele teleafdelingen virksomhedsoverført til Tata.
• Dan var ansvarlig for: Løsningsarkitekturen, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
• Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige.
• Change-, Incident og taskforce management/handling, QA-sikring.
Dans rolle: Løsningsarkitekt, Deployment Manager og udvikler
Teknologi og metode: Big Data, EDW, ETL, Java, Unix, Linux, HPMS og Oracle DW, ITIL, Agile, Prince2, DB2
Projekt: Vedligehold af BI miljø
Projektbeskrivelse:
TDC ønskede at ændre leverandør, og derfor blev hele teleafdelingen virksomhedsoverført til Tata.
• Dan var ansvarlig for: Løsningsarkitekturen, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
• Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige.
• Change-, Incident og taskforce management/handling, QA-sikring.
Dans rolle: Løsningsarkitekt, Deployment Manager og udvikler
Teknologi og metode: Big Data, EDW, ETL, Java, Unix, Linux, HPMS og Oracle DW, ITIL, Agile, Prince2, DB2
Projekt: Vedligehold af BI miljø
Løsningsarkitekt, Deployment Manager og udvikler
Tata Consultancy Services
2012-04 - 2014-11
Beskrivelse:
Ansvarlig for bl.a. løsningsarkitektur, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
Ansvarlig for bl.a. løsningsarkitektur, Release koordination, sikring af crossplatform kontinuitet og koordinering af underleverandører.
Ansvarlig
Projektbeskrivelse
2005-04 - 2012-03
Dan var ansvarlig for:
• Build-processen.
• Installation og vedligehold på Development-, Test- og pre-Prod miljøerne.
• Udvikling af semi-automatisk install tool for reducering af tidsforbrug samt mindskning af installationsfejl.
• Ansvarlig for koordinering af underleverandører.
Dans rolle: Deployment Manager og udvikler
Teknologi og metode: MSSQL, EDW, ETL, SAP, Java, Unix, Linux, .NET, VBA, Team Foundation Server, TOAD, ITIL, Agile, Prince2, DB2
• Build-processen.
• Installation og vedligehold på Development-, Test- og pre-Prod miljøerne.
• Udvikling af semi-automatisk install tool for reducering af tidsforbrug samt mindskning af installationsfejl.
• Ansvarlig for koordinering af underleverandører.
Dans rolle: Deployment Manager og udvikler
Teknologi og metode: MSSQL, EDW, ETL, SAP, Java, Unix, Linux, .NET, VBA, Team Foundation Server, TOAD, ITIL, Agile, Prince2, DB2
Deployment Manager og udvikler
SAS
2005-04 - 2012-03
Periode: 4/2005 - 03/2012
Projektbeskrivelse:
Dan var ansvarlig for:
• Håndtering og sikring af TDC's IT og dataarkitektur
• Taskforce management/handling
• QA-sikring
• Koordinering af underleverandører
Dans rolle: Deployment Manager og udvikler
Teknologi og metode: MSSQL, EDW, ETL, SAP, Java, Unix, Linux, .NET, VBA, Team Foundation Server, TOAD, ITIL, Agile, Prince2, DB2
Projekt: Vedligehold af BI miljø
Kunde: TDC
Projektbeskrivelse:
Dan var ansvarlig for:
• Håndtering og sikring af TDC's IT og dataarkitektur
• Taskforce management/handling
• QA-sikring
• Koordinering af underleverandører
Dans rolle: Deployment Manager og udvikler
Teknologi og metode: MSSQL, EDW, ETL, SAP, Java, Unix, Linux, .NET, VBA, Team Foundation Server, TOAD, ITIL, Agile, Prince2, DB2
Projekt: Vedligehold af BI miljø
Kunde: TDC
Deployment Manager og udvikler
Ansat i SAS
2005-04 - 2012-03
Beskrivelse: Ansat i SAS/Airline-afdelingen og TDC/Telekommunikationsafdelingen. Begge med fokus på Business Intelligence.
Deployment Manager og Build Manager
SAS (Scandinavian Airlines)
2001-05 - 2005-03
Beskrivelse:
Ansvarlig for løsningsarkitektur, building, installation og deploying af scandinavian.net, SAS's online booking-platform.
Ansvarlig for løsningsarkitektur, building, installation og deploying af scandinavian.net, SAS's online booking-platform.
Ansvarlig for løsningsarkitektur
Scandinavian Airlines
2001-05 - 2005-03
building, installation og deploying af scandinavian.net, SAS's online booking platform. Ansvarlig for løsningsarkitekturen og build-processen samt ansvarlig for installation og vedligehold på Development-, Test- og pre-Prod miljøerne. Udvikling af semi-automatisk install tool for reducering af tidsforbrug og mindskning af installationsfejl.
Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige. Ansvarlig for koordinering af underleverandører.
Dans rolle: Deployment Manager og Build Manager
Teknologi og metode: MSSQL, EDW, ETL, Java, .NET, Team Foundation Server, TOAD, SAP, Agile, DB2
Ansvarlig for håndtering af alle change-implementationer; urgent-, emergency- og almindelige. Ansvarlig for koordinering af underleverandører.
Dans rolle: Deployment Manager og Build Manager
Teknologi og metode: MSSQL, EDW, ETL, Java, .NET, Team Foundation Server, TOAD, SAP, Agile, DB2
Planlægnings- og beregnings Ingeniør
FLSmidth
1996-01 - 2001-04
Beskrivelse:
Ansvarlig for udarbejdelse af anlægsdelene af tilbud og opfølgning på faktisk vs. forventet tidsforbrug. Planlægning og estimering af tidsforbrug for cementfabrikker. Dansk ejet - og ledet - firma.
Dan udviklede et planlægningsværktøj/tidsregistreringssystem i Excel VBA, som alle afdelinger skulle benytte i opfølgningsprocesserne.
Dan udviklede et semi-automatisk beregnings værktøj til estimering af tidsforbrug i forbindelse med afgivelse af tilbud. Baseret på stor ikke-relationel database.
Udtræk via Access, TOAD og MS SQL.
Ansvarlig for udarbejdelse af anlægsdelene af tilbud og opfølgning på faktisk vs. forventet tidsforbrug. Planlægning og estimering af tidsforbrug for cementfabrikker. Dansk ejet - og ledet - firma.
Dan udviklede et planlægningsværktøj/tidsregistreringssystem i Excel VBA, som alle afdelinger skulle benytte i opfølgningsprocesserne.
Dan udviklede et semi-automatisk beregnings værktøj til estimering af tidsforbrug i forbindelse med afgivelse af tilbud. Baseret på stor ikke-relationel database.
Udtræk via Access, TOAD og MS SQL.
Akademischer Hintergrund
License
2020-01 - 2017-01
License
2020-01 - 2016-01
License
2020-01 - 2016-01
License
2020-01 - 2016-01
License
2020-01 - 2016-01
License
2020-01 - 2015-01