Data Engineering

Explore 22 posts about data engineering

22 posts6 years

2021

Spark on Kubernetes Performance Tuning

2020

Airflow 2.0 - Taskflow API

Tại sao nên triển khai Apache Spark trên Kubernetes

Scheduling Python script in Airflow

Spark History Server on Kubernetes

3 ways to run Spark on Kubernetes

Airflow DAG Serialization

Data Studio: Connecting BigQuery and Google Sheets to help with hefty data analysis

2019

Đánh giá hệ thống Information Retrieval (tiếp theo)

Sách hay (Engineering)

Đánh giá hệ thống Information Retrieval

Information Retrieval - Vector Space Model

Airflow - một số ghi chép

Cài đặt Apache Airflow với Docker Compose

Gửi Slack Alerts trên Airflow

Airflow - "context" dictionary

2018

[Slide] Build simple data pipeline for ETL and data aggregation on AWS

2016

vnTokenizer trên PySpark

R trên Jupyter Notebook (Ubuntu 14.04 / 14.10 / 16.04)

Spark: Convert Text (CSV) to Parquet để tối ưu hóa Spark SQL và HDFS

2015

Bigdata - Map-Reduce và bài toán Word Count

Nodejs - Các kỹ thuật Crawler, rút trích dữ liệu với Nodejs