Khóa Học Big Data In Machine Learning Cùng Csc.edu.vn

Nội dung khóa học

Tổng quan Dữ liệu lớn (Big data)

Giới thiệu, lịch sử Big Data

Vs’ của Big Data (3Vs’, 4Vs’, 5Vs’, 6Vs’…)

So sánh Batch processing (xử lý theo lô) và Stream processing (xử lý theo thời gian thực)

Giới thiệu Apache Spark

Các thành phần của Apache Spark: RDD API, SQL, MLlib, GraphX, Streaming

Tổng quan PySpark

Giới thiệu PySpark: Spark với Python (Python API)

Lý do chọn PySpark

Cài đặt và cấu hình PySpark

Spark Context, Spark Session

PySpark RDDs

Giới thiệu PySpark RDDs (Resilient Distributed Dataset)

RDDs operations

Transformations

Actions

Làm việc với PySpark RDDs

RDDs

Tạo RDD: parallelize(), textFile()

Transformations: map(), filter(), flatMap(), RDD1.union(RDD2)…

Actions: collect(), take(), count(), first(), reduce(), saveAsTextFile(),…

Pair RDDs

Tạo Pair RDDs: từ key-value tuple, regular RDD

Transformations: reduceByKey(), groupByKey(), sortByKey(), join()

Actions: countByKey(), collectAsMap()

PySpark DataFrame, SQL

Giới thiệu

Làm việc với PySpark DataFrame

Tạo DataFrame: createDataFrame(), spark.read.csv(), spark.read.json()…

Các function thông dụng

printSchema(), show(), count(), describe(), crosstab()

select(), select() và agg, count, max, mean, min, sum..., select().distinct(),

groupby(), orderby().asc()/desc()

withColumn(), withColumnRenamed()

drop(), dropDuplicates(), dropna()

filter(), where()

Conditional clauses: .when(, ), .otherwise()

User defined functions (UDF)

Trực quan hóa dữ liệu

PySpark SQL

Giới thiệu

Truy vấn thông dụng: select(), when(), like(), startswith(), endswith(), substr(), between()

Thao tác trên dữ liệu: tạo view từ dataframe, nhóm (group by), lọc (filtering), sắp xếp (sorting), kết (joining), phân vùng (partitioning)…

Tiền xử lý và phân tích dữ liệu

Xử lý dữ liệu

Xóa (dropping), lọc (filtering), kết (joining) dữ liệu

Xử lý dữ liệu thiếu, trùng, outliers

Sử dụng parquet

Data validation

Tạo các tính năng mới (Feature Engineering)

Từ tính năng kiểu chuỗi/ số -> các tính năng kiểu số mới

Từ tính năng chuỗi -> tính năng Datetime -> các tính năng thành phần từ Datetime

Trích xuất tính năng chuỗi/ văn bản thành các tính năng mới

Splitting & Exploding

Scaling data

Pivoting & Joining

Binarizing, Bucketing & Encoding

Phân tích dữ liệu (Data Analysis)

Phân tích dữ liệu khám phá (EDA)

Trực quan hóa dữ liệu

Tổng quan PySpark MLlib

Giới thiệu

PySpark MLlib algorithms

Triển khai project: Đọc và xử lý dữ liệu, xây dựng model, đo lường và đánh giá model, lưu model và dự đoán mới

Machine Learning với PySpark MLlib

Học có giám sát (Supervised Learning: Classification & Regression)

Linear Regression, Logistic Regression

Tree models: Decision Tree, Random Forest, Gradient-Boosted Tree

Pipeline

Học không giám sát (Unsupervised Learning: Clustering & Recommender System)

Phân cụm với KMeans

Hệ thống đề xuất (Recommender System) với ALS

Phân tích luật kết hợp (Association rules) với FPGrowth

Xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP)

Giới thiệu

Công cụ

Tokenizer

StopWordsRemover

NGram

CountVectorizer

TF-IDF

Apache Spark standalone cluster

Giới thiệu standalone cluster

Kết nối các Slave computer tới Master Server

Triển khai project trong hệ thống Mater – Slave computers

PySpark Streaming

Giới thiệu

Lý do chọn PySpark Streaming

Đặc điểm

Streaming Context/ DStream

Streaming Transformation Operations

Streaming Checkpoint

GraphX

Giới thiệu

Làm việc với GraphX

Tạo graph

Vertex & edge

Trực quan Graph

Lọc thông tin trên graph (filtering)

Connecting

Tìm mối quan hệ (motif finding)

Đếm tam giác trên graph (triangle count)

Hạng