Chi tiết khóa học
Hình thức đào tạo
- Tham gia học trực tiếp tại OpenLab
- Hoặc theo yêu cầu doanh nghiệp (In house Training)
- Cấp chứng nhận hoàn thành sau khóa học
Sơ lược chương trình
Cơ sở NLP và Xử lý Văn bản (8 giờ)
- Bài 1: Giới thiệu về NLP và các thách thức (2 giờ)
- Tổng quan về NLP và ứng dụng
- Các thách thức trong xử lý ngôn ngữ tự nhiên
- Giới thiệu các thư viện NLP: NLTK, spaCy
- Bài 2: Tiền xử lý văn bản (3 giờ)
- Tokenization và Word Segmentation
- Loại bỏ stopwords và punctuation
- Stemming và Lemmatization
- Bài tập thực hành: Xây dựng pipeline tiền xử lý văn bản
- Bài 3: Biểu diễn văn bản (3 giờ)
- One-hot encoding
- Bag of Words (BoW) và TF-IDF
- N-grams
- Bài tập thực hành: So sánh hiệu quả của các phương pháp biểu diễn văn bản
Word Embeddings và Language Models (10 giờ)
- Bài 4: Word Embeddings (3 giờ)
- Giới thiệu về Word Embeddings
- Word2Vec (CBOW và Skip-gram)
- GloVe và FastText
- Bài tập: Huấn luyện và trực quan hóa word embeddings
- Bài 5: Các kỹ thuật nâng cao trong Word Embeddings (3 giờ)
- Subword embeddings
- Contextual word embeddings (ELMo)
- Sentence và Document embeddings
- Bài tập: So sánh hiệu quả của các loại embeddings trong bài toán phân loại văn bản
- Bài 6: Language Models (4 giờ)
- N-gram Language Models
- Neural Language Models
- Ứng dụng của Language Models
- Dự án mini: Xây dựng một Language Model đơn giản để sinh văn bản
Recurrent Neural Networks cho NLP (10 giờ)
- Bài 7: RNN cơ bản và ứng dụng trong NLP (3 giờ)
- Kiến trúc RNN và backpropagation through time
- Vanishing và exploding gradient trong RNN
- Ứng dụng RNN trong sequence labeling (POS tagging, NER)
- Bài 8: LSTM và GRU (3 giờ)
- Kiến trúc LSTM và GRU
- So sánh LSTM, GRU với RNN cơ bản
- Bidirectional và Multi-layer RNNs
- Bài 9: Seq2Seq và Attention (4 giờ)
- Kiến trúc Encoder-Decoder
- Cơ chế Attention
- Ứng dụng trong Machine Translation và Text Summarization
- Dự án: Xây dựng mô hình dịch máy đơn giản với Seq2Seq và Attention
Transformer và BERT (12 giờ)
- Bài 10: Kiến trúc Transformer (3 giờ)
- Self-Attention và Multi-Head Attention
- Position Encoding
- Feed-Forward Networks trong Transformer
- Bài 11: BERT và các mô hình tiền huấn luyện (3 giờ)
- Giới thiệu về BERT
- Quá trình tiền huấn luyện và fine-tuning
- Các biến thể của BERT (RoBERTa, DistilBERT, ALBERT)
- Bài 12: Ứng dụng BERT trong các tác vụ NLP (3 giờ)
- Fine-tuning BERT cho phân loại văn bản
- Question Answering với BERT
- Named Entity Recognition với BERT
- Bài 13: Hugging Face Transformers (3 giờ)
- Giới thiệu về thư viện Hugging Face Transformers
- Sử dụng pre-trained models
- Fine-tuning models cho các tác vụ cụ thể
- Dự án: Xây dựng ứng dụng phân tích sentiment sử dụng BERT và Hugging Face
Các chủ đề nâng cao và xu hướng mới trong NLP (5 giờ)
- Bài 14: Transfer Learning trong NLP (2 giờ)
- Nguyên lý của Transfer Learning trong NLP
- Few-shot và Zero-shot Learning
- Ứng dụng Transfer Learning trong các bài toán NLP thực tế
- Bài 15: Xu hướng mới trong NLP (3 giờ)
- GPT và các mô hình ngôn ngữ lớn
- Multimodal Learning trong NLP
- Ethical AI và Bias trong NLP
- Thảo luận: Tương lai của NLP và AI
/* Nội dung chương trình có thể thay đổi theo yêu cầu đào tạo của Doanh nghiệp */
------------------------------------
