Natural Language Processing (NLP) - AI/Robotics

Prerequisites:

Kiến thức và nhận thức về các nguyên tắc NLP và sự đánh giá ứng dụng của AI trong kinh doanh

Overview:

Phiên đào tạo trong lớp học này sẽ khám phá các kỹ thuật Xử lý Ngôn ngữ Tự nhiên (NLP) kết hợp với ứng dụng của AI và Robot trong kinh doanh. Học viên sẽ thực hiện các ví dụ dựa trên máy tính và bài tập giải quyết trường hợp sử dụng Python

Course Outline:

Bản tóm tắt chi tiết về khóa học

1. Giới thiệu về Xử lý Ngôn ngữ Tự nhiên (NLP)
   • Tìm hiểu về NLP
   • Các khung công cụ NLP
   • Các ứng dụng thương mại của NLP
   • Lấy dữ liệu từ web
   • Làm việc với các API khác nhau để truy xuất dữ liệu văn bản
   • Lưu trữ và làm việc với kho văn bản, lưu nội dung và siêu dữ liệu liên quan
   • Ưu điểm của việc sử dụng Python và khóa học ngắn về NLTK
2. Tìm hiểu thực tế về Kho dữ liệu và Bộ dữ liệu
   • Tại sao chúng ta cần một kho dữ liệu?
   • Phân tích kho dữ liệu
   • Các thuộc tính dữ liệu khác nhau
   • Các định dạng tệp khác nhau cho kho dữ liệu
   • Chuẩn bị bộ dữ liệu cho các ứng dụng NLP
3. Tìm hiểu cấu trúc của câu
   • Các thành phần của NLP
   • Xử lý ngôn ngữ tự nhiên
   • Phân tích từ vựng - gốc từ, từ, token, thẻ ngữ pháp
   • Phân tích cú pháp
   • Phân tích nghĩa học
   • Xử lý mập mờ
4. Xử lý tiền dữ liệu văn bản
   • Kho dữ liệu - văn bản thô
     • Tách câu
     • Cắt gốc từ cho văn bản thô
     • Lemmization của văn bản thô
     • Loại bỏ từ dừng
   • Kho dữ liệu - câu thô
     • Tách từ
     • Lemmization từ
   • Làm việc với ma trận Thuật ngữ-Tài liệu/Tài liệu-Thuật ngữ
   • Tách văn bản thành n-grams và câu
   • Xử lý tiền dữ liệu tùy chỉnh và thực tế
5. Phân tích dữ liệu văn bản
   • Các tính năng cơ bản của NLP
     • Các trình phân tích cú pháp và phân tích cú pháp
     • Nhãn từ loại (POS) và các công cụ nhãn từ loại
     • Nhận dạng thực thể tên
     • N-grams
     • Túi từ (Bag of words)
   • Các tính năng thống kê của NLP
     • Các khái niệm Đại số tuyến tính trong NLP
     • Lý thuyết xác suất cho NLP
     • TF-IDF
     • Vectơ hóa
     • Mã hóa và giải mã
     • Bình thường hóa
     • Các mô hình xác suất
   • Kỹ thuật tính năng nâng cao và NLP
     • Các nguyên lý cơ bản của word2vec
     • Các thành phần của mô hình word2vec
     • Lý thuyết của mô hình word2vec
     • Mở rộng khái niệm word2vec
     • Ứng dụng của mô hình word2vec
   • Nghiên cứu điển hình: Ứng dụng của túi từ (Bag of words): Tóm tắt tự động văn bản sử dụng thuật toán Luhn đơn giản và chính xác
6. Cụm hóa, Phân loại và Mô hình chủ đề Tài liệu
   • Cụm hóa tài liệu và khai thác mẫu (cụm phân cấp, k-means, v.v.)
   • So sánh và phân loại tài liệu sử dụng các tiêu chí TFIDF, Jaccard và khoảng cách cosine
   • Phân loại tài liệu bằng Naïve Bayes và Maximum Entropy
7. Xác định các yếu tố văn bản quan trọng
   • Giảm chiều: Phân tích thành phần chính (PCA), phân rã giá trị đặc trưng (SVD) và phân rã ma trận không âm (NMF)
   • Mô hình chủ đề và truy xuất thông tin bằng Phân tích Nghĩa Học Ẩn (LSA)
8. Trích xuất Thực thể, Phân tích Cảm xúc và Mô hình Chủ đề Nâng cao
   • Cảm xúc tích cực vs. cảm xúc tiêu cực: mức độ cảm xúc
   • Lý thuyết Trả lời Đề thi (Item Response Theory)
   • Nhãn từ loại và ứng dụng: tìm người, địa điểm và tổ chức được đề cập trong văn bản
   • Mô hình chủ đề nâng cao: Phân phối Dirichlet Ẩn (LDA)
9. Các nghiên cứu điển hình
   • Khai thác các đánh giá của người dùng không cấu trúc
   • Phân loại và trực quan hóa dữ liệu đánh giá sản phẩm
   • Khám phá mẫu sử dụng từ nhật ký tìm kiếm
   • Phân loại văn bản
   • Mô hình chủ đề