Chương 2.2 Apache Hadoop
von Trần Thị Mỹ Nhung
1. Thao tác ghi: 139
2. Lỗi Namenode: 131
2.1. Hệ thống ngưng trệ
3. Kiến trúc Hadoop 1.x: 148
4. YARN: 164
4.1. Hệ thống quản lý tài nguyên theo cụm Hadoop
4.2. Thành phần
4.2.1. Chính
4.2.1.1. Resource Manager
4.2.1.1.1. Theo dõi tài nguyên, Lập lịch
4.2.1.2. Node Manager
4.2.1.2.1. Giám sát nút và container
4.2.1.2.2. Thu thập dữ liệu nhật ký
4.2.1.2.3. Báo cáo cho RM
4.2.1.3. Application Master
4.2.1.3.1. Tiến trình riêng trên nút khách
4.3. Các bước chạy YARN: 169
5. HDFS Liên kết: 161
5.1. Để mở rộng HDFS theo chiều ngang
6. Hadoop 2.x: 159
6.1. Chức năng 2.x vs 1.x
7. Hạn chế Hadoop 1.x: 156
8. Cấu trúc mạng: 138
8.1. Tài nguyên quan trọng của HDFS là **Băng thông**
9. Secondary Namenode: 124
9.1. Sao chép FsImage, Editlog, Hợp nhất, khôi phục
10. HearBeat: 122
10.1. DataNode
10.1.1. gửi 3s 1 lần
10.2. NameNode
10.2.1. Đợi 10' -> tái nhân bản DN
11. DataNode: 121
11.1. Block server
11.2. Báo cáo khối cho Namenode
11.3. Phân chia dữ liệu: chuyển DL đến Datanode
12. JobTracker: 144
12.1. Quản lý tài nguyên
12.2. lập lịch và quản lý
12.3. Nhiệm vụ
13. TaskTracker: 146
13.1. Thực hiện tác vụ
13.2. Nhận tác vụ từ Jobtracker, Máy ảo
14. Hệ thống tập tin phân tán: 112
14.1. GFS vs HDFS
14.2. Kiến trúc HDFS
15. Nhân bản khối dữ liệu: 141
15.1. Chiến lược
16. Thiết kế giải thuật: 174
16.1. Các bước thiết kế
16.2. Vấn đề không nằm trong tầm kiểm soát của người thiết kế
16.3. Những vấn đề kiểm soát được
16.4. Mẫu thiết kế cơ bản
16.4.1. Tổng hợp cục bộ: 181
16.4.1.1. **Đồng bộ hóa**
16.4.1.2. **Combiner ** mapper: 183
16.4.2. Cặp và sọc: 195
16.4.3. Đảo ngược thứ tự
17. Độ chính xác của dữ liệu: 123
17.1. CheckSum: CRC32
18. Tối ưu hóa: **Combiner:** 108
19. Nguồn gốc: 99
19.1. Phát triển bởi Yahoo, viết bằng Java
20. Namenode: 119
21. Đặc điểm: 102
21.1. Chịu lỗi và mở rộng cho Dữ liệu lớn
21.2. Nhân Hadoop
21.2.1. **Hadoop/MapReduce** Xử lý dữ liệu phân tán
21.2.2. HDFS
21.2.2.1. Hệ thống lưu trữ phân tán
21.2.2.2. Chịu lỗi
21.2.2.3. Băng thông rộng
21.2.2.4. Tính sẵn sàng cao