Big Data – Giới thiệu

Big Data vẫn là một trong những từ thông dụng nhất trong ngành. Theo Gartner – Big Data là một loại Dầu mới, nó được chấp nhận ở mọi ngành nghề (Viễn thông, Bán lẻ, Tài chính, Y tế, Ngân hàng, v.v.) rằng Big Data là điều phải có để xử lý những yêu cầu về phân tích và dữ liệu ngày một nhiều. Nhìn chung, chúng ta có thể nói Big Data là thứ bắt buộc phải có để mỗi doanh nghiệp tồn tại hoặc phát triển.

Vì thế, hãy để nói về cách Big Data được phát triển từ quan điểm của các giải pháp khác nhau. Big Data xuất hiện khi Google xuất bản một bài báo (vào năm 2004) về MapReduce, một mô hình lập trình đang sử dụng để xử lý khối lượng nội dung khổng lồ để tạo mục lục web. Sau một năm, ngành công nghiệp đã có nền tảng xử lý Big Data đầu tiên được gọi là Hadoop.

Do đó, vấn đề hiện tại với ngành công nghiệp Big Data là công nghệ mới hàng ngày được ra mắt hứa hẹn những điều mới mẻ, khác biệt và vượt trội. Là một chuyên gia Big Data (nhà phát triển, quản trị viên, nhà phân tích, lãnh đạo, quản lý, kiến trúc sư, v.v.), rất khó để học một công nghệ mới mọi lúc mọi nơi. Ngoài ra, nó rất phức tạp và tốn kém để triển khai và quản lý.

Sau Hadoop, ngành công nghiệp đã chứng kiến sự ra đời của một loại công nghệ mới nền tảng xử lý Big Data như MapReduce – Công cụ xử lý hàng loạt, Apache Storm – Công cụ xử lý luồng, Apache Tez – Batch và công cụ tương tác, Apache Giraph – Công cụ xử lý đồ thị, Apache Hive – SQL.

 Những Frameworks đặc biệt và các vấn đề liên quan.

Các công nghệ giải quyết vấn đề Big Data

Mỗi framework là một công cụ chuyên biệt để giải quyết một số vấn đề cụ thể. Nhưng để giải quyết các vấn đề trong thực tế, chúng ta cần kết hợp nhiều framework. Kết hợp nhiều framework sẽ tạo sự tối ưu nhưng để chúng hoạt động trên cùng một nền tảng là vô cùng tốn kém và phức tạp. Mỗi framework có sự trừu tượng riêng, vì vậy để sử dụng, chúng ta cần nắm vững các khái niệm trừu tượng tương ứng.

Nếu chúng ta quan sát từng công nghệ trong hình đều là một công cụ chuyên dụng để giải quyết một số vấn đề về Big Data. Một số trong các Framework này là phần còn lại độc quyền để nguồn mở. Rất khó để tiếp tục nâng cấp các kỹ năng dựa trên các yêu cầu mới hoặc giới thiệu các Framework mới.

Khi Big Data đang trong giai đoạn phát triển, có thể chấp nhận sử dụng nhiều Framework làm việc đồng thời, nhưng hiện tại nó đã trở nên quá phức tạp để xử lý nhiều công nghệ.

 Giải pháp cho điều này.

Ngành công nghiệp đang cần một nền tảng xử lý Big Data tổng quát, có thể một mình xử lý khối lượng công việc đa dạng như:

• Xử lý hàng loạt
• Xử lý tương tác
• Xử lý thời gian thực (luồng)
• Xử lý đồ thị
• Xử lý lặp
• Xử lý trong bộ nhớ

Như vậy, nền tảng cũng sẽ cung cấp khả năng tính toán cao, khả năng chịu lỗi, tính sẵn sàng, dễ sử dụng và tốc độ cao.

 Sự tăng trưởng của những nền tảng Big Data

Thời gian cho framework xử lý dữ liệu đã hết, giờ là thời điểm cho nền tảng tổng quát. Những tiến bộ mới nhất trong ngành công nghiệp Big Data đều muốn sử dụng nền tảng thống nhất. Nền tảng đơn phát triển, quản lý và duy trì nhanh hơn Framework. Chúng ta cần nắm vững công nghệ duy nhất để giải quyết tất cả các vấn đề dữ liệu lớn.

Big Data đang phát triển nhanh hơn bao giờ hết và có thể có các yêu cầu mới trong tương lai gần. Nó sẽ có thể khai thác những tiến bộ trong phần cứng.

 Apache Flink – Nền tảng xử lý Big Data

Apache Spark đã bắt đầu xu hướng mới bằng cách cung cấp một nền tảng đa dạng để giải quyết các vấn đề khác nhau nhưng bị hạn chế do công cụ xử lý hàng loạt cơ bản của nó xử lý các luồng cũng như các lô siêu nhỏ. Flink đã đưa ra khả năng tương tự phía trước và Flink có thể giải quyết tất cả các loại vấn đề về Big Data. Apache Flink là một công cụ tính đa chức , có thể xử lý xử lý hàng loạt, v.v.

Do đó, Apache Flink là nền tảng Big Data thế hệ tiếp theo còn được gọi là 4G của Big Data. Phần mềm chings của Flink là một thời gian chạy trực tuyến tốc độ cao, khả năng chịu lỗi, dễ sử dụng, v.v. Về cơ bản, Flink xử lý dữ liệu ở tốc độ cao với độ trễ thấp. Vì vậy, nó là nền tảng xử lý dữ liệu quy mô lớn có thể xử lý dữ liệu được tạo ra ở tốc độ rất cao

Nguồn tham khảo: https://insight.isb.edu.vn