Big Data là gì?

Big Data lớn về số lượng, được bắt giữ với tốc độ nhanh, có cấu trúc hoặc không có cấu trúc, hoặc là bao gồm các yếu tố ở trên. Những yếu tố này làm cho Big Data khó bắt giữ lại, khai phá và quản lý nếu dùng các phương thức truyền thống. Có rất nhiều ý kiến về lĩnh vực này, đến nỗi có thể cần đến một cuộc tranh luận kéo dài chỉ để định nghĩa thế nào là Big Data.
Sử dụng công nghệ Big Data không chỉ giới hạn về các khối lượng lớn. Bài này sử dụng các ví dụ mẫu nhỏ để minh họa các khả năng của công nghệ này. Tính đến năm 2012, các hệ thống được coi là lớn nằm trong phạm vi 100 Petabyte.
Dữ liệu lớn có thể vừa là dữ liệu có cấu trúc, vừa là dữ liệu không có cấu trúc. Các cơ sở dữ liệu quan hệ truyền thống, như Informix và DB2, cung cấp các giải pháp đã được kiểm chứng với dữ liệu có cấu trúc. Thông qua khả năng mở rộng, các cơ sở dữ liệu này cũng quản lý cả dữ liệu không có cấu trúc. Công nghệ Hadoop mang đến những kỹ thuật lập trình mới và dễ sử dụng hơn để làm việc với các kho dữ liệu lớn có cả dữ liệu có cấu trúc lẫn dữ liệu không có cấu trúc.

Tại sao lại có những điều thú vị ấy?
Có nhiều yếu tố tạo nên sự cường điệu xoay quanh Big Data, bao gồm:.

• Mang tính toán và lưu trữ lại cùng với nhau trên phần cứng thông dụng: Cho kết quả tốc độ nhanh với chi phí thấp.
• Tỷ số giá hiệu năng: Công nghệ Big Data của Hadoop đưa ra mức tiết kiệm chi phí đáng kể (hãy nghĩ đến một hệ số nhân xấp xỉ 10) với những cải thiện hiệu năng đáng kể (một lần nữa, hãy nghĩ đến một hệ số nhân là 10). Lời lãi của bạn có thể thay đổi. Nếu công nghệ hiện tại có thể bị đánh bại nặng nề như vậy, thì thật đáng để xem xét xem Hadoop có thể bổ sung hoặc thay thế các khía cạnh của kiến trúc hiện tại của bạn không.
• Khả năng mở rộng quy mô tuyến tính: Tất cả các công nghệ song song đều tuyên bố dễ mở rộng quy mô. Hadoop có khả năng mở rộng quy mô kể từ khi phát hành bản mới nhất có khả năng mở rộng giới hạn số lượng các nút vượt quá 4.000.
• Truy cập đầy đủ đến dữ liệu không có cấu trúc: Một kho dữ liệu có thể mở rộng quy mô cao với một mô hình lập trình song song thích hợp, MapReduce, đã là một thách thức cho ngành công nghiệp từ lâu nay. Mô hình lập trình của Hadoop không giải quyết tất cả vấn đề, nhưng nó là một giải pháp mạnh cho nhiều nhiệm vụ.

Các bản phân phối Hadoop: IBM và Cloudera

Đối với những người mới bắt đầu thì họ thường bối rối rằng "Tôi có thể tìm phần mềm để làm việc với Big Data ở đâu?" Các ví dụ trong bài này đều dựa trên bản phân phối Hadoop miễn phí của Cloudera được gọi là CDH (viết tắt của Cloudera distribution including Hadoop). Bản phân phối này có sẵn dưới dạng một file ảnh máy ảo VMWare từ trang web Cloudera. Gần đây IBM đang sửa đổi nền tảng Big Data của mình để chạy trên CDH.

Thường thì thuật ngữ công nghệ đột phá bị lạm dụng rất nhiều, nhưng có thể nó rất phù hợp trong trường hợp này.