Có thể thấy ngày nay dường như trong bất kì lĩnh vực nào cũng đã có sự xuất hiện của dữ liệu lớn (Big Data). Dữ liệu lớn đóng một vai trò quan trọng trong các lĩnh vực khác nhau như khoa học, nghiên cứu, kỹ thuật, y học, chăm sóc sức khỏe, tài chính, kinh doanh và cuối cùng là xã hội. Dữ liệu lớn có thể được sử dụng để Phân tích mục tiêu của khách hàng; Hiểu và tối ưu hóa sản phẩm, quy trình kinh doanh; Chăm sóc sức khỏe cộng đồng; Nâng cao hiệu suất thể thao; Cải thiện an ninh và thực thi pháp luật; Xây dựng thành phố thông minh; Hoạt động tài chính - ngân hàng; ứng dụng trong thương mại điện tử, v.v…

Sơ đồ phân rã chức năng phần mềm GShop24h

Trong những năm gần đây, nhiều đơn vị nghiên cứu, trường đại học, doanh nghiệp tại Việt Nam đã quan tâm, triển khai phát triển các ứng dụng dựa trên công nghệ xử lý dữ liệu lớn và đã mang lại nhiều kết quả trong phân tích hành vi khách hàng, hoạt động tài chính ngân hàng, ngành vận chuyển, mạng xã hội, quảng cáo, thương mại điện tử, v.v… Tuy nhiên, việc áp dụng Big Data vẫn còn tương đối hạn chế ở các doanh nghiệp Việt Nam. Tiềm năng nghiên cứu, phát triển sản phẩm ứng dụng công nghệ xử lý dữ liệu lớn là rất lớn trên mọi lĩnh vực.

Trước thực trạng áp dụng Big Data tại Việt Nam nêu trên, nhóm nghiên cứu đến từ Viện Nghiên cứu Điện tử, Tin học, Tự động hóa, trực thuộc Bộ Công thương, do Th.S. Nguyễn Đình Lượng đứng đầu, đã thực hiện đề tài “Nghiên cứu ứng dụng công nghệ dữ liệu lớn và xây dựng phần mềm phân tích dữ liệu để hỗ trợ quyết định trong thương mại điện tử”. Mục tiêu của đề tài là nghiên cứu làm chủ công nghệ lưu trữ, xử lý dữ liệu lớn, và phân tích, thiết kế, xây dựng phần mềm phân tích dữ liệu để hỗ trợ quyết định trong thương mại điện tử.

Sau hai năm tập trung tiến hành, đề tài đã đạt được các kết quả chính như sau:

- Nhóm nghiên cứu đã tiến hành nghiên cứu tổng quan về dữ liệu lớn từ khái niệm đến mô hình lưu trữ thông tin, mô hình xử lý thông tin, một số mô hình kiến trúc hệ thống xử lý dữ liệu lớn đề xuất của một số hãng công nghệ lớn trên thế giới và một số mô hình kiến trúc phổ biến, qua đó lựa chọn mô hình phù hợp cho nội dung nghiên cứu của đề tài.

Mô hình logic của hệ thống

- Đã nghiên cứu và đưa ra được cơ sở phân loại các công nghệ liên quan tới lưu trữ dữ liệu lớn. Đồng thời, với mỗi loại lưu trữ, đã nêu ra được một số các công nghệ tiêu biểu liên quan tới loại công nghệ được xem xét, từ đó đưa ra được các tiêu chí lựa chọn công nghệ cơ bản phù hợp với yêu cầu ứng dụng và đã lựa chọn hệ quản trị Cơ sở dữ liệu (CSDL) MongoDB để phục vụ lưu trữ dữ liệu của hệ thống.

- Qua nghiên cứu các mô hình kiến trúc xử lý dữ liệu lớn và phân loại, so sánh được các ưu điểm, nhược điểm của các công nghệ xử lý dữ liệu lớn. Từ đó đã có lựa chọn được kiến trúc xử lý dữ liệu lớn phù hợp với hệ thống yêu cầu của đề tài đặt ra, lựa chọn phần mềm Apache Spark phục vụ xử lý dữ liệu của hệ thống.

- Đã xây dựng được mô hình phát triển hệ thống, từ đó tiến hành xây dựng hạ tầng Big Data phục vụ thử nghiệm nội dung nghiên cứu của đề tài.

- Nhóm nghiên cứu đã thiết kế, xây dựng được phần mềm thu thập thông tin tự động eshopCrawl và Phần mềm phân tích dữ liệu để hỗ trợ quyết định trong thương mại điện tử GShop24h.

- Sản phẩm của đề tài đã được thử nghiệm thực tế tại doanh nghiệp và đã đáp ứng chỉ tiêu chất lượng chủ yếu so với đăng ký.

Cũng qua quá trình thực hiện đề tài, nhóm nghiên cứu đã có được kiến thức, kinh nghiệm liên quan tới công nghệ dữ liệu lớn, làm chủ công nghệ lưu trữ, xử lý dữ liệu lớn phục cụ phát triển sản phẩm trong lĩnh vực thương mại điện tử và các lĩnh vực khác.

Với những kết quả đạt được nêu trên, theo nhóm nghiên cứu, song song với việc thương mại hóa sản phẩm, đề tài còn có thể phát triển tiếp về quy mô, phát triển thêm chức năng của sản phẩm như theo dõi lịch sử giá của sản phẩm, theo dõi đánh giá về quảng cáo khuyến mãi, giảm giá sản phẩm của các website bán hàng vào các dịp mua sắm trực tuyến lớn như Thứ Sáu 23/11 (Black Friday), v.v… để trở thành sản phẩm đa dạng về mặt ứng dụng.

Trong thời gian tới, nhóm thực hiện đề tài dự kiến phối hợp với các doanh nghiệp để có thể đưa sản phẩm ra thị trường, qua đó, tiếp tục hoàn thiện, phát triển thêm chức năng cho sản phẩm nhằm đáp ứng tốt hơn nữa nhu cầu của người mua, người bán và doanh nghiệp sử dụng hình thức mua bán trực tuyến.

Có thể tìm đọc toàn văn Báo cáo kết quả nghiên cứu của Đề tài (Mã số 17183/2020) tại Cục Thông tin khoa học và công nghệ quốc gia.

N.M.H (NASATI)