Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive – Có Nghĩa Là Gì, Ý Nghĩa La Gi 2021

hive la gi

thuật ngữ big data đc cần sử dụng cho những bộ tập dữ liệu khổng lồ kể cả trọng lượng to, vận tốc cao and nhiều loại dữ liệu đang tăng đều mỗi ngày. dùng những hệ thống quản trị dữ liệu
cổ đại, cực khó để xử lý big data. bởi vậy, quỹ ứng dụng apache (apache software foundation) đã diễn ra một framework tên là hadoop để giải quyết những thử thách quản trị and xử lý big data.

bài viết: hive là gì

Bạn đang xem: Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive – Có Nghĩa Là Gì, Ý Nghĩa La Gi 2021

hadoop

hadoop là một framework open-source để lưu trữ and xử lý big data trong môi trường xung quanh phân tán. nó chứa hai mô-đun, 1 là mapreduce and một mô-đun khác là hệ thống tệp phân tán hadoop (hadoop distributed tệp tin system – hdfs).

mapreduce: Đó là quy mô lập trình song song để xử lý một lượng to dữ liệu có kết cấu, bán kết cấu and không kết cấu trên những cụm to của phần cứng kinh tế (commodity hardware).hdfs: hệ thống tệp phân tán hadoop là 1 phần của framework hadoop, đc cần sử dụng để lưu trữ and xử lý những bộ dữ liệu. nó thỏa mãn một hệ thống tập tin chịu lỗi để chạy trên phần cứng kinh tế.

hst hadoop chứa những sub-project (tool) khác nhau như sqoop, pig and hive đc cần sử dụng để hỗ trợ những mô-đun hadoop.

sqoop: nó đc cần sử dụng để nhập and xuất dữ liệu đến and đi giữa hdfs and rdbms.pig: Đó là một nguồn gốc ngôn ngữ thủ tục đc cần sử dụng để phát triển tập lệnh cho những chuyển động của mapreduce.

Xem thêm: Hàm Round, cách dùng hàm làm tròn trong Excel là hàm gì

xem ngay: criteria là gì – nghĩa của từ criterion

hive: Đó là một nguồn gốc đc cần sử dụng để phát triển những tập lệnh loại sql để tiến hành những chuyển động mapreduce.

cảnh báo: có nhiều phương thức khác nhau để tiến hành những chuyển động mapreduce:

phương thức tiếp cận cổ điển cần sử dụng chương trình java mapreduce cho dữ liệu có kết cấu, bán kết cấu and không kết cấu.phương thức tiếp cận cần sử dụng câu lệnh cho mapreduce để xử lý dữ liệu có kết cấu and bán kết cấu bằng pig.ngôn ngữ truy vấn hive (hiveql hoặc hql) cho mapreduce để xử lý dữ liệu có kết cấu bằng hive.hive là gì?

hive là một công cụ cơ sở hạ tầng kho dữ liệu để xử lý dữ liệu có kết cấu trong hadoop. nó tọa lạc trên đỉnh hadoop để tóm tắt dữ liệu to and cứu truy vấn and phân tích dễ dàng.

mở màn hive đc phát triển bởi fb, sau đó quỹ Ứng dụng apache đã lấy and phát triển nó thành một nguồn mở bên dưới tên apache hive. nó đc cần sử dụng bởi những doanh nghiệp khác nhau. ví dụ: amazon cần sử dụng nó trong amazon elastic mapreduce.

hive không cần là:một csdl quan hệmột thiết kế để xử lý giao dịch trực tuyến (online transaction processing – oltp)một ngôn ngữ cho những truy vấn thời hạn thực and update cấp hàngĐặc trưng của hivenó lưu trữ lược đồ trong cơ sở dữ liệu and xử lý dữ liệu vào hdfs.nó được gia công cho olap.nó thỏa mãn ngôn ngữ kiểu sql để truy vấn đc gọi là hiveql hoặc hql.nó là thân quen, chóng vánh, có khả năng mở rộng.kiến trúc của hive

sơ đồ sau đây biểu đạt kiến trúc của hive:

hive là gì - giới thiệu những kiến thức cơ bản về apache hive - có nghĩa là gì, Ý nghĩa la gi 2021

sơ đồ thành phần này chứa những đơn vị khác nhau.user interface: hive là một ứng dụng cơ sở hạ tầng kho dữ liệu có thể tạo được sự tương tác giữa người mua and hdfs. những giao diện người mua mà hive giúp đỡ là hive web ui, hive command line and hive hd insight (trong máy chủ windows).meta store: hive chọn những máy chủ cơ sở dữ liệu tương ứng để lưu trữ lược đồ hoặc metadata của những bảng, cơ sở dữ liệu, những cột trong một bảng, những loại dữ liệu của chúng and ánh xạ hdfs.hiveql process engine: hiveql cũng tương tự như sql để truy vấn thông tin lược đồ trên metastore. Đó là một trong các thay thế của cách thức cổ xưa cho chương trình mapreduce. thay thế vì viết chương trình mapreduce bằng java, các bạn có thể viết một truy vấn cho việc làm mapreduce and xử lý nó.execution engine: phần kết hợp của công cụ xử lý hiveql and mapreduce là công cụ thực thi hive (hive execution engine). công cụ thực thi xử lý truy vấn and tạo kết quả gần giống kết quả mapreduce.hdfs hoặc hbase: hệ thống tệp phân tán hadoop hoặc hbase là những kỹ thuật lưu trữ dữ liệu để lưu trữ dữ liệu vào hệ thống tệp.phương thức làm việc của hive

sơ đồ sau biểu đạt các bước làm việc giữa hive and hadoop.

Xem thêm: Rau diếp cá có tác dụng gì? 12 tác dụng của rau diếp cá

hive là gì - giới thiệu những kiến thức cơ bản về apache hive - có nghĩa là gì, Ý nghĩa la gi 2021

phương thức hive tương tác với framework hadoop:

thực thi query: giao diện hive như command line hoặc giao diện người mua web gửi truy vấn đến trình điều khiển (bất kể trình điều khiển cơ sở dữ liệu nào như jdbc, odbc, v.v.) để thực thi.nhận kế hoạch: trình điều khiển có sự hỗ trợ của trình biên dịch truy vấn để phân tích cú pháp truy vấn để check cú pháp and kế hoạch truy vấn hoặc nhu yếu của truy vấn.nhận metadata: trình biên dịch gửi nhu yếu metadata đến metastore (bất kể cơ sở dữ liệu nào).gửi metadata: metastore gửi metadata như 1 comment cho trình biên dịch.gửi kế hoạch: trình biên dịch check nhu yếu and gửi lại kế hoạch cho trình điều khiển. Đến đây, việc phân tích cú pháp and biên dịch một truy vấn đã hoàn tất.kế hoạch tiến hành: trình điều khiển gửi kế hoạch tiến hành đến công cụ thực thi.thực tiến hành triển khai việc: trong nội bộ, công đoạn thực tiến hành triển khai việc là một việc làm mapreduce. công cụ thực thi gửi việc làm đến jobtracker, trong node name and nó gán việc làm này cho tasktracker, trong node data. Ở đây, truy vấn thực tiến hành triển khai việc mapreduce.

xem ngay: bounce rate là gì – and làm sao để cải thiện chúng

vận động metadata: trong khi tiến hành, công cụ thực thi có thể thực thi những chuyển động metadata với metastore.lấy kết quả: công cụ thực thi nhận kết quả từ những node data.gửi kết quả: công cụ thực thi gửi những giá thành kết quả đó đến trình điều khiển.gửi kết quả: trình điều khiển gửi kết quả đến giao diện hive.

thể loại: giải bày kiến thức cộng Đồng

nguồn blog là gì: https://hethongbokhoe.com hive là gì – giới thiệu những kiến thức cơ bản về apache hive

Nguồn: https://fusionsuitesvungtau.com.vn
Danh mục: Hỏi đáp ✅