Giaosucan's blog - Chia sẻ kiến thức theo cách bá đạo

Ticker

20/recent/ticker-posts

Tích Hợp Splunk Với Dịch Vụ AWS Để Tạo Ra Các Báo Cáo Tự Động



(Nguồn Potato Fsoft)

Spunk là một ứng dụng tạo ra phần mềm để tìm kiếm, giám sát và phân tích các dữ liệu lớn được máy tính tạo ra, thông qua giao diện Web. Splunk có thể thu thập, lập chỉ mục, và đối chiếu dữ liệu thời gian thực trong một kho lưu trữ có thể tìm kiếm, để từ đó tạo ra đồ thị, báo cáo, cảnh báo, bảng điều khiển và hiển thị. Tại FPT, chúng tôi đang sử dụng Splunk cho nhiều mục đích khác nhau, từ thu thập, phân tích log để hiển thị báo cáo trong bảng điều khiển có thể xem. Điều này có thể giúp cả FPT và khách hàng giám sát và theo dõi tất cả các nguồn lực một cách tốt nhất. Trong bài này, tôi sẽ giới thiệu một số ví dụ điển hình của Splunk trong việc báo cáo và quản lý tài nguyên AWS.

Quản lý bản vá của hệ điều hành (Operation System – OS)

Patching là một hoạt động thường xuyên để đảm bảo các EC2 hoạt động ổn định. Với các cảnh báo của Nagios như check_yum(cho Linux) và check_windows_updates (cho Windows), chúng tôi có thể giám sát server nào đã được cập nhật và  server nào cần được cập nhật bản vá.


Chúng tôi cũng có script tự động chạy trên mỗi instance để kiểm tra nếu chúng đã được cập nhật với package mới nhất và gửi kết quả đến Splunk. Kết hợp script và báo cáo được tạo ra từ Nagios, nó có thể hiển thị trên Splunk dashboard với phần trăm các instance được vá và chưa được vá trong một khoảng thời gian nhất định. Điều này sẽ giúp ta giám sát tình trạng vá lỗi cũng như khách hàng có thể tự truy cập và theo dõi tiến trình thực hiện.

Tối ưu các báo cáo về tài nguyên trên AWS

AWS Trusted Advisor cung cấp năm loại kiểm tra theo: Cost Optimization (Tối Ưu Hóa Chi Phí), Security (Bảo Mật), Fault Tolerance (Khả năng Chịu lỗi), Performance (Hiệu suất Sử dụng)  Service Limits (Giới hạn Dịch vụ). Với mỗi loại kiểm tra, bạn có thể xem lại mô tả chi tiết đi kèm với khuyến nghị, một bộ cảnh báo tiêu chuẩn, hướng dẫn, và một danh sách các thông tin hữu ích.

Ở Cost Optimization dashboard, ta có thể thấy kiểm tra về Cost Optimization về các Amazon EC2 ít được sử dụng, Amazon EBS không dùng tới hay các DB RDS instance không hoạt động. Download kết quả; chúng ta có thể có một danh sách các resource ít sử dụng. Từ đó xem xét để có kế hoạch cho những resource này. Import dữ liệu vào Splunk dưới định dạng biểu đồ ( như ví dụ dưới đây), ta sẽ có một dashboard hiển thị những tư vấn cho việc tối ưu cũng như cóthể kiểm tra chi tiết hiệu suất trên mỗi instance, volume …

Dashboard này có thể giúp khách hàng theo dõi tình trạng của các resource đang có hiệu suất sử dụng thấp. Dựa vào đó, ta sẽ đưa ra khuyến nghị cho từng trường hợp như giảm cấu hình EC2, RDS hoặc loại bỏ các resource không dung tới (EBS, ELB) để tiết kiệm chi phí.

Báo cáo chi phí hàng tháng

Cost Explorer là một công cụ miễn phí để xem chi phí sử dụng. Bạn có thể xem chi phí của mình với chế độ cash-based với chi phí chưa được gộp lẫn hoặc tùy theo các hiển thị nâng cao. Bạn có thể sử dụng Cost Explorer để xem số tiền bạn chi tiêu cho AWS resource theo thời gian, xác định các khu vực cần được xem chi tiết và các xu hướng chi tiêu  để rõ hơn về chi phí. Bạn cũng có thể chỉ định phạm vi thời gian cho dữ liệu cũng như xem dữ liệu thời gian theo ngày, tuần hoặc tháng. Sử dụng Cost Explorer API cho phép bạn lập trình việc truy vấn dữ liệu về chi phí và lượng sử dụng. Bạn có thể truy vấn dữ liệu tổng hợp như tổng chi phí hàng tháng hoặc tổng số sử dụng hàng ngày thông qua script được lên lịch chạy chạy hàng tuần hoặc hàng tháng. Từ đó xuất ra lượng sử dụng thực tế của bạn, mục đích để báo cáo hoặc phân tích về sau.
Vì vậy, trong trường hợp này của ta, ta sử dụng Cost Explorer API để tải báo cáo hàng tháng với các bộ lọc được xác định trước do mục đích được xác định của khách hàng. Sau khi xuất và lưu trữ các tệp dữ liệu CSV này trên S3 hoặc trong máy chủ Splunk SearchHead, ta có thể tạo bảng điều khiển tùy chỉnh riêng với biểu đồ hiển thị trên Splunk.

Báo cáo Resource Tagging (Gắn thẻ Tài nguyên)

Tag Editor là một công cụ để xem và quản lý tag trên các tài nguyên AWS. Bạn có thể sử dụng tag editor để tìm kiếm tài nguyên theo loại tài nguyên, region hoặc tag, sau đó quản lý tag được áp dụng cho các tài nguyên đó. Từ quan điểm quản lý của FPT, ta có thể sử dụng Tag Editor để xuất tất cả các tài nguyên có Tag Key và Tag Value dựa trên một hoặc một số tag key chuẩn đã được xác định trước. Ta cũng có thể sử dụng Tag Editor để chỉnh sửa các tag cho nhiều tài nguyên cùng một lúc. Nhưng để tìm kiếm, cập nhật/chỉnh sửa tag, chúng ta cần phải biết trường tag cần truy vấn cũng như có bao nhiêu tài nguyên được gắn tag/khôngđược gắn tag hoặc gắn tag sai.
Với Spunk, chúng tôi đã tạo ra một tệp excel mà chúng tôi gọi là các tag chuẩn với tất cả các tag key và tag value đúng. Dựa vào tệp đó, ta tạo một tìm kiếm mới để truy vấn tất cả các tài nguyên AWS và so sánh nếu chúng được gắn tag chính xác hay không.

Tỷ lệ phần trăm tài nguyên gắn tag đúng hay sai do số lượng và tên của tài nguyên gắn tag sai sẽ hiển thị qua các biểu đồ hình tròn như dưới đây. Nhấp vào các biểu đồ này, bạn có thể xem chi tiết với ID của các tài nguyên bị tag sai.

Sử dụng kết quả từ bảng điều khiển Splunk, chúng tôi có thể sử dụng Tag Editor để cập nhật những tag sai một cách nhanh nhất.

Đăng nhận xét

0 Nhận xét