Giaosucan's blog - Chia sẻ kiến thức theo cách bá đạo

Ticker

20/recent/ticker-posts

Saving project BaoCaoSu - Giải cứu dự án



Bộ phim: Saving Project BaoCaoSu
Kịch bản và đạo diễn: Giaosucan’s blog
Các tình tiết trong bộ phim là hoàn toàn có thật. Tuy nhiên, tên nhân vật đã được thay đổi.

Texas, US, một ngày hiện tại, 5 giờ sáng
Ben, CEO của công ty startup nổi tiếng của US, chuyên cung cấp platform eClosing, digital mortage transformation cho khách hàng, vẫn đang nằm trên giường, ông khá mệt sau một đêm tiệc tùng thâu đêm. 
Bỗng tiếng chuông điện thoại réo liên hồi… 
“Có chuyện rồi, check mail gấp…”
Ông lật đật mở laptop kiểm tra mail, mắt ô mở trừng trừng, tỉnh cả ngủ. Trước mặt là hàng trăm email notification đến từ khắp nơi, user, customer service
“Hệ thống production bị trục trặc, khách hàng không thể truy cập vào trang web, treo toàn bộ”


…….
Đà Nẵng, một ngày trong quá khứ 8 năm về trước. 
“Xin chúc mừng, chúng ta đã win 1 dự án triệu đô, xây dựng hệ thống eClosing cho khách hàng, team đã roam up lên 30 người, chúc anh em thành công” Anh Manager nâng li
Dự án với bí danh “Baocaosu” với tổng giá trị hơn xx triệu đô được mở với đội hình 30 người bao gồm SA, BA, Technical Lead, Developer, Tester. Công nghệ được sử dụng là .NET, Microsoft SQL database, và WCF API, tất cả được deploy trên nền tảng cloud AWS. FrontEnd vẫn code bằng HTML, Jquery…
Tại thời điểm đó, khi ReactJS, Angular còn chưa ra đời, thì technical stack trên được đánh giá là good cho một hệ thống ARP điển hình
Mọi chuyện diễn ra tốt đẹp trên cả tuyệt vời.
…………
Lập tức báo ngay cho đội dự án phía Việt Nam về tình hình issue hiện tại, tôi muốn gặp trực tiếp đội onsite Việt Nam để nghe báo cáo tình hình, ngài Ben gào lên trong điện thoại.
Đã 11h đêm, tiếng các thanh niên gọi nhau í ới, onsite offshore chém gió tranh cãi như mổ bò
Thế méo nào mà login toàn thấy quay quay không vào được?
Check database performance insight trên AWS thấy database write IOPS tăng đột ngột, chuyện gì vại?
Em check IIS process phát hiện IIS server bị crash anh ơi
Phát hiện mấy câu lệnh query take quá nhiều time sếp ơi
Thế méo nào trên production mới bị, trên môi trường QA tái hiện mãi éo được
Ối anh ơi, em recyling application pool trên IIS thì lại vào được, kì lạ vcd.
Đù mạ, thế mỗi lần crash app mày lại recycling app pool à, tìm root cause đê
Config lại IIS xem, tăng memory allocate cho application pool, set interval recycling application

Hệ thống BaoCaoSu được viết bằng .NET và được deploy lên server IIS, gồm 2 app, deploy trong một application pool. App pool hiểu là nơi chứa ứng dụng web, mỗi web có thể đặt trong các app pool khác nhau, không ảnh hưởng đến app khác.
Application pool recycling thực chất là quá trình restart worker process in application pool. Mục đích để recover lại system resources, mangage các fault worker process


Kiểm tra các thông số của AWS trên cloudwatch, check lại log trên S3 xem có gì đặc biệt không?
Thanh niên phụ trách mảng infra vội lật đật truy cập AWS kiểm tra các thông tin trên CloudWatch
Anh ơi, tình hình là metrics trên ELB đột ngột tăng cao vào thời điểm crash app, nhất là thông số average Latency (Tổng thời gian in second mà ELB gửi request tới register instance cho tới khi instance gởi lại responsed)
12 Top Metrics to Monitor for AWS (ELB) Elastic Load Balancing

Đù má, hôm nay lúc 8 h sáng, app lại bị crash mà check thông số trên AWS lại bình thường mới lạ
Dư lày là dư lào
Em nào biết, em nào có hay, lỗi tại định mệnh

Hết tranh cãi, tiếp đó là các tiếng chửi tục vang lên
Đạm Cà Mau, Đồn Như Lời…

1 tháng trôi qua, vẫn không có kết quả khả quan, đời vẫn trôi và app vẫn tèo.
Trong cuộc meeting, anh Deliver Manager đập bàn quát lớn
Tình hình vô cùng nguy hiểm, hệ thống production trục trặc, ảnh hưởng đến business của khách hàng, nhất là trong thời buổi covid, anh em cần chắt chiu cơ hội. Nếu không giải quyết được issue này, chúng ta có nguy cơ mất dự án, 30 con người sẽ không có việc làm

Anh PM mặt tái xanh, cắt không còn chút máu
Bọn em cố hết sức rồi anh, vẫn không tìm được nguyên nhân…
Lập tức điều đội Delta Fuck vào cuộc, tôi quyết định lập chuyên án “Giải cứu project BaoCaoSu”, huy động tất cả nguồn lực tốt nhất trong và ngoài đơn vị, trong 1 tháng phải giải quyết được issue. Nếu không Game Over.

Biệt đội Delta, một lực lượng tinh nhuệ cho công ty F** lập ra quy tụ các chiến binh tinh nhuệ thuộc khối Sản xuất, được trang bị đầy đủ “thiết bị, vũ khí” và sử dụng chiến thuật đặc biệt để tham gia các trận đánh trọng điểm của công ty.
Thành phần của Delta F bao gồm SA, BA, Dev cấp 5 trở lên, những kĩ sư có nhiều năm kinh nghiệm, chuyên về từng mảng công nghệ khác nhau, có tinh thần máu lửa.

Liệu biệt đội Delta có thành công trong chuyên án này??


Hết tập 1

Đăng nhận xét

0 Nhận xét