Giaosucan's blog - Chia sẻ kiến thức theo cách bá đạo

Ticker

20/recent/ticker-posts

Voice AI , Vạn lý truyền âm - Hồi 2

 VoiceAI đăng tuyển cầu hiền

Tiếp phần 1




Lại nói chuyện về VoiceAI, từ ngày hệ thống được launching lên production, khách hàng của công ty ngày một nhiều, từ Úc châu cho đến Hoa Kỳ, toàn các tổ chức tài chính lớn mua liciense , doanh thu lớn lắm. Thế lực càng ngày càng mạnh, lúc đầu mới chỉ là một startup nhỏ ở Úc Châu với 8 người. Nay đã vươn ra tập đoàn toàn cầu với hàng trăm nhân viên.

Số lượng khách hàng tăng lên nhanh chóng, user request ngày một lớn, thì càng nhiều issue xuất hiện

Số lượng user tăng liên tục x5, x10 trong thời gian ngắn, nên hệ thống gặp nhiều issue về khả năng scability, high avaibility . Đặc biệt là việc xử lý Disater Security và Security. Do data của khách hàng là audio file và transcript được lưu trữ tại VoiceAI data center, nếu xảy ra security incident . Dữ liệu bị mất hoặc leak thì sẽ là thảm họa, vì VoiceAI đã kí privacy NDA với khách hàng về việc bảo vệ customer data, không tránh khỏi việc kiện tụng bồi thường hàng triệu mỹ kim. Chưa kể lượng audio, transcript này vô cùng lớn, cả trăm TB, việc lưu trữ truy vấn trở nên thách thức

Ngoài ra, VoiceAI còn gặp vấn đề về infra resources, do giai đoạn đầu startup, cần ra sản phẩm nhanh, các kĩ sư đã bỏ qua process về naming convention, phân chia environment dev. qa, staging, production. Dẫn tới lượng resources tạo ra trên cloud vô tội vạ, không biết dùng vào việc gì, hoặc dùng không hết hiệu suất, khiến cost tăng cao liên tục, tốn chi phí làm benefit giảm.

VoiceAI sử dụng các server EC2 G4 Instances type , loại support card đồ họa NVIDIA, dùng machine learning để thực hiện quá trình Speed to Text, transcibe Audio ra Script Text, phân tích nội dung audio. Các server này nằm trong autoscaling group để handler request từ user, gọi là ASR server. Loại instance này price khá cao, chiếm gần 40% tổng chi phí cloud của toàn hệ thống. Đến nay vẫn chưa tìm được giải pháp optimize chi phí



Mặc dù các server xử lý Speed to Text có khả năng autoscaling do là stateless server. Nhưng server wordbench, loại server tổng hợp kết quả xử lý audio từ ASR, lại là statefull server. Nhiều loại data như redis, elasticsearch, files lại được lưu trong chính EBS volume của server này, nên không thể horizontal scalling như ASR server. Cho nên khi số lượng user thay đổi, server bị quá tải làm treo hệ thống, phải vertical scaling manually (change instance type…) rất tốn kém và không tối ưu.

Biết tình hình này, CEO Humbrey Doan mới cho gọi CTO vào phòng họp mà rằng

Nay hệ thống gặp nhiều challenges về DR, HA, Cost Optimization. Architect hiện tại không còn phù hợp với số lượng user hiện tại, ông có cao kiến gì không?

Xưa kia bên Trung Quốc, Lưu Bang nhờ tuyển Hàn Tín làm đại nguyên soái mà diệt nước Sở ,lập ra nhà Hán được 400 năm. Tại xứ An Nam, Lê Lợi có Nguyễn Trãi phò tá mà đánh đuổi được quân Minh ra khỏi bờ cõi, xây dựng nhà Hậu Lê. Đấy đều là có người tài phò tá vậy. Sao ngài không cho đăng tin tuyển dụng DevOps Solution Architect, tìm người tài giỏi đến tư vấn, lo gì mà không có giải pháp

CEO mừng lắm nói

Lời ngài nói chính hợp ý ta

Lập tức cho soạn JD , đăng tin tuyển dụng lên website, tìm kiếm SA .

Thế nhưng , hào kiệt như sao buổi sớm, nhân tài như lá mùa thu. CV ứng tuyển thì nhiều, đọc rất hoành tráng, xx năm kinh nghiệm, chứng chỉ nhiều như lá mít. Nhưng đa số chỉ là kẻ nói nhiều hơn làm, hữu danh vô thực. Vào vòng phỏng vấn , hỏi vài câu đều lòi đuôi hết, đã thế lại hét đòi lương cao.

CTO thực sự lo lắng, chợt có viên thư kí hiến kế rằng

Nay bản quốc không tìm được người, sao ngài không tìm outsource ở Ấn Độ , Việt Nam. Bên đó, quân đông, người trẻ, chất lượng lại ổn trong tầm giá. Biết đâu không tìm được người giỏi sao?

CTO khen phải, liền cho gửi JD về mấy nước này. Chả mấy chốc đã nhận được một vài CV, ngồi duyệt CV vài vòng, ông cau mày nói

Người này nhìn CV bất quá chỉ 3 , 4 năm kinh nghiệm, lại chẳng có bằng cấp gì. Làm ở Ép Tao Dê chỉ là anh Dev cùi. Người Việt thì tiếng Anh thì không phải native language làm sao có thể tuyển dụng mà manage hệ thống lớn như VOICEAI được?

Viên thư kí can rằng

Xứ đó là nơi ngọa hổ tàng long, chân nhân bất lộ tướng. Người này ở Ép Tao Đê chỉ là chân Dev cùi. Đó là công ty đó không biết nhìn người mà trọng dụng, đôi khi cái cây trồng ở đất này thì còi cọc héo úa, nhưng trồng đất khác thì lại tươi tốt sum suê . Ví như xưa kia Hàn Tín làm tôi nước Sở chỉ là anh lính hầu, lại còn mang tiếng là kẻ chui háng xin ăn, mà sang Hán thì thành đại nguyên soái lập chiến công hiển háchĐấy là do Hán Vương Lưu Bang có mắt nhìn người, mà không toan tâm đến CV vậy

CTO gật đầu, liền cho HR setup đặt lịch phỏng vấn online

Không biết người phỏng vấn này lai lịch thế nào, xem hồi sau sẽ rõ

Đăng nhận xét

0 Nhận xét