Bên cạnh dự án kiếm cơm, tôi tham gia mấy dự án opensource để skill up
Token-guards
Vừa rồi ở công ty X có đồng chí dev được KH cấp cho con Claude unlimited theo kiểu, tiền anh không thiếu, token anh nhiều như cơm thạch sanh, quan trọng là product chạy ngon, bug free, develiry nhanh còn lại anh cân hết, quan trọng là chú phải ngoan
Công nhận là thanh niên ngoan vcd, Anthropic ra con model nào là anh phải chơi thử nghiệm bằng được, y như kiểu đại gia chén hoa hậu. Anthropic vừa ra em model Fable 5, theo mô tả kỹ thuật thì đây là mô hình trí tuệ nhân tạo (AI) mạnh nhất từng được Anthropic phát hành. Đây là phiên bản an toàn hóa thuộc dòng mô hình “Mythos-class”, nổi trội về khả năng suy luận phức tạp, lập trình hệ thống lớn, xử lý hình ảnh thị giác sắc bén và duy trì ngữ cảnh cực dài.
Tóm lại, em này top 1 hoa hậu Việt Nam, cỡ như Mai Phương Thúy, Lý Nhã Kỳ. Sẵn nhà có điều kiện, thanh niên chơi luôn Fable để viết code CRUD Backend cho uy tín, ai ngờ lỡ tay prompt nhầm để em agent chạy vào vòng loop thế là token đốt lên phát 44K USD, độ 1.6 tỉ VND, cỡ 1.6K vé massage tính theo thời giá thị trường khu vực DN, đủ chơi gái đến 80 tuổi nếu còn sức, 16 shot đi khách hoa hậu
Thế là tùm lum, công an vào truy vết session log, verify prompt thanh niên bị trảm nhưng cái khoản 44K$ thì không biết ai trả
Nhận thấy tình trạng đốt token như đốt vàng mã , nhiều thanh niên đú model xịn đốt XX K$$ của khách hàng dẫn tới kiện cáo tùm lum, tôi xin giới thiệu em Token Guard, là công cụ monitor token, kiểm tra hiệu quả sửa dụng AI etc… Tracking collect hết các loại prompt của user lưu vào DB, để phân tích đánh giá prompt quality, xem chú nào xài ngu quá thì cảnh báo, tránh tình trạng 44k lần 2. Đặc biệt em này không cần phải user account level admin của Antropic , nó hoạt động bằng cách cào log AI session từ máy user đẩy về server
Cerberus AI
Anh em lên ChatGPT hỏi Yui Mikami hay Messi là ai thì em nó trả lời phát một, vì nó cào dữ liệu trên Internet về. Nhưng giờ mà hỏi những câu chuyện thâm cung bí sử của công ty kiểu như ở BU A thấy có vụ chú Dev Y chửi sếp hay muốn hóng Dama ở dự án D* thì em ChatGPT chịu chết bởi vì nó không có data.
Thôi, đang lúc rảnh rảnh ngồi làm em này , một ChatGPT nội bộ, thay vì dùng mấy model LLM Frontier đắt tiền thì nó route sang những model giá rẻ như QWen, Lilama hoặc self-host model luôn bằng LiteLLM. Hướng tiếp theo đang thử nghiệm việc chưng cất mô hình để cho mấy em model rẻ rẻ có thể trả lời thông minh hơn
Nguồn dữ liệu nội bộ có thể là text, pdf, doc … được lưu trên mấy vector DB như Qrant và Graph DB Neo4j rồi dùng RAG và Graph engineering cho em nó có thể truy cập và trả lời người dùng từ nguồn internal data
Mới prototype, những lúc test thấy cũng khá hứa hẹn, cào ít drama từ mấy nguồn internal như Workplace, MS Teams group bỏ vô làm dữ liệu cho em nó phân tích thấy em trả lời khá ổn
Một kiểu thay lúc nào cũng phải xài Model frontier tốn tiền thì có thể dùng em nó cho task đơn giản để giảm chi phí
0 Nhận xét