Từ kho giấy đến dữ liệu tra cứu được

Sagan số hoá trọn gói cho cơ quan, địa phương: quét, nhận dạng chữ in và chữ viết tay, trích xuất metadata, kiểm tra, lưu trữ và tìm kiếm, chạy song song hàng triệu trang mỗi ngày.

Kho giấy Quét Nhận dạng, metadata Chỉ mục

Năng lực số hoá

  • 99,98%

    trường dữ liệu đúng, đo trên mẫu nghiệm thu từng lô

  • Hơn 2 triệu

    trang nhận dạng mỗi ngày trên một cụm máy; quét tăng theo số trạm

  • 300 dpi

    độ phân giải quét chuẩn, PDF/A có lớp chữ tìm kiếm được

  • 100%

    trang được kiểm tra chất lượng ảnh ngay khi quét

Quy trình

Mười hai bước, một vòng khép kín

Tài liệu rời kho, được số hoá rồi trở về đúng chỗ; mỗi trang để lại dấu vết ở từng bước.

ATiếp nhận

  1. 01
    Khảo sát khoThống kê khối lượng, loại hồ sơ, tình trạng giấy, khổ giấy và độ mật.
  2. 02
    Lập kế hoạch, chia lôChia theo kho, phông, loại hồ sơ; định mức và thứ tự ưu tiên cho từng lô.
  3. 03
    Bàn giao có mã vạchMỗi hộp, mỗi hồ sơ một mã; biên bản giao nhận ghi số tờ, vị trí hồ sơ giấy luôn được theo dõi.
  4. 04
    Chuẩn bị tài liệuTháo ghim, làm phẳng, phân loại khổ, đặt tờ phân cách; tài liệu hư hỏng được lập danh sách tu bổ trước.

BSố hoá

  1. 05
    Quét theo chuẩn300 dpi, màu hoặc xám tuỳ loại; bảng màu chuẩn kiểm tra mỗi ngày; ảnh được kiểm tra ngay khi quét.
  2. 06
    Xử lý ảnhChỉnh nghiêng, cắt mép, khử nhiễu, tách trang, loại trang trắng; giữ ảnh gốc nén không mất dữ liệu.
  3. 07
    Nhận dạng, trích xuấtĐọc bố cục, chữ in, chữ viết tay, bảng, con dấu; tách metadata theo mẫu từng loại hồ sơ.
  4. 08
    Kiểm tra, nghiệm thuTrường có độ tin cậy thấp chuyển người kiểm tra; mỗi lô nghiệm thu bằng mẫu ngẫu nhiên.

CBàn giao

  1. 09
    Đóng gói, lưu trữPDF/A có lớp chữ, metadata có cấu trúc, mã băm toàn vẹn, nhiều bản sao.
  2. 10
    Nhập cơ sở dữ liệuLiên kết metadata với từng tệp, nhập phần mềm lưu trữ hoặc cơ sở dữ liệu chuyên ngành.
  3. 11
    Hoàn trả tài liệuKiểm đếm, sắp lại đúng thứ tự, niêm phong và bàn giao lại kho có biên bản.
  4. 12
    Tìm kiếm, khai thácTra cứu toàn văn và theo metadata, hỏi đáp có nguồn với Genie.

Nhận dạng

Đọc được cả chữ in lẫn chữ viết tay

Mô hình hiểu bố cục, bảng, con dấu, rồi tách đúng trường dữ liệu của từng loại hồ sơ.

Metadata trích xuất

Loại văn bảnQuyết định99,9%

Số ký hiệu125/QĐ-UBND99,7%

Ngày ban hành12/03/200899,8%

Cơ quan ban hànhUBND huyện A99,6%

Trích yếuGiao đất ở cho hộ gia đình98,9%

Con dấu, chữ ký: đã nhận dạng

Nhận dạng chữ viết tay

Họ và tênNguyễn Thị Lan99,4%

Ngày sinh14/02/198799,1%

Nơi sinhXã B, huyện A86,2%Người kiểm tra xác nhận

Họ tên chaNguyễn Văn Hùng98,7%

Họ tên mẹLê Thị Mai98,9%

  • Chữ in
  • Chữ viết tay
  • Bảng biểu
  • Con dấu, chữ ký
  • Tài liệu cũ, mờ, ố
  • Khổ lớn đến A0
  • Nhiều cột, nhiều trang
  • Tiếng Việt có dấu

Độ chính xác

99,98% nhờ bốn lớp kiểm soát

Tỷ lệ trường dữ liệu đúng, đo trên mẫu nghiệm thu ngẫu nhiên của từng lô, sau lớp kiểm tra của người. Lô không đạt được làm lại toàn bộ.

  1. 1
    Chuẩn hoá ảnhẢnh thẳng, sạch, đủ sáng trước khi đọc.
  2. 2
    Mô hình nhận dạng thế hệ mớiMô hình thị giác–ngôn ngữ đọc cả trang như người, chấm điểm tin cậy từng ký tự, từng trường.
  3. 3
    Đối chiếu quy tắc, danh mụcNgày tháng, số ký hiệu, địa danh, tên cơ quan được kiểm tra với danh mục và quy tắc nghiệp vụ.
  4. 4
    Người kiểm tra, nghiệm thuChỉ trường có độ tin cậy thấp đến tay người; mỗi lô được nghiệm thu bằng mẫu ngẫu nhiên.
95%96%97%98%99%100%96%Lớp 198,6%Lớp 299,6%Lớp 399,98%Lớp 4
2trường sai trên 10.000 trường, sau lớp 4

Năng lực

Hàng triệu trang mỗi ngày, chạy song song

Mỗi trang là một việc độc lập. Trạm quét đẩy ảnh về một hàng đợi, cụm máy nhận dạng mở rộng theo tốc độ quét, nên thêm máy là thêm sản lượng.

Trạm quét Hàng đợi Cụm nhận dạng Kiểm tra Lưu trữ Trạm quét Hàng đợi Cụm nhận dạng Kiểm tra
  • Chứng minh trước khi kýMột ngày chạy thử trên tài liệu của chính cơ quan, có đại diện cơ quan giám sát; số liệu xuất từ nhật ký hệ thống.
  • Cam kết sản lượng theo tuầnSản lượng và độ chính xác từng tuần được ghi vào hợp đồng và báo cáo trên bảng điều hành.
  • Quét tăng theo số trạmNhận dạng đạt 2 triệu trang mỗi ngày trên một cụm; sản lượng quét tăng theo số trạm và số ca.

Ước tính thời gian dự án

Kéo để thay đổi; kết quả tính ngay.

1,03 triệutrang quét mỗi ngày

10ngày quét

420nhân sự tại chỗ

5máy chủ nhận dạng

≈ 2 thángtổng thời gian, gồm khảo sát, thí điểm, chuẩn bị và nghiệm thu

Định mức dùng để tính: 2.400 trang mỗi giờ với tài liệu rời, 600 trang mỗi giờ với sổ đóng quyển, ca 8 giờ, hiệu suất 85%; mỗi trạm mỗi ca cần 2 người chuẩn bị, 1 người quét và 0,5 người kiểm tra; một máy chủ nhận dạng xử lý 250.000 trang mỗi ngày; khảo sát 3 tuần, thí điểm 4 tuần, chuẩn bị mặt bằng 2 tuần. Con số thực tế được chốt sau khảo sát.

Trang thiết bị

Đúng máy cho từng loại tài liệu

Mọi máy quét chạy chung một phần mềm: đặt tên theo mã vạch, kiểm tra ảnh tức thì và đẩy về cùng một hàng đợi nhận dạng.

  • Máy quét tốc độ caoA4, A3, nạp giấy tự động, quét hai mặt một lượt, 100 đến 200 trang mỗi phút.
  • Máy quét sách không tiếp xúcCho sổ sách đóng quyển, tài liệu cũ, dễ rách: chụp từ trên, không tháo gáy.
  • Máy quét khổ lớnBản đồ, bản vẽ, sơ đồ địa chính đến khổ A0.
  • Trạm kiểm tra, hiệu chỉnhMàn hình kép: ảnh gốc bên cạnh dữ liệu nhận dạng, sửa và duyệt theo lô.
  • Một phần mềm thu nhậnChạy trên mọi máy quét qua chuẩn TWAIN, ISIS.
  • Đặt tên theo mã vạchTệp mang mã hộp, mã hồ sơ, số tờ.
  • Kiểm tra ảnh tức thìMờ, lệch, thiếu trang, nạp hai tờ một lúc bị chặn ngay.
  • Một hàng đợiMọi ảnh về cùng một dây chuyền nhận dạng.

Tài liệu cũ, dễ hư hỏng

  • Phân loại tình trạng trước khi quét; tài liệu rách, mục được lập danh sách tu bổ
  • Quét sách không tiếp xúc, giá đỡ chữ V, không tháo gáy
  • Đèn LED không tia cực tím, không nhiệt
  • Găng tay, khu vực riêng cho tài liệu quý

Nhân sự dự án

  • Ban điều hành, tổ kỹ thuật tại chỗ, trưởng ca cho từng dây chuyền
  • Ưu tiên tuyển và đào tạo nhân sự tại địa phương
  • Lý lịch rõ ràng, ký cam kết bảo mật trước khi vào kho
  • Đào tạo theo quy trình, sát hạch trước khi vào ca

Lưu trữ và tìm kiếm

Tìm một hồ sơ trong vài giây

Gõ có dấu hay không dấu, theo nội dung hay theo số ký hiệu; hỏi Genie để có câu trả lời kèm trang gốc.

  • PDF/A có lớp chữLưu trữ lâu dài, tìm được từng chữ.
  • Metadata có cấu trúcTheo trường của từng loại hồ sơ, xuất XML, JSON.
  • Toàn vẹn dữ liệuMã băm cho từng tệp, nhiều bản sao ở nơi khác nhau.
  • Kết nối hệ thốngAPI cho phần mềm lưu trữ, một cửa và cơ sở dữ liệu chuyên ngành.

Bảo mật

An toàn từ tờ giấy đến tệp dữ liệu

Hệ thống được thiết kế theo yêu cầu an toàn hệ thống thông tin theo cấp độ (TCVN 11930:2017); Sagan lập hồ sơ đề xuất cấp độ cùng cơ quan.

  • Khu quét có kiểm soátThẻ ra vào, camera suốt ca, không mang điện thoại, USB vào khu vực tài liệu.
  • Hồ sơ giấy luôn được theo dõiMỗi hộp, mỗi hồ sơ có mã vạch, biên bản giao nhận và vị trí theo dõi được.
  • Dữ liệu ở lại trong cơ quanMô hình nhận dạng chạy trên máy chủ tại trung tâm dữ liệu của cơ quan; không qua dịch vụ bên ngoài.
  • Mã hoá, phân quyềnMã hoá khi lưu và khi truyền; mỗi vai trò chỉ thấy phần việc của mình.
  • Bảo vệ dữ liệu cá nhânChe thông tin cá nhân với người kiểm tra không cần thấy, phù hợp quy định về bảo vệ dữ liệu cá nhân.
  • Tài liệu mậtDây chuyền riêng, tách mạng, do cán bộ được cơ quan phân công vận hành hoặc giám sát theo Luật Bảo vệ bí mật nhà nước; không vào chỉ mục chung, cơ quan giữ ổ lưu trữ.

Nghiệm thu và bàn giao

Đo được, kiểm được, thuộc về cơ quan

Nghiệm thu từng lô

  • Cỡ mẫu theo ISO 2859-1 cho từng lô
  • Số trang khớp số tờ ghi trong biên bản giao nhận
  • Đúng thứ tự trang, đủ độ phân giải, metadata đúng
  • Biên bản nghiệm thu có chữ ký hội đồng của cơ quan

Chuẩn đầu ra

  • Bản lưu trữ PDF/A có lớp chữ (ISO 19005)
  • Ảnh gốc TIFF, nén không mất dữ liệu
  • Metadata theo tiêu chuẩn dữ liệu lưu trữ điện tử của Bộ Nội vụ (Thông tư 02/2019/TT-BNV)
  • Danh mục tệp kèm mã băm SHA-256

Dữ liệu thuộc về cơ quan

  • Toàn bộ ảnh, metadata và chỉ mục thuộc sở hữu của cơ quan
  • Định dạng mở, không phụ thuộc phần mềm của Sagan
  • Bản làm việc của Sagan được xoá, có biên bản xác nhận
  • Bàn giao hệ thống tra cứu và đào tạo người dùng

Thực hiện theo Luật Lưu trữ 2024, quy định về công tác văn thư (Nghị định 30/2020/NĐ-CP) và Luật Bảo vệ bí mật nhà nước.

Triển khai

Vận hành như một dự án cấp tỉnh

Một ban điều hành chung, tổ kỹ thuật tại chỗ, tiến độ từng kho, từng lô trên bảng điều hành cập nhật liên tục.

  1. 01
    Khảo sát2 đến 4 tuầnKiểm kê kho, chốt mẫu metadata, phương án mặt bằng và nhân sự.
  2. 02
    Thí điểm1 kho, 4 tuầnChạy đủ quy trình trên một kho, đo năng suất và độ chính xác thực tế.
  3. 03
    Triển khai đồng loạtTheo kế hoạchNhiều trạm quét, nhiều kho song song, nghiệm thu theo lô hằng tuần.
  4. 04
    Bàn giao, vận hànhLiên tụcChuyển giao hệ thống tra cứu, đào tạo, bảo hành và số hoá tài liệu mới phát sinh.

Bảng điều hành dự ánSố liệu minh hoạ

  • Đã quét68%
  • Đã nhận dạng66%
  • Đã nghiệm thu61%
  • Độ chính xác99,98%

Trang mỗi ngày, 14 ngày gần nhất

  • Kho A, hồ sơ đất đaiĐang quét
  • Kho B, sổ hộ tịchĐang kiểm tra
  • Kho C, văn bản hành chínhĐã nghiệm thu

Bắt đầu bằng một buổi khảo sát kho

Chạy thử trên tài liệu của chính cơ quan trước khi quyết định.