江苏龙网

  1. 首页 > 资讯 > 资讯 > >

消息资讯|【网媒暖津】实录 | 解密大数据战“疫”，几毫秒找到密切接触者

【消息资讯|【网媒暖津】实录 | 解密大数据战“疫”，几毫秒找到密切接触者】_原题为 【网媒暖津】实录 | 解密大数据战“疫” ， 几毫秒找到密切接触者
消息资讯|【网媒暖津】实录 | 解密大数据战“疫”，几毫秒找到密切接触者
文章图片

新冠病毒传染性强 ， 潜伏期长 ， 如何以最快速度掌握感染者的行动轨迹 ， 切断传染源、阻断传播链条成为防控中的重中之重 。 为了助力疫情防控和复工复产 ， 健康码等一批应用平台短时间内迅速开发上线 ， 然而这些软件的应用 ， 都要依赖强大的数据库为基础 。
天津数据库开发企业——天津南大通用数据技术股份有限公司就是这样一个幕后英雄 ， 他们配合软件企业开发的数据库产品可以在非常短的时间内完成数以百亿千亿级的计算 ， 只要几秒、甚至几毫秒就能搜寻到密切接触者的相关信息 。 这样庞大的计算是如何完成的？在长期被国外巨头所垄断的数据库领域 ， 南大通用是如何异军突起 ， 实现国产替代的？
消息资讯|【网媒暖津】实录 | 解密大数据战“疫”，几毫秒找到密切接触者
文章图片
▲天津南大通用数据技术股份有限公司外景
大数据助力疫情“精准”防控
几毫秒找到密切接触者
疫情期间任何一个确诊病例 ， 都会有密切接触者 ， 而排查密切接触者是一个很繁杂的工作 ， 特别是排查有过旅行史的人员 ， 尤其难 。 如果仅仅是依靠发布通告、通知 ， 让旅客自行核对 ， 一是会漏看信息 ， 二是也难免有人因为各种担心而不敢主动申报 ， 给防疫工作带来困难 。 因此 ， 最好是根据确诊病例迅速形成密集接触者的名单 ， 确定他是谁 ， 坐哪趟车 ， 哪个座位 ， 防控部门就可以迅速找到并展开流行病学调查 。 但是这样就对数据的完整性、调取数据的准确性和速度提出很高要求 。
消息资讯|【网媒暖津】实录 | 解密大数据战“疫”，几毫秒找到密切接触者
文章图片
▲12306购票系统的背后是南大通用强大的数据库系统
天津南大通用数据技术股份有限公司成立于2004年 ， 是国产数据库“四朵金花”之一 ， 也是推动国产基础软件自主可控发展的重要参与者 。 2017年 ， 中国铁道科学研究院为了支撑12306客票系统上百TB（1TB=万亿字节）的数据量对新一代客票及电子支付平台系统升级工程 ， 采用了南大通用的GBase 8a MPP数据库 。 新冠疫情的爆发对数据库系统提出了新的要求 ， 南大通用市场部总部总经理袁萌伽说：“新冠肺炎爆发的时候正是春运 ， 这个时候铁路流量会达到峰值 。 作为铁路的“数据仓库” ， 我们每天处理的业务数据量高达数百TB ， 高峰期一天点击量高达千亿次 。 在这种情况下还要提供新冠肺炎患者及密集接触者的查询 ， 对数据库的要求可想而知 。 ”
南大通用提供给12306的数据库里存储着我国2000年以来20年的旅客铁路出行数据 ， 有上百TB（1TB=万亿字节）之多 。 对此 ， 袁萌伽用了一个形象的比喻：“我们可以把数据仓库理解成一个放衣服的大柜子 ， 里面有特别多的衣服 ， 如果你要很快的找到要穿的衣服 ， 那衣服就要收拾整齐 ， 而且摆放也有艺术 ， 把你常穿的、喜欢穿的放在外面 。 那你找衣服就快 。 现在这个数据仓库里面放的不是衣服 ， 是表格和数据 ， 这些客票数据约有1000张表 ， 最大表约230亿条记录数据 。 存储的表格数据非常多 。 以前我们给12306原来设计的数据仓库 ， 数据管理目标是车票 ， 现在新冠肺炎查询数据管理目标变成了人 ， 关注的是每个车厢乘客的上下车情况、行动轨迹等等 。 数据管理目标就发生了变化 。 怎么理解呢？就相当于你以前的衣柜是按照季节放的 ， 夏天的衣服在前 ， 冬天衣服在里面 ， 现在变成按人来收纳了 ， 只找你的衣服 ， 春夏秋冬的只要是你的都放在外面 ， 所以这衣服要重新摆放 。 ”
2月上旬 ， 接到负责12306研发的中国铁道科学研究院的要求 ， 南大通用立刻开展研发 。 南大通用数据智能产品经营部总经理张绍勇说 ， “防控新冠疫情 ， 这就是打仗！我们要不惜代价守好自己的阵地 ， 一定要保证数据库的稳定、数据的准确和查询的及时 。 ”
当时正是疫情最严重的时候 ， 很多科研人员在老家回不了天津 。 南大通用就打破部门界限 ， 从各部门紧急抽调了张健等10多名在津技术人员 ， 组成突击队 ， 并由张绍勇亲自带领 。
“当时是临时抽调 ， 很多同事对这个产品并不熟悉 ， 大家一边学习一边开发 。 铁路系统存的数据非常大 ， 用以前的数据分析方式需要从很多数据库查询数据 ， 查询新冠肺炎确诊患者轨迹很慢 ， 需要几分钟甚至十几分钟 。 现在我们重新针对疫情特殊的分析查询需求 ， 建立了一个专门的疫情轨迹信息数据‘集市’ 。 这个数据‘集市’只有疫情相关轨迹的信息 ， 所以数据量大大减少 ， 查询、抓取数据就非常的快 。 还拿衣柜举例子 ， 这就相当于我们干脆把你的所有衣服单独拿出来 ， 放在一个小的箱子里面 ， 箱子里面的衣服数量比衣柜里面的少多了 ， 你现在再找衣服就快多了 ， 不用像以前一样 ， 一个是衣柜里面衣服多 ， 谁的都有 ， 而且这找一件那找一件耽误时间 。 所以我们现在查询时间从几分钟甚至十几分钟 ， 缩短到几秒钟、甚至几毫秒 ， 整体查询分析性能比原来提升了至少10倍以上 。 ”


推荐阅读


上一篇：区块|中国联通携手中兴通讯等成功推动完成系列ITU-T物联网区块链标准

下一篇：峰会|直击科创板开市一周年峰会，聚焦科创生态服务体系