专业网站建设收费,怎样做网站手机客户端,做模具在哪个网站找工作,网站建设平ppt前言#xff1a;在上一个生产项目中#xff0c;有个单表数据超249G了#xff0c;里面存储的数据时间跨度就1年左右#xff0c;那为啥会出现这种情况呢#xff1f;数据来源为#xff0c;一个生产基地所有电表的每分钟读数#xff0c;一个基地大概500个电表左右#xff0…前言在上一个生产项目中有个单表数据超249G了里面存储的数据时间跨度就1年左右那为啥会出现这种情况呢数据来源为一个生产基地所有电表的每分钟读数一个基地大概500个电表左右然后乘以1天24小时一天1440分钟一年365天所以就出现了前面说的单表超249G的情况。真的是单表顶10库。因业务部门想看到每个时间点的电耗来安排排产虽然当时满足了业务需求但随着时间的推移对应数据量是越来越大前端查询和后端数据抽取的耗时越来越大因此怎么让如果大表实现快速的数据分析和数据处理呢更换非关系型数据库分表分库十二亿七千六百零四万三千五百三十五数据量一、亿级数据处理如上图所示目前数据量已经是13亿左右因此此时我们进行数据删除、更新、排序、分组等耗时会比较长。但我们看电耗都是默认看最新的读数因此我们必然需要用到排序操作因此怎么在0.1s内完成亿级的数据排序呢同样的我们知道在kettle做数据抽取时我们经常更新当日数据时会进行先delete后insert的操作如我们更新2023年2月13日16点的数据我们需先删除2023年2月13日0点至16点的当天数据再插入2023年2月13日的数据。这是网上经典的kettle数据处理方案。但是实际情况下我们删除带条件的亿级数据时耗时最小在10分钟以上。再包括插入数据的时间我们至少要10分钟才能完成一个表的数据处理这在实际应用情况下是必然不能接受的因为业务需要看到1分钟的数据变化因此我们需要将作业执行的耗时控制在1分钟之内并且在前端数据分析展现速度控制在3秒以内因为用户的耐心阀值为3秒。二、方案与效果对比下面我们分析最常用的三种kettle数据处理方案并进行方案对比。方案效果分析应用场景插入更新无删除、不影响前端展现、耗时长需有标准主键每次更新数据量在5千行内。先delete后insert目标表数据在100万行内不影响前端展现效率是插入更新的100倍以上每次更新数据量在1-10万行内目标表总数据量在100万行内。插入变量范围数据开发相对复杂、基本在2s内可完成作业只需读取源表数据耗时插入更新基本无耗时适合有明确主键的场景适合任何场景但需在源表做好规范源表有对应主键或者联合主键。2.1原因分析kettle的工作原理是定时处理数据流数据是以数据流的形式在kettle作业中执行数据流耗时主要表现在源表读取耗时、分组、求和等计算耗时、update、delete、insert数据库耗时。插入耗时最短、其次为查询耗时因采用数据流的形式当将批量的数据保存至数据流中时可在零点几秒内完成亿万级数据插入。因此想达到效率最大化我们在数据处理时只采用插入操作。2.2案例分析我们进行数据处理时需要的不仅仅是速度快而且需要精准。因此我们怎么避免冗余的数据呢特别是在亿万级数据时快速定位需要删除的数据。因此此时我们需要做的是找出有规律的主键如时间如我们源数据库中数据已更新至2023年2月13日15:56:45时现在时间是2023年2月13日18:07:32因此从数据分析的角度分析我们只需更新2023年2月13日15:56:45至2023年2月13日18:07:32的数据即可。因此我们需快速定位至2023年2月13日15:56:45的主键然后在插入数据时查询大于2023年2月13日15:56:45主键的数据即可完成我们的目的了。2.3步骤分解从上面可知我们需要做两步操作1、第一步是快速找出2023年2月13日15:56:45的主键读目标表2、插入2023年2月13日15:56:45至现在2023年2月13日18:07:32的数据因此我们在读取最新主键时耗时需可知在0.1内插入数据耗时控制在2s内这样我们就可以将整个数据处理耗时控制在3秒内并不影响前端展现且数据精确。2.4实现思路从前面可知我们一直在强调快速和定位因此此时让我们想到了数据库一个常用功能就是索引。因为索引就是为了快速和定位而生。因此我们只需要在我们查询和过滤的字段上加上索引我们就可以在0.1s内完成数据的快速定位。为了方便大家的理解我在上面的13亿数据表中增加了年月日的字段索引看我们查找出最大的年月日需要多少耗时对应增加索引的语句为create index seq_name on table (column_name)。如增加BI.SY_NY_NO1表索引语句为create index seq_SY_NY_NO1 on BI.SY_NY_NO1(年月日)。如上图所示我们查询出最新的年月日只需用了0.052秒稳稳控制在0.1s内如果我没告诉你它数据量在13亿你肯定觉得它数据量在1万以内这就是索引带来的改变。同样我们在0.1秒左右完成了最新数据的过滤这就是索引带来的改变当然为了区分效果我们使用另外一个不带索引的字段来过滤看下效果。如下图所示使用了10分36秒才过滤出我们需要的数据。对应效率提高(10x6036)/0.1293069倍。三、实际应用从上面我们了解到索引可以快速提高查询效率因此我们在数据分析、数据抽取的时候怎么灵活应用索引呢3.1数据分析应用如我们在做生产的批次追溯时我们需要查看整个过程任何时间段的批次的数据追溯从前端展现来看对应涉及的字段较多涉及的展现逻辑较复杂那我们怎么在最短的时间3S内完成数据分析呢因此我们在前端的控件加载耗时控制在1秒内因对应的生产批次需根据前面的基地、车间、日期、型号进行过滤因此我们需增加基地、车间、日期、型号的索引对应展示的明细表需根据基地、车间、日期、型号、批次进行过滤因此此时我们需增加基地、车间、日期、型号、批次的索引。。不难发现我们为了完成这个需求我们需要增加很多索引组这就是为什么前面那个亿万级表通过年月日查询很快但通过另外一个字段查询就大打折扣的原因因此此时我们需根据需求进行联合索引的创建来大大提高展现效率。如下图所示在表中增加了三组索引这样在前端展现就能在3s内完成任一时间的数据分析了。3.2数据抽取应用基本思路在前面已经阐述对应获取最新主键然后插入过滤对应主键即可。对应作业为下图所示通过变量过滤再执行数据插入即可。
