[发明专利]一种基于大数据技术的电力费控方法及系统

摘要

本发明提供一种基于大数据技术的电力费控方法及系统，以解决传统电力费控系统对大数据量数据存储能力弱、计算性能低、系统稳定性差的问题。基于大数据技术的电力费控方法具体是:1.通过分布式存储技术完成大数据量的数据写入、查询和更新。2.利用分布式内存计算引擎，实现整个算费流程的数据存储、校核和计算。3.采用分布式文件系统、集群资源调度和大数据集群作为基础架构，使系统的物理节点可以进行动态的扩充和移除。本发明提供了海量数据的存储能力和高性能的数据计算与分析能力，增加了费控系统的水平扩展能力以降低硬件成本，提升了系统容错性，增强了费控计算的稳定性，有力支撑了大数据技术在电力费控中的应用。

主权项

1.一种基于大数据技术的电力费控方法，其特征在于计量系统将计量表码文件上传到FTP服务器并向费控系统传递消息，触发费控计算工作，系统对电力营销系统的抄表数据和电力计量系统的计量表码文件关联合并后进行校验，通过预先配置好的计算、核查规则进行电量计算和电费计算，并将计算过程和计算结果进行归档处理，对量费结果进行校核后对用户余额进行计算分析，并将校核结果和余额分析结果回写电力营销系统；其包括如下具体步骤：步骤一、算法及校核规则配置，费控计算开始前，检查校核及算法规则是否有变动，若没有变动，进行步骤二，如果有，则需要对费控过程中用到的计算算法和校核规则进行更新或新增；其检查内容主要包括表码校核规则配置、量费校核规则配置、电量计算算法配置、电费计算算法配置和余额告警阈值配置，将校核规则及算法规则配置完毕后进行下一步；步骤二、电力费控系统的抄表数据管理模块收集费控计算的基础数据，包括计量档案表、电费算法参数表、计量点变压器关系表和公摊电量电价关系表；将抄表数据初始化，检查抄表数据是否有更新，若没有更新，进行步骤三，若有更新，对电力营销系统的基础信息进行更新：首先利用分布式存储技术将电力营销系统的基础表内容进行数据抽取，对更新量不大的数据表采用增量抽取的方式，对更新量大的数据表采用全量抽取的方式，再对抽取的更新数据进行数据转化和分区，使数据适应分布式存储，最终将数据存储到费控系统的分布式数据库中，进行下一步；步骤三、计量表码文件传输，电力费控系统的计量表码管理模块接收电力计量系统上传到FTP服务器的计量表码文件，将文件转化成分布式易处理的文件格式，文件内容主要包括供电单位编码、计量点编号、资产编号、用户编号、抄表日期、正反向有功电量和正反向无功电量；通过利用分布式消息队列技术将计量表码文件放到大数据分布式文件系统中，实现数据的缓冲和存储，并对数据文件进行简单的处理，对文件中的无效信息进行剔除；对传输完成的文件进行状态查看，若传输过程出现错误，通过监控信息查看错误原因，若硬件出错原因导致的数据传输失败，可以通过缓存恢复功能保证费控系统的容错性；若传输成功，执行下一步；步骤四、电力费控系统的表码处理模块采用了分布式内存计算引擎，将计算任务在内部分解为若干个子任务，这些子任务之间由逻辑关系或运行先后顺序被构建成DAG（有向无环图）结构；表码处理模块进行抄表数据和计量表码数据的关联和质量检验，质量检验内容包括数据逻辑错误检验和业务规则错误检验，数据逻辑错误检验包括字段值格式检验、非空字段空值检验，业务规则错误检验包括本期抄表时间与上期抄表时间早晚检验、抄表起码与抄表止码大小检验，对于未通过检验的数据进行标记，不参与费控计算；数据集成，对步骤二生成的抄表数据和步骤三生成的表码信息进行集成，生成表码集成文件；首先利用分布式文件系统对两部分数据进行读取，通过关联表信息将两部分数据进行集成，并通过集成日志的输出内容对集成过程进行监控，若表码集成过程出现错误，则返回步骤二和步骤三对更新的数据日志进行查看和调整，若表码集成文件生成成功，则进行下一步；表码校核，采用分布式消息队列技术，对上述产生的表码集成文件利用步骤一配置的表码校核规则进行校核，若有数据未通过校核，由用户选择对未通过校核数据的处理，若有明显可修该的数据可手动或按规则方式进行修改，若确实属于不合规数据则可以选择不做处理，则系统将对该类不合规数据进行标记处理，不参与费控计算；表码校核结束后，进行下一步；步骤五、电力费控系统的量费计算模块采用了分布式内存计算引擎，将计算任务在内部分解为若干个子任务，这些子任务之间由逻辑关系或运行先后顺序等因素被构建成DAG（有向无环图）结构；量费计算模块采用并行的方式将表码处理模块的结果数据加载，利用量费计算模块中的算法库进行电量计算和电费计算，电量计算内容主要包括抄见电量、换表电量、退补电量、总分表电量、定比定量电量、公用表公摊电量、变损电量和线损电量；电费计算内容包括电度电费、基金及附加电费、基本电费和功率因数调整电费；数据加载，对步骤四通过校核的表码数据以并行的方式进行加载，加载内容包括电价、计量、用户资料和变更信息，并将加载的数据按照步骤一配置的费控算法规则转化成对应的数据结构；数据加载完成后，进行下一步；电量计算，按照步骤一配置的电量计算算法规则，对抄见电量、换表电量、免费电量、退补电量、总分表电量、变损电量、线损电量、定比定量电量、公用表公摊电量进行计算，按照以下公式计算合计电量： 合计电量＝抄见电量+换表电量‑免费电量+退补电量－分表电量＋变损电量+线损电量‑定比定量电量+分摊电量；电量计算完毕后进行下一步；电费计算，依据电量计算结果，按照步骤一配置的电费计算算法进行电费计算，计算内容为电度电费、基金及附加费、基本电费、功率因数调整电费，按照以下公式计算合计电费： 合计电费＝电度电费＋基金及附加费+基本电费＋功率因数调整电费+各项目退补电费，系统将数据流以计算单元为单位分割形成弹性分布式计算任务，将计算任务发送到集群的各个节点上，最终以分布式批处理的方式完成每个计算单元的任务；电费计算完毕后进行下一步；步骤六、量费归档；费控系统中的量费归档模块将步骤五中每一个算法单元的输出存储到分布式存储系统中，按照用户要求，将不同单元的计算结果以不同方式分别存放在数据库表、日志文件和控制台中，以保存量费计算的所有中间过程，并通过时间轴方式串联；同时，费控系统将步骤五的最终计算结果进行展示，对计算结果异常的数据，用户可以通过计算过程查看，追溯结果生成的过程，并可进行修改，系统同样会记录结果的修改记录；量费归档后，进行下一步；步骤七、量费校核，费控系统的量费校核模块利用步骤一配置的量费校核规则采用流式计算技术自动对计算结果进行核查，核查内容包括核查开始时间、核查时间、任务状态和任务信息数据，并同步记录核查日志，日志内容包括开始时间、核查时间、任务状态、和任务信息；用户利用系统的分布式查询功能对这些信息进行过滤查询；系统将对通过校核的数据进行存储和分发，并进行下一步，对不合格数据进行标记，回写营销系统进行处理；步骤八、余额分析，费控系统的余额分析模块利用分布式查询提取费控用户的账户信息和余额信息，与步骤七通过校验的计算结果进行差值计算，并利用步骤一配置的余额告警阈值进行比较，对余额小于零的用户进行欠费报警，对余额小于余额告警阈值且不小于零的用户进行欠费预警，并将报警和预警信息回写电力营销系统。