大数据项目测试<二>项目的测试事情_玖富娱乐主


玖富娱乐是一家为代理招商,直属主管信息发布为主的资讯网站,同时也兼顾玖富娱乐代理注册登录地址。

大数据的测试事情:

1、模块的零丁测试

2、模块间的联调测试

3、体系的机能测试:内存泄漏、磁盘占用、盘算效力

4、数据考证(中心)

下面临各个模块的测试事情举行零丁解说。

0. 功用测试

1. 机能测试

2. 自动化测试

3. 文档评审

4. 剧本开辟

一、背景数据处置惩罚端

 后端的测试重点,重要集合在数据的收罗处置惩罚、标签盘算效力、非常数据排查(功用),测试剧本编写(HiveQL)、自动化剧本编写(造数据、数据字段搜检等)

  1.数据的收罗处置惩罚(Extract-Transform-Load)

    ETL:行将数据从源体系加载到数据仓库的历程。源体系包孕:数据文件(excel、log等)、RDD数据库、非RDD数据库等;

    extract:从源体系提取需求数据。

    transform:洗濯数据(数据格式转化、非常数据处置惩罚等)。

    Load:将洗濯的数据加载至数据仓库。

    

    ETL测试:即确保依据需求将源体系的数据经由处置惩罚后加载到目标的数据是正确的。即源和目标数据之间转化历程当中的数据考证。

    测试范例

      

    测试场景

    

    券商等金融机构,其用户天天都邑发生大批的生意营业数据,这局部数据最后都邑存储在客户的干系型数据库中(oracle),因而背景天天须要先举行数据收罗,将数据收罗至Hadoop的hdfs体系;数据收罗事后,须要对源数据举行一次数据洗濯事情:过滤非常数据(NULL)、筛掉关联性较高的数据。

-玖富娱乐是一家为代理招商,直属主管信息发布为主的资讯网站,同时也兼顾玖富娱乐代理注册登录地址。-

  2.标签盘算效力

    依据标签文档编写hiveSQL、MR等标签盘算代码,针对hiveSQL,分歧的开辟职员编写的sql质量分歧,实行的效力也不雷同;此局部不只须要开辟职员具有基础的庞杂sql编写功底,也须要开辟职员控制肯定的sql机能调优能力;在数据,效劳器设置装备摆设肯定的情况下,效力的提拔来源于对sql的优化;

    因为hivesql的盘算(都邑转化成一个MR),须要大批的读写数据到磁盘的操纵,因而盘算效力较低;

    impala则是将数据push到内存中,然后从内存中读取数据,效力有大幅提拔,然则耗费了较高的效劳器内存,本钱较高;

    Spark :内存盘算引擎,供应Cache机制来支撑须要重复迭代盘算或许屡次数据同享,削减数据读取的IO开支;

  3.非常数据排查

    非常值:分为两类:null,盘算毛病的值。 (1)Null值(标签下的数据均为NULL),起首 需求排查是不是是数据的影响(比方 依靠数据缺失)。其次排查依靠数据的要素后,就须要排查是不是是hiveSQL编写的题目和MR代码题目。(2)标签盘算毛病: 经由过程手工依据标签公式盘算标签的值和经由过程hive盘算得出的值举行对照,若是不一致,则须要排查是不是是hivesql没有对标签公式举行准确完成。盘算毛病的值能够分为两类:1.显着毛病(能够经由过程sql挑选出来的非常值,针对存在阈值的标签,好比股票仓位:仓位不得>1,若是涌现>1的数据,则能够判断此标签盘算有题目);2.非显着毛病(此局部没法挑选出来,必需经由过程盘算能力考证)

    因为此局部盘算好的数据须要导入到中台举行进一步运用,所以此局部的数据正确性有至关重要的作用。(测试职员须要对营业非常相识)

 

二、中台治理端

  中台产物一样平常以web效劳显现。测试内容除与一般的Java web项目雷同,还要测试背景数据Export中台的历程当中,数据范例、正确性、完整性、机能举行测试。

    就现在的项目而言:测试设计的内容包孕:需求文档测试、背景导出表的测试(表字段范例、数据完整性、浮点型数据精度、导出机能等)、中台接口测试(自动化)、前端UI页面测试、机能测试、平安测试、兼容性测试。

    需求文档:需求点梳理、整顿测试点、编写测试用例

    数据连表导出:背景数据和中台数据的范例、精度要保持一致(中台数据库为MySQL,数据范例能够和背景的数据范例界说不一致,要确保数据范例转化的正确性);

    中台接口测试:此局部能够举行接口自动化测试。

    UI页面测试:依据需求文档、UI设计图编写测试用例

    机能测试:中台接口的压测、中台效劳缓存数据占效劳器的内存空间测试

    平安测试:依据公司平安测试手册举行测试(平安漏洞扫描)

    兼容性测试:IE10

 

三、前端运用端

    重如果app端的测试事情:一样平常的app测试事情,数据的查对(范例、精度等)

 

四、末端

   能够看出来,全部项目一直包罗数据的考证事情。

 

附录:

非常值搜检: https://www.cnblogs.com/xiaohuahua108/p/6237906.html

spark  上风:  https://www.zhihu.com/question/31930662

接口测试: https://www.cnblogs.com/iloverain/p/9429116.html

-玖富娱乐是一家为代理招商,直属主管信息发布为主的资讯网站,同时也兼顾玖富娱乐代理注册登录地址。