商业智能大数据量性能解决方案
新型BI绝大多数是通过SQL直接处理数据库中的数据,并没有cube这一中间层,虽然数量较小时有一定优势,但当数据量比较大时,因为SQL处理机制自身的局限性,速度明显下降,深知出现卡死状态,而面向大数据,是商业智能工具的基本能力。FineBI采用中间cube的模式,巧妙的解决大数据的问题,确保性能无忧。
FineBI商业智能解决方案的多维数据库FineCube集合强大的数据计算能力和便捷性为一体,支撑着FineBI的在线大数据量分析功能,是FineBI处理大数据的灵魂。
FineBI商业智能系统的多维数据库FineCube采用动态的内存数据立方体技术,预处理以及并行计算的先进数据处理模式,使用NIO内存映射文件存储模式,同时采用高效的智能位图索引,以及智能避免重复计算的缓存机制,使得FineBI在前端页面展示数据时,运行速度高效快速,迅疾如电。
FineBI支持离线使用的cube数据存储,也支持cube数据定时全量以及增量更新。基于位图索引的快速分组、过滤、钻取,支持多线程运算,相互之间毫无干扰。高效的智能位图索引压缩技术,可以大幅缩减cube的大小。此外,FineBI还有智能避免重复计算的缓存机制。
- 定时全量/增量更新cube
所有的数据业务包建立的时候,FineBI商业智能系统会在后台自动生成对应的cube。Cube采用MOLAP的形式,所以在处理大数据量的问题上具有优良的支撑。Cube中的数据可以设置定时全量/增量更新。增量更新方式大大减少了数据源中较大的表的cube更新时间。
- 分布式部署
FineBI商业智能系统分布式集成即可提升Cube的生成速度和即时分析取数的查询速度,简单来说,就是在服务器端配备多台服务器,其中一台为主服务器,其他为分布式服务器,FineBI工程发布在主服务器上,主服务器主要工作就是均衡调配,负责调配将Cube生成在分布式服务器上,每台分布式服务器上均会生成一个Cube,所有分布式服务器的Cube组合起来,则为整个数据库的数据,即时分析查询取数时也是主服务器收到取数查询请求,根据查询的表负责将取数操作分配到各分布式服务器上,最后汇总结果,返回给客户端。
当现有的服务器硬件不能满足数据更新和在线分析的性能需求时,分布式部署可以在多台服务器中实现并行运算以提高性能,充分利用了现有的服务器资源。