DB2数据仓库性能经验

《DB2数据仓库性能经验》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、DB2数据仓库性能经验2007年08月电信行业数据仓库应用内容提要系统概况1DB2数据库数据仓库性能经验谈2DB2的应用3数据仓库的性能要素数据库架构设计分区的使用及优化数据仓库的空间管理应用设计优化1总体技术架构2DB2中数据应用举例3数据仓库服务器配置IBMp5-570(4路1.5GHzPOWER5处理器,16GB内存)主机名：p570_dwe；运行软件：DB2(node1、2、3、4)、Hyperion服务器A配置IBMp5-550(2路1.5GHzPOWER5处理器,4GB内存)主机名：p550：运行软件：OLAP、DB2nod

2、e0、Datastage磁盘阵列配置IBMDS4800(56x73GB磁盘,4GBCache)划分为9组RAID5，共90个LUN，每个LUN34G软件软件及版本数据仓库IBMDB28.2web服务器IBMWebSphereApplication6.0ETL工具IBMDatastage7.0软硬件配置4内容提要系统概况1DB2数据库数据仓库性能经验谈2DB2的应用3数据仓库的性能要素数据库架构设计分区的使用及优化数据仓库的空间管理应用设计优化5项目中数据仓库的主要性能要素架构与分区单事例模式数据分层多节点分区存储结构数据空间索引空间日志

3、空间应用数据空间合理的分区应用设计表的分区键表的索引SQL优化数据类型的优化物理分表6数据库架构设计-初版使用别名跨库访问速度慢(Db27.2)并行load导致锁表空间大数据量时日志空间报错资源分散利用率低，IO差7数据库架构设计-优化版DSS数据仓库表空间调整后并行load，提高IO、CPU等资源利用率模式实现虚拟的数据应用层8分区的使用及优化系统性能的提高CPU/IO优化后帐单表29830644条数据2′32″设备表10997977条数据1′6″优化前帐单表29830644条数据10′2″设备表10997977条数据4′31″9数据

4、仓库的空间管理1.数据、索引、日志分开减少应用IO冲突2.数据库使用的日志表空间=ETL最大事务日志空间3.采用合理的分区键，使数据分布均匀Cust.customer_detail中有cust_id和cert_no最初采用cert_no做分区键INSERT遇到的问题？IO性能提高合理日志空间考虑到空间利用率，最后改变分区键，旧分区键建立索引selectcount(cert_no),dbpartitionnum(cert_no)fromCust.customer_detail_200708groupbydbpartitionnum(cer

5、t_no)cert_no有部分默认值Cust_id是唯一标识独立的数据空间10建表语句中分区与空间管理CREATETABLESPACEMID_DATAINDATABASEPARTITIONGROUPNODEGROUP11PAGESIZE32KMANAGEDBYDATABASEUSING(Device'/dev/rmid1_data_lv1'491520)ONDBPARTITIONNUM(1)USING(Device'/dev/rmid1_data_lv2'491520)ONDBPARTITIONNUM(2)USING(Device'/d

6、ev/rmid1_data_lv3'491520)ONDBPARTITIONNUM(3)USING(Device'/dev/rmid1_data_lv4'491520)ONDBPARTITIONNUM(4)EXTENTSIZE64PREFETCHSIZE256BUFFERPOOLIBMDEFAULTBPOVERHEAD12.67TRANSFERRATE0.18DROPPEDTABLERECOVERYOFF;CREATETABLEMID.TB_CUST_DETAIL_200708(BILL_MONTHINTEGERNOTNULL,CUST

7、_IDDECIMAL(16,0)NOTNULL,CUST_SEQDECIMAL(20,0),CERT_NOINTEGER,BIRTHDAYINTEGER)DATACAPTURENONEINMID_DATAINDEXINMID_INDEXPARTITIONINGKEY(CUST_ID)USINGHASHINGNOTLOGGEDINITIALLY;比目录方式性能好11应用的优化-SQL配置MAXLOCKS列表的百分比,LOCKLIST锁资资源大小LOCKTIMEOUT,锁等待超时时间锁过多、等待时间过长，则产生雪崩效应，升级锁，表锁代替行锁

8、SQL0911N死锁或超时数据库和应用上如何解决呢？行锁表锁优化项目强制规定所有事务及时COMMITFORCEAPPLICATION(ID)12应用的优化-索引Insertintocust_bill…Sel