菜单

zookeeper server I/O

2019年3月11日 - MySQL

 四  磁盘读写瓶颈的病症

  4.1  errorlog里告诉错误 833

  4.2  sys.dm_os_wait_stats 视图里有大批量等候意况PAGEIOLATCH_* 或
WriteLog。当数码在缓冲区里从未找到,连接的等候情状便是PAGEIOLACTH_EX(写)
PAGEIOLATCH_SH(读),然后发起异步操作,将页面读入缓冲区中。像
waiting_tasks_count和wait_time_ms相比较高的时候,常常要等待I/O,除在映以后数据文件上以外,还有writelog的日记文件上。想要获得有含义数据,供给做基线数据,查看感兴趣的时辰间隔。

select wait_type,
waiting_tasks_count,
wait_time_ms ,
max_wait_time_ms,
signal_wait_time_ms
from sys.dm_os_wait_stats
where wait_type like 'PAGEIOLATCH%' 
order by wait_type

  wait_type:等待类型
  waiting_tasks_count:该等待类型的等候数
  wait_time_ms:该等待类型的总等待时间(包蕴三个历程悬挂状态(Suspend)和可运行状态(Runnable)成本的总时间)
  max_wait_time_ms:该等待类型的最长等待时间
  signal_wait_time_ms:正在等候的线程从收到信号通告到其开头运转之间的时差(一个过程可运维处境Runnable开支的总时间)
  i/o等待时间==wait_time_ms – signal_wait_time_ms

如何布署?

QuorumPeerConfig#parseProperties中,能够看来,直接设置serverCnxnFactory的classname就行。

三. 磁盘读写的相干分析

  3.1 sys.dm_io_virtual_file_stats  获取数据文件和日志文件的I/O
总括音讯。该函数从sql server
2010方始,替换动态管理视图fn_virtualfilestats函数。
哪些文件平时要做读num_of_reads,哪些平日要做写num_of_writes,哪些读写平时要等待io_stall_*。为了获得有含义的数目,须要在长时间内对那几个数量实行快速照相,然后将它们同基线数据相相比较。

SELECT  DB_NAME(database_id) AS 'Database Name',
        file_id,
        io_stall_read_ms / num_of_reads AS 'Avg Read Transfer/ms',
        io_stall_write_ms / num_of_writes AS 'Avg Write Transfer/ms'
FROM    sys.dm_io_virtual_file_stats(null, null)
WHERE   num_of_reads > 0 AND num_of_writes > 0 

  io_stall_read_ms:用户等待文件,发出读取所用的总时间(皮秒)。

  io_stall_write: 用户等待在该文件中成功写入所用的总时间皮秒。

  图片 1

  3.2  windows 品质计数器:  Avg. Disk Sec/Read
这几个计数器是指每秒从磁盘读取数据的平均值

< 10 ms – 非常好
 10 ~ 20 ms 之间- 还可以
 20 ~50 ms 之间- 慢,必要关心
> 50 ms –严重的 I/O 瓶颈

  3.4  I/O  物理内部存款和储蓄器读取次数最多的前50条

 SELECT TOP 50
 qs.total_physical_reads,qs.execution_count,
 qs.total_physical_reads/qs.execution_count AS [avg I/O],
 qs. creation_time,
 qs.max_elapsed_time,
 qs.min_elapsed_time,
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1
 THEN LEN(CONVERT(NVARCHAR(max),qt.text))*2
 ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) AS query_text,
 qt.dbid,dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_physical_reads DESC

 3.5 使用sp_spaceused查看表的磁盘空间

  exec sp_spaceused 'table_xx'

图片 2

reserved:保留的长空总量
data:数据利用的空间总量
index_size:索引使用空间
Unused: 未用的空间量

 3.6  监测I/0运维状态 STATISTICS IO ON;

**Nio? **

public void run() {
        while (!ss.socket().isClosed()) {
            try {
                selector.select(1000);
                Set<SelectionKey> selected;
                synchronized (this) {
                    selected = selector.selectedKeys();
                }
                ArrayList<SelectionKey> selectedList = new ArrayList<SelectionKey>(
                        selected);
                Collections.shuffle(selectedList);
                for (SelectionKey k : selectedList) {
                    if ((k.readyOps() & SelectionKey.OP_ACCEPT) != 0) {
                        SocketChannel sc = ((ServerSocketChannel) k
                                .channel()).accept();
                        InetAddress ia = sc.socket().getInetAddress();
                        int cnxncount = getClientCnxnCount(ia);
                        if (maxClientCnxns > 0 && cnxncount >= maxClientCnxns){
                            LOG.warn("Too many connections from " + ia
                                     + " - max is " + maxClientCnxns );
                            sc.close();
                        } else {
                            LOG.info("Accepted socket connection from "
                                     + sc.socket().getRemoteSocketAddress());
                            sc.configureBlocking(false);
                            SelectionKey sk = sc.register(selector,
                                    SelectionKey.OP_READ);
                            NIOServerCnxn cnxn = createConnection(sc, sk);
                            sk.attach(cnxn);
                            addCnxn(cnxn);
                        }
                    } else if ((k.readyOps() & (SelectionKey.OP_READ | SelectionKey.OP_WRITE)) != 0) {
                        NIOServerCnxn c = (NIOServerCnxn) k.attachment();
                        c.doIO(k);
                    } else {
                        if (LOG.isDebugEnabled()) {
                            LOG.debug("Unexpected ops in select "
                                      + k.readyOps());
                        }
                    }
                }
                selected.clear();
            } catch (RuntimeException e) {
                LOG.warn("Ignoring unexpected runtime exception", e);
            } catch (Exception e) {
                LOG.warn("Ignoring exception", e);
            }
        }
        closeAll();
        LOG.info("NIOServerCnxn factory exited run method");
    }

   五  优化磁盘I/O

   5.1
数据文件里页面碎片整理。 当表产生增加和删除改操作时索引都会时有发生碎片(索引叶级的页拆分),碎片是指索引上的页不再具备大体三番五次性时,就会发出碎片。比如你询问10条数据,碎片少时,大概只扫描3个页,但零星多时也许要扫描更加多页(前面讲索引时在详谈)。

   5.2
表格上的目录。比如:建议每一个表都包涵聚集索引,那是因为数量存款和储蓄分为堆和B-Tree,
按B-Tree空间占用率更高。 丰富运用索引裁减对I/0的须要。

   5.3
数据文件,日志文件,TempDB文件提议存放不一致物理磁盘,日志文件放写入速度相比快的磁盘上,例如
RAID 10的分区

        5.4
文件空间管理,设置数据库拉长时要按一定大小增加,而不能够按百分比,这样制止二遍升高太多或太少所推动的不供给麻烦。提议比较较小的数据库设置二次升高50MB到100MB。下图呈现若是按5%来增长近10G, 假诺有2个应用程序在品尝插入一行,可是尚未空间可用。那么数据库恐怕会起来抓牢2个近10G,
文件的滋长大概会耗用太长的流年,以至于客户端程序插入查询退步。

  图片 3

       5.5 幸免自动减少文件,假使设置了此成效,sql
server会每隔半钟头检查文件的行使,假如空闲空间>四分一,会活动运转dbcc
shrinkfile 动作。自动减少线程的会话ID
SPID总是6(未来也许有变) 如下呈现自动减少为False。

   
 图片 4

     图片 5

   5.6 如若数据库的苏醒形式是:完整。
就供给定期做日志备份,防止日志文件无限的提升,用于磁盘空间。

    

     

Zookeeper的I/O模式?

Zookeeper在起步进度中有一步很重点:初阶化ServerCnxnFactory
其间的落到实处类有NettyServerCnxnFactory和NIOServerCnxnFactory

二.sql server  首要磁盘读写的一举一动

  2.1 
从数据文件(.mdf)里, 读入新数据页到内部存款和储蓄器。前页讲述内部存款和储蓄器时大家通晓,假如想要的多寡不在内部存款和储蓄器中时,就会从硬盘的数据文件里以页面为最小单位,读取到内部存款和储蓄器中,还包含预读的数目。
当内部存款和储蓄器中存在,就不会去磁盘读取数据。充裕的内部存款和储蓄器能够最小化磁盘I/O,因为磁盘的进程远慢于内部存款和储蓄器。

  2.2  预写日志系统(WAL),向日志文件(.ldf)写入增加和删除改的日志记录。
用来保证数据业务的ACID。

  2.3  Checkpoint 检查点发生时,将脏页数据写入到数据文件
,在sp_configure的recovery interval 控制着sql
server多久进行二回Checkpoint,
要是经常做Checkpoint,这每一趟发生的硬盘写就不会太多,对硬盘冲击不会太大。要是隔长日子贰次Checkpoint,不做Checkpoint时品质大概会比较快,但积累了多量的改动,恐怕要爆发大批量的写,那时质量会受影响。在半数以上据气象下,暗中认可设置是相比较好的,没供给去修改。

  2.4   内部存款和储蓄器不足时,Lazy
Write发生,会将缓冲区中期维修改过的数目页面同步到硬盘的数据文件中。由于内部存款和储蓄器的空中不足触发了Lazy
Write, 主动将内存中很久没有动用过的数据页和施行安插清空。Lazy
Write一般不被常常调用。

  2.5   CheckDB, 
索引维护,全文索引,总结消息,备份数据,高可用一块日志等。

一. 概述

 sql server作为关系型数据库,须要开始展览多少存款和储蓄,
那在运作中就会随处的与硬盘实行读写交互。借使读写无法科学火速的做到,就会见世质量难点以及数据库损坏难点。上边讲讲引起I/O的发生,以及分析优化。

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图