Monthly Archives: 三月 2018

Limit优化

1.当偏移量十分巨大时候,要么在页面中限制分页的数量,要么是优化大偏移量的性能,最简单是尽可能使用索引覆盖扫描,而不是查询所有的列
2.”延迟关联” :通过使用覆盖索引查询返回需要的主键,再根据主键关联原表获得需要的数据。
SELECT film_id,desc FROM sa.film ORDER BY title LIMIT 50,5;
修改为:
SELECT film.film_id,film.desc FROM sa.film
  INNER JOIN (
     select film_id FROM sa.film ORDER BY title LIMIT 50,5
) AS LIM USING(film_id)
获取需要访问的记录后再根据关联列回原表查询需要的所有列
或者修改为:
SELECT film_id,desc FROM sa.film WHERE position BEWEEN 50 AND 54 ORDER BY postion;

MySQl 执行图

MySQL查询执行路径
1. 客户端发送一条查询给服务器;
2. 服务器先会检查查询缓存,如果命中了缓存,则立即返回存储在缓存中的结果。否则进入下一阶段;
3. 服务器端进行SQL解析、预处理,再由优化器生成对应的执行计划;
4. MySQL根据优化器生成的执行计划,调用存储引擎的API来执行查询;
5. 将结果返回给客户端。
查询缓存(query cache)
在解析一个查询语句之前,如果查询缓存是打开的,那么MySQL会优先检查这个查询是否命中查询缓存中的数据。这个检查是通过一个对大小写敏感的哈希查找实现的。查询和缓存中的查询即使只有一个字节不同,那也不会匹配缓存结果,这种情况查询会进入下一个阶段的处理。
如果当前的查询恰好命中了查询缓存,那么在返回查询结果之前MySQL会检查一次用户权限。这仍然是无须解析查询SQL语句的,因为在查询缓存中已经存放了当前查询需要访问的表信息。如果权限没有问题,MySQL会跳过所有其他阶段,直接从缓存中拿到结果并返回给客户端。这种情况下,查询不会被解析,不用生成执行计划,不会被执行。
缓存配置参数:
query_cache_limit: MySQL能够缓存的最大结果,如果超出,则增加 Qcache_not_cached的值,并删除查询结果
query_cache_min_res_unit: 分配内存块时的最小单位大小
query_cache_size: 缓存使用的总内存空间大小,单位是字节,这个值必须是1024的整数倍,否则MySQL实际分配可能跟这个数值不同(感觉这个应该跟文件系统的blcok大小有关)
query_cache_type: 是否打开缓存 OFF: 关闭 ON: 总是打开
query_cache_wlock_invalidate: 如果某个数据表被锁住,是否仍然从缓存中返回数据,默认是OFF,表示仍然可以返回
语法解析器和预处理器
首先,MySQL通过关键字将SQL语句进行解析,并生成一棵对应的“解析树”。MySQL解析器将使用MySQL语法规则验证和解析查询。例如,它将验证是否使用错误的关键字,或者使用关键字的顺序是否正确等,再或者它还会验证引号是否能前后正确的匹配。
预处理器则根据一些MySQL规则进一步检查解析树是否合法,例如,这里讲检查数据表和数据列是否存在,还会解析名字和别名,看看它们是否有歧义。
下一步预处理器会验证权限,这通常很快,除非服务器上有非常多的权限设置。
查询优化器
现在语法树被认为合法的了,并且由优化器将其转化为执行计划。一条查询可以由很多种执行方式,最后都返回相同的结果。优化器的作用就是找到这其中最好的执行计划。
MySQL使用基于成本的优化器,它将尝试预测一个查询使用某种执行计划的成本,并选择其中成本最小的一个。最初,成本的最小单位是随机读取一个4K数据页的成本,后来成本计算公式变得更加复杂,并且引入了一些“因子”来估算某些操作的代价,如当执行一次where条件比较的成本。可以通过查询当前会话的last_query_cost的值来得知MySQL计算的当前查询的成本。
有很多种原因会导致MySQL优化器选择错误的执行计划,比如:
1. 统计信息不准确。
2. 执行计划中的成本估算不等同于实际的执行计划的成本。
3. MySQL的最优可能与你想的最优不一样。
4. MySQL从不考虑其他并发的查询,这可能会影响当前查询的速度。
5. MySQL也不是任何时候都是基于成本的优化,有时候也会基于一些固定的规则。
6. MySQL不会考虑不受其控制的成本,例如执行存储过程或者用户自定义的函数的成本。
MySQL的查询优化使用了很多优化策略来生成一个最优的执行的计划。优化策略可以分为两种,静态优化和动态优化。静态优化可以直接对解析树进行分析,并完成优化。例如优化器可以通过一些简单的代数变换将where条件转换成另一种等价形式。静态优化不依赖于特别的数值,如where条件中带入的一些常数等。静态优化在第一次完成后就一直有效,即使使用不同的参数重复查询也不会变化,可以认为是一种“编译时优化”。
相反,动态优化则和查询的上下文有关。也可能和很多其他因素有关,例如where条件中的取值、索引中条目对应的数据行数等,这些需要每次查询的时候重新评估,可以认为是“运行时优化”。
下面是一些MySQL能够处理的优化类型:
1. 重新定义关联表的顺序
数据表的关联并不总是按照在查询中指定的顺序进行,决定关联的顺序是优化器很重要的一部分功能。
2. 将外连接转化成内连接
并不是所有的outer join语句都必须以外连接的方式执行。诸多因素,例如where条件、库表结构都可能会让外连接等价于一个内连接。MySQL能够识别这点并重写查询,让其可以调整关联顺序。
3. 使用等价变换规则
MySQL可以使用一些等价变换来简化并规范表达式。它可以合并和减少一些比较,还可以移除一些恒成立和一些恒不成立的判断。例如:(5=5 and a>5)将被改写为a>5。类似的,如果有(a<b and b=c)and a=5,则会被改写为 b>5 and b=c and a=5。
4. 优化count()、min()和max()
索引和列是否为空通常可以帮助MySQL优化这类表达式。例如,要找到一列的最小值,只需要查询对应B-tree索引最左端的记录,MySQL可以直接获取索引的第一行记录。在优化器生成执行计划的时候就可以利用这一点,在B-tree索引中,优化器会讲这个表达式最为一个常数对待。类似的,如果要查找一个最大值,也只需要读取B-tree索引的最后一个记录。如果MySQL使用了这种类型的优化,那么在explain中就可以看到“select tables optimized away”。从字面意思可以看出,它表示优化器已经从执行计划中移除了该表,并以一个常数取而代之。
类似的,没有任何where条件的count(*)查询通常也可以使用存储引擎提供的一些优化,例如,MyISAM维护了一个变量来存放数据表的行数。
5. 预估并转化为常数表达式
6. 覆盖索引扫描
当索引中的列包含所有查询中需要使用的列的时候,MySQL就可以使用索引返回需要的数据,而无需查询对应的数据行。
7. 子查询优化
MySQL在某些情况下可以将子查询转换成一种效率更高的形式,从而减少多个查询多次对数据进行访问。
8. 提前终止查询
在发现已经满足查询需求的时候,MySQL总是能够立即终止查询。一个典型的例子就是当使用了limit子句的时候。除此之外,MySQL还有几种情况也会提前终止查询,例如发现了一个不成立的条件,这时MySQL可以立即返回一个空结果。
上面的例子可以看出,查询在优化阶段就已经终止。
9. 等值传播
10. 列表in()的比较
在很多数据库系统中,in()完全等同于多个or条件的字句,因为这两者是完全等价的。在MySQL中这点是不成立的,MySQL将in()列表中的数据先进行排序,然后通过二分查找的方式来确定列表中的值是否满足条件,这是一个o(log n)复杂度的操作,等价转换成or的查询的复杂度为o(n),对于in()列表中有大量取值的时候,MySQL的处理速度会更快。
查询执行引擎
在解析和优化阶段,MySQL将生成查询对应的执行计划,MySQL的查询执行引擎则根据这个执行计划来完成整个查询。这里执行计划是一个数据结构,而不是和很多其他的关系型数据库那样会生成对应的字节码。
相对于查询优化阶段,查询执行阶段不是那么复杂:MySQL只是简单的根据执行计划给出的指令逐步执行。在根据执行计划逐步执行的过程中,有大量的操作需要通过调用存储引擎实现的接口来完成,这些接口就是我们称为“handler API”的接口。实际上,MySQL在优化阶段就为每个表创建了一个handler实例,优化器根据这些实例的接口可以获取表的相关信息,包括表的所有列名、索引统计信息等。
返回结果给客户端
查询执行的最后一个阶段是将结果返回给客户端。即使查询不需要返回结果给客户端,MySQL仍然会返回这个查询的一些信息,如查询影响到的行数。
如果查询可以被缓存,那么MySQL在这个阶段,会将结果存放到查询缓存中。
MySQL将结果返回客户端是一个增量、逐步返回的过程。例如,在关联表操作时,一旦服务器处理完最后一个关联表,开始生成第一条结果时,MySQL就可以开始向客户端逐步返回结果集了。
这样处理有两个好处:服务器无需存储太多的结果,也就不会因为要返回太多的结果而消耗太多的内存。另外,这样的处理也让MySQL客户端第一时间获得返回的结果。
结果集中的每一行都会以一个满足MySQL客户端/服务器通信协议的封包发送,再通过TCP协议进行传输,在TCP传输过程中,可能对MySQL的封包进行缓存然后批量传输。

递归使用场景

1.用来求阶乘。fact(5)求1*2*3*4*5的和。 
function fact(n){
         if( n == 1){
              return 1;
         }
         retrun n * fact(n-1);         
    }   
  fact(5);
2.递归无限分类
$array = array( array(‘id’ => 1, ‘pid’ => 0, ‘name’ => ‘河北省’), array(‘id’ => 2, ‘pid’ => 0, ‘name’ => ‘北京市’), array(‘id’ => 3, ‘pid’ => 1, ‘name’ => ‘邯郸市’), array(‘id’ => 4, ‘pid’ => 2, ‘name’ => ‘朝阳区’), array(‘id’ => 5, ‘pid’ => 2, ‘name’ => ‘通州区’), array(‘id’ => 6, ‘pid’ => 4, ‘name’ => ‘望京’), array(‘id’ => 7, ‘pid’ => 4, ‘name’ => ‘酒仙桥’), array(‘id’ => 8, ‘pid’ => 3, ‘name’ => ‘永年区’), array(‘id’ => 9, ‘pid’ => 1, ‘name’ => ‘武安市’), );
/**
* 递归实现无限极分类
* @param $array 分类数据
* @param $pid 父ID
* @param $level 分类级别
* @return $list 分好类的数组 直接遍历即可 $level可以用来遍历缩进
*/
function getTree($array, $pid =0, $level = 0){//声明静态数组,避免递归调用时,多次声明导致数组覆盖
static $list = [];
foreach ($array as $key => $value){
//第一次遍历,找到父节点为根节点的节点 也就是pid=0的节点
if ($value[‘pid’] == $pid){
//父节点为根节点的节点,级别为0,也就是第一级
$value[‘level’] = $level;
//把数组放到list中
$list[] = $value;
//把这个节点从数组中移除,减少后续递归消耗
unset($array[$key]);
//开始递归,查找父ID为该节点ID的节点,级别则为原级别+1
getTree($array, $value[‘id’], $level+1);}
}
return $list;
}/*
* 获得递归完的数据,遍历生成分类
*/

$array = getTree($array);

foreach($array) as $value{
echo str_repeat(‘–‘, $value[‘level’]), $value[‘name’].‘<br />’;
}

//输出结果 无限极分类实现ok
河北省
–邯郸市
—-永年区
–武安市
北京市
–朝阳区
—-望京
—-酒仙桥
–通州区

3.

function loopReference(&$i=0){

echo $i.‘ ‘;

$i++;

if($i<10){

loopReference($i);

}

}

loopReference();//输出 0 1 2 3 4 5 6 7 8 9 

ip2long的IP地址出现负数原因及解决方法

今天要处理一个BUG发现原因,是使用int ip2long ( string $ip_address ) 出现了负数,
$ip = ‘10.1.1.1’;
$ip_long = ip2long($ip);
echo $ip_long.PHP_EOL; // 167837953
echo long2ip($ip_long); // 10.1.1.1
当192.168.101.255时候,就会出现负数,
原因是因为PHP的 integer 类型是有符号,并且有许多的IP地址讲导致在32位系统的情况下为负数, 你需要使用 “%u” 进行转换通过 sprintf() 或 printf() 得到的字符串来表示无符号的IP地址。
  1. $long = sprintf(“%u”, ip2long($ip));
同时还要注意数据库保存,因为int最大11位数,所以bigint才适合
long2ip — 将长整型转化为字符串形式带点的互联网标准格式地址(IPV4)

webbench

https://github.com/winshining/webbench-plus-post

webbench是由 Lionbridge公司开发的出色的网站压力测试工具,它能测试处在相同硬件上,不同服务的性能以及不同硬件上同一个服务的运行状况。webbench不但能具有便准静态页面的测试能力,还能对动态页面(ASP,PHP,JAVA,CGI)进 行测试的能力。

Webbench是一个非常简单的压力测试工具,Webbench最多可以模拟3万个并发连接去测试网站的负载能力。

Linux ssh远程连接断开问题处理办法解决

我们在通过远程连接操作Linux server的时候,有可能过一段时间忘记操作,便会发生ssh断开的问题。

而如果是本地的server,比较好办,直连设备kill掉ssh,踢掉无效用户连接,再次链接即可,但如果是远程server的话,那就比较麻烦。

而使用ssh连接远程服务器的时候,如果长时间没有操作,远程连接就有可能中断。正在执行的程序和vim等缓冲区数据都会丢失。

关于这个问题,下面有几种解决办法,供参考:

echo TMOUT=600 >> ~/.bashrc  或   echo TMOUT=600 >> /etc/profile    设置一个超时的秒数,600秒后终端上没有任何操作便自动断开连接。

或者 修改ssh客户端的配置:给/etc/ssh/ssh_config添加ServerAliveInterval 60

一.在Linux server去设置SSH保持连接时间:

基于安全的理由,如果用户连线到 SSH Server 后闲置,SSH Server 会在超过特定时间后自动终止 SSH 连线。以下是设定终止连线时间的方法:

1、打开 /etc/ssh/sshd_config 文件,找到一个参数为 ClientAliveCountMax,它是设定用户端的 SSH 连线闲置多长时间后自动终止连线的数值,单位为分钟。

2、如果这一行最前面有#号,将那个#号删除,并修改想要的时间。

3、修改后保存并关闭文件,重新启动 sshd:

1
/etc/rc.d/init.d/sshd restart

4. vim .bash_profile

1
export TMOUT=1000000

二.保持ssh连接不断开

用ssh连接服务端,一段时间不操作或屏幕没输出(比如复制文件)的时候,会自动断开

解决:(2种办法)

1、在客户端配置

#vi /etc/ssh/ssh_config(注意不是/etc/ssh/sshd_config文件),后面添加

1
2
Host *
ServerAliveInterval 30

这表示要让所有的ssh连接自动加上此属性;如果要指定服务端,如下:

使用-o的参数ServerAliveInterval来设置一个防止超时的时间

1
ssh -o ServerAliveInterval=30 IP地址

2、在服务端配置

编辑服务器 /etc/ssh/sshd_config,最后增加

1
2
ClientAliveInterval 60
ClientAliveCountMax 1

这 样,SSH Server 每 60 秒就会自动发送一个信号给 Client,而等待 Client 回应

三.修改server和连接终端

Linux系统server

在linux系统中使用ssh连接远程服务器时,可以使用-o的一个参数ServerAliveInterval来设置防止超时的时间。

比如:ssh -o serveraliveinterval=60 username@hostIP

服务器配置修改

修改ssh配置文件/etc/ssh/sshd_config,添加或者修改ClientAliveInterval为“ClientAliveInterval 60”。这个参数的是意思是每1分钟,服务器向客户端发一个消息,用于保持连接。保存后记得重启ssh服务。

修改过后,上面几个办法都可以让ssh保持连接,一直处于alive状态,不会因为没有操作而被服务器强制断线了。

终端:

使用SecureCRT连接远程服务器,在会话选项 -> 终端设置中勾选“发送协议 NO-OP”。

使用putty连接远程服务器,找到Connection -> Seconds between keepalives ( 0 to turn off ), 默认为0,改为60。

四.如何退出退出无响应的 SSH 连接

有时候会发现 ssh 挂在那里没有响应了,可能是客户端的问题,也可能是服务器端的问题,也可能是客户端和服务器之间的网络问题;可能是客户端电脑休眠后连接断了、可能是网络断了、可能是 WiFi 信号不好、可能是网络延迟大了、可能是服务器挂了、也可能是服务器上的 sshd 进程挂了,…,可能是技术问题,也可能是非技术问题,可以找出无数可能。

有时我们离开办公桌前忘了退出 ssh 会话,或者工作的时候长时间 ssh 到服务器上忘记断开,之后发现那些没退出的 ssh 会话还挂在那里,无法退出、无法 Ctrl+C、无法做任何操作。通常我们就直接关闭 Terminal 后重新开一个新的;如果用的不是图形系统,没有窗口可以关闭,那还要启用另一个终端找到相关进程后 kill 掉。这里有一个小技巧,在那些没退出的 ssh 会话里用 ~. “优雅” 的断开连接。

可以这样操作:先 按“回车” 换行 再 按“shift + ` ”再按 “. ”

centos7 下安装redis并且整合PHP7

centos7 下安装redis并且整合PHP7

转载:http://blog.csdn.net/yuzengyuan/article/details/77922661
原创 2017年09月10日 16:04:49

首先确保系统安装了LAMP。如果没有安装可以参照这个教程安装:http://blog.csdn.net/yuzengyuan/article/details/77624050

下载reids:

下载地址:http://redis.io/download,下载最新文档版本。

本教程使用的最新文档版本为 2.8.17,下载并安装:

[cpp] view plain copy

  1. wget http://download.redis.io/releases/redis-2.8.17.tar.gz
  2. tar xzf redis-2.8.17.tar.gz
  3. cd redis-2.8.17
  4. make

make完后 redis-2.8.17目录下会出现编译后的redis服务程序redis-server,还有用于测试的客户端程序redis-cli,两个程序位于安装目录 src 目录下:

下面启动redis服务.

[cpp] view plain copy

  1. cd src
  2. ./redis-server

启动redis服务进程后,就可以使用测试客户端程序redis-cli和redis服务交互了。 比如:

[cpp] view plain copy

  1. cd src
  2. ./redis-cli
  3. redis> set foo bar
  4. OK
  5. redis> get foo
  6. “bar”

PHP7 安装redis 扩展:

[cpp] view plain copy

  1. wget -c https://github.com/phpredis/phpredis/archive/php7.zip
  2. unzip php7.zip
  3. cd phpredis-php7
  4. /usr/local/php7/bin/phpize
  5. ./configure –with-php-config=/usr/local/php7/bin/php-config
  6. make
  7. make install
  8. cd ..

/usr/local/php7/etc/php.ini 中加入:

连接到 redis 服务

[cpp] view plain copy

  1. extension=redis.so

查看phpinfo信息,就能看到redis扩展
链接到redis:

[php] view plain copy

  1. <?php
  2.     //连接本地的 Redis 服务
  3.    $redis = new Redis();
  4.    $redis->connect(‘127.0.0.1’, 6379);
  5.    echo “Connection to server sucessfully”;
  6.          //查看服务是否运行
  7.    echo “Server is running: “ . $redis->ping();
  8. ?>

执行脚本,输出结果为:

[html] view plain copy

  1. Connection to server sucessfully
  2. Server is running: PONG

到了这里,redis就和PHP7整合成功,记得要开启redis服务PHP才能链接