大型门户网站mysql优化技术(mysql可以做什么)

大家好,关于大型门户网站mysql优化技术很多朋友都还不太明白,不过没关系,因为今天小编就来为大家分享关于mysql可以做什么的知识点,相信应该可以解决大家的一些困惑和问题,如果碰巧可以解决您的问题,还望关注下本站哦,希望对各位有所帮助!
本文目录
优化mysql的limit offset的例子
在mysql中,通常使用limit做分页,而且经常会跟orderby连用。在orderby上加索引有时候是很有帮助的,不然系统会做很多的filesort
经常碰到的一个问题是limit的offset太高,如:limit100000,20,这样系统会查询100020条,然后把前面的100000条都扔掉,这是开销很大的操作,导致查询很慢。假设所有分页的页面访问频率一样,这样的查询平均扫描表的一半数据。优化的方法,要么限制访问后面的页数,要么提升高偏移的查询效率。

一个简单的优化办法是使用覆盖查询(coveringindex)查询,然后再跟全行的做join操作。如:
复制代码
代码如下:
SQL>select*fromuser_order_infolimit1000000,5;
这条语句就可以优化为:

复制代码
代码如下:
select*fromuser_order_infoinnerjoin(selectpinfromuser_order_infolimit1000000,5)aslimusing(pin);
SQL>explainselect*fromuser_order_infolimit1000000,5;
+----+-------------+-----------------+------+---------------+------+---------+------+----------+-------+

|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra|
+----+-------------+-----------------+------+---------------+------+---------+------+----------+-------+
|1|SIMPLE|user_order_info|ALL|NULL|NULL|NULL|NULL|23131886||
+----+-------------+-----------------+------+---------------+------+---------+------+----------+-------+
1rowinset(0.00sec)

SQL>explainextendedselect*fromuser_order_infoinnerjoin(selectpinfromuser_order_infolimit1000000,5)aslimusing(pin);
+----+-------------+-----------------+--------+---------------+---------+---------+---------+----------+----------+-------------+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|filtered|Extra|
+----+-------------+-----------------+--------+---------------+---------+---------+---------+----------+----------+-------------+
|1|PRIMARY||ALL|NULL|NULL|NULL|NULL|5|100.00||

|1|PRIMARY|user_order_info|eq_ref|PRIMARY|PRIMARY|42|lim.pin|1|100.00||
|2|DERIVED|user_order_info|index|NULL|PRIMARY|42|NULL|23131886|100.00|Usingindex|
+----+-------------+-----------------+--------+---------------+---------+---------+---------+----------+----------+-------------+
3rowsinset,1warning(0.66sec)
根据两个explain的对比,可以清晰发现,第一个未使用索引,扫描了23131886行,第二个也扫描了同样的行数,但是使用了索引,效率提高了。这样可以直接使用index得到数据,而不去查询表,当找到需要的数据之后,在与全表join,获得其他的列。

如何优化Mysql千万级快速分页,limit优化快
select*fromcollectwhereidin(9000,12,50,7000);竟然0秒便可以查完!idin(str)很快,根基还是0秒。若是这样,千万级的数据,mysql应该也很轻易应付。
mysql中怎样对大批量级的数据查询进行优化
MySQL一直以来都支持正则匹配,不过对于正则替换则一直到MySQL8.0才支持。对于这类场景,以前要么在MySQL端处理,要么把数据拿出来在应用端处理。
比如我想把表y1的列str1的出现第3个action的子串替换成dble,怎么实现?
1.自己写SQL层的存储函数。代码如下写教了3个,没有优化,仅仅作为演示,MySQL里非常不建议写这样的函数。
mysql

DELIMITER$$
USE`ytt`$$
DROPFUNCTIONIFEXISTS`func_instr_simple_ytt`$$
CREATEDEFINER=`root`@`localhost`FUNCTION`func_instr_simple_ytt`(
f_strVARCHAR(1000),--Parameter1

f_substrVARCHAR(100),--Parameter2
f_replace_strvarchar(100),
f_timesint--timescounter.onlysupport3.
)RETURNSvarchar(1000)
BEGIN

declarev_resultvarchar(1000)default'ytt';--result.
declarev_substr_lenintdefault0;--searchstringlength.
setf_times=3;--onlysupport3.
setv_substr_len=length(f_substr);
selectinstr(f_str,f_substr)into@p1;--Firstrealposition.

selectinstr(substr(f_str,@p1+v_substr_len),f_substr)into@p2;Secondaryvirtualposition.
selectinstr(substr(f_str,@p2+@p1+2*v_substr_len-1),f_substr)into@p3;--Thirdvirtualposition.
if@p1>0&&@p2>0&&@p3>0then--Fine.
select
concat(substr(f_str,1,@p1+@p2+@p3+(f_times-1)*v_substr_len-f_times)

,f_replace_str,
substr(f_str,@p1+@p2+@p3+f_times*v_substr_len-2))intov_result;
else
setv_result=f_str;--Neverchanged.
endif;

--Purgeallsessionvariables.
set@p1=null;
set@p2=null;
set@p3=null;
returnv_result;

end;
$$
DELIMITER;
--调用函数来更新:
mysql>updatey1setstr1=func_instr_simple_ytt(str1,'action','dble',3);

QueryOK,20rowsaffected(0.12sec)
Rowsmatched:20Changed:20Warnings:0
2.导出来用sed之类的工具替换掉在导入,步骤如下:(推荐使用)1)导出表y1的记录。
mysqlmysql>select*fromy1intooutfile'/var/lib/mysql-files/y1.csv';QueryOK,20rowsaffected(0.00sec)
2)用sed替换导出来的数据。

shellroot@ytt-Aspire-V5-471G:/var/lib/mysql-files#sed-i's/action/dble/3'y1.csv
3)再次导入处理好的数据,完成。
mysql
mysql>truncatey1;
QueryOK,0rowsaffected(0.99sec)

mysql>loaddatainfile'/var/lib/mysql-files/y1.csv'intotabley1;
QueryOK,20rowsaffected(0.14sec)
Records:20Deleted:0Skipped:0Warnings:0
以上两种还是推荐导出来处理好了再重新导入,性能来的高些,而且还不用自己费劲写函数代码。那MySQL8.0对于以上的场景实现就非常简单了,一个函数就搞定了。
mysqlmysql>updatey1setstr1=regexp_replace(str1,'action','dble',1,3);QueryOK,20rowsaffected(0.13sec)Rowsmatched:20Changed:20Warnings:0

还有一个regexp_instr也非常有用,特别是这种特指出现第几次的场景。比如定义SESSION变量@a。
mysqlmysql>set@a='aabbcceefilucy111bs234523556119101020301040';QueryOK,0rowsaffected(0.04sec)
拿到至少两次的数字出现的第二次子串的位置。
mysqlmysql>selectregexp_instr(@a,'[:digit:]{2,}',1,2);+--------------------------------------+|regexp_instr(@a,'[:digit:]{2,}',1,2)|+--------------------------------------+|50|+--------------------------------------+1rowinset(0.00sec)
那我们在看看对多字节字符支持如何。

mysql
mysql>set@a='中国美国俄罗斯日本中国北京上海深圳广州北京上海武汉东莞北京青岛北京';
QueryOK,0rowsaffected(0.00sec)
mysql>selectregexp_instr(@a,'北京',1,1);
+-------------------------------+

|regexp_instr(@a,'北京',1,1)|
+-------------------------------+
|17|
+-------------------------------+
1rowinset(0.00sec)

mysql>selectregexp_instr(@a,'北京',1,2);
+-------------------------------+
|regexp_instr(@a,'北京',1,2)|
+-------------------------------+
|29|

+-------------------------------+
1rowinset(0.00sec)
mysql>selectregexp_instr(@a,'北京',1,3);
+-------------------------------+
|regexp_instr(@a,'北京',1,3)|

+-------------------------------+
|41|
+-------------------------------+
1rowinset(0.00sec)
那总结下,这里我提到了MySQL8.0的两个最有用的正则匹配函数regexp_replace和regexp_instr。针对以前类似的场景算是有一个完美的解决方案。

好了,文章到此结束,希望可以帮助到大家。


相关文章:
相关推荐:




