在大型互联网站的数据库部署中，部署最多的数据库为MySQL。随着MySQL中Innodb存储引擎对事物的支持，MySQL在互联网公司部署中，应用量越来越多。典型应用MySQL的公司有Google、Taobao、Baidu等大型互联网公司。MySQL的优势在于其高扩展性和价格优势等。实际上，MySQL可以免费应用于企业级的部署中。

在MySQL复制方式部署中，有两种部署方式：同步复制和异步复制。同步复制采用NDB存储引擎，异步复制需要使用mysql-proxy结合master-slave实现。

mysql-proxy是一个MySQL的代理服务器，用户的请求先发向mysql-proxy，然后mysql-proxy对用户的数据包进行分析，从下一层的mysql 数据库中选择一台数据库，将用户的请求包交给mysql处理。

首先MySQL Proxy 以服务器的身份接受客户端的请求，根据相应配置对这些请求进行分析处理，然后以客户端的身份转发给相应的后端数据库服务器，再接受服务器的信息，然后返回给客户端。所以MySQL Proxy需要同时实现客户端和服务器的协议。由于要对客户端发送过来的SQL语句进行分析，还需要包含一个SQL解析器。MySQL Proxy通过使用lua脚本，来实现复杂的连接控制和过滤，从而实现读写分离和负载平衡。所以部署MySQL-Proxy需要安装运行Lua语言的环境。典型的MySQL-Proxy应用为实现读写分离。

异步复制主要为了解决读写分离的问题。因为用户对网站的访问有读操作多，写操作少的特点。甚至像taobao.com这样的网站读写比例高达10:1，所以采用MySQL-Proxy结合主从异步复制实现读写分离是非常重要的增快访问速度的方法。这样如果有更高的用户访问需求，通过增加slave机器，不会对现有系统提供的服务产生影响而实现很好的、很灵活的业务扩展。

阅读全文

需要保存一些创建表的语句，这些语句的表前缀是可以设置的一个变量，就需要用到以下方法了，如果谁有更好的方法，请告知，谢谢。 mysql中使用变量执行sql语句：

阅读全文

目前的工作是需要对用户的一些数据进行分析，每个用户都有若干条记录，每条记录中有用户的一个位置，是用经度和纬度表示的。

还有一个给定的数据库，存储的是一些已知地点以及他们的经纬度，内有43W多条的数据。

现在需要拿用户的经纬度和已知地点进行距离匹配，如果它们之间的距离小于一定的数据，比如说500米，就认为用户是在这个地点。

MYSQL本身是支持空间索引的，但是在5.x的版本中，取消了对Distance()和Related()的支持，参考这里：MySQL 5.1参考手册 :: 19. 中的空间扩展 19.5.6. 测试几何类之间空间关系的函数，无法使用空间的距离函数去直接去查询距离在一定范围内的点。所以，我首先想到的是，对每条记录，去进行遍历，跟数据库中的每一个点进行距离计算，当距离小于500米时，认为匹配。这样做确实能够得到结果，但是效率极其低下，因为每条记录都要去循环匹配40W条数据，其消耗的时间可想而知。经过记录，发现每条记录处理的时间消耗达到1700ms，针对每天上亿的数据量，这样一个处理速度，让人情何以堪啊。。。

我自己也有个想法，就是找到每条记录所在点的经纬度周围的一个大概范围，比方说正方形的四个点，然后使用mysql的空间计算，使用MBR去得出点在这个矩形内的已知记录，然后进行匹配。可惜，自己没想出能计算到四个点经纬度的方法。

意外的，查询到了一个关于这个计算附近地点搜索初探，里面使用python实现了这个想法。

所以参考了一下原文中的算法，使用PHP进行了实现。

实现原理也是很相似的，先算出该点周围的矩形的四个点，然后使用经纬度去直接匹配数据库中的记录。

阅读全文

如何使用mysql 命令行 查看mysql数据库大小、表大小、数据大小、索引大小：

返回结果:

其中：

information_schema.TABLES.TABLE_SCHEMA = ‘databasename’ and information_schema.TABLES.TABLE_NAME = ‘tablename’

信息存储在information_schema.TABLES这个表中，TABLE_SCHEMA 对应数据库名，TABLE_NAME 对应表名。

# TABLE_ROWS 代表拥有的数据行数。

# 总大小 = DATA_LENGTH(数据大小) + INDEX_LENGTH(索引大小)

结果以字节为单位，除1024为K，除1048576(=1024*1024)为M。

阅读全文

在本机搭建测试环境时，使用了mysqldump导出了一个数据库文件，将近500M，即使是压缩后也有100M左右，在通过mysqldump导入时，发生了错误： “MySQL server has gone away.”。

个人猜测，发生 MySQL server has gone away 问题的原因很可能就是数据文件过大，导致超时。

所以对mysql进行修改：修改my.ini(在lnix/unix下是my.cnf)文件，加大超时参数

如果没有此参数，直接在my.ini/my.cnf文件末尾一行添加上即可。

重启mysql。

最后再次执行导入语句

注：在使用mysqldump时要注意，客户端mysqldump工具的版本要高于等于服务器的版本。

阅读全文

此次讨论的为处理WHERE子句而进行的优化。例子中使用了 SELECT 语句，同样也适用于DELETE和UPDATE语句中的WHERE子句。

下面列出了MySQL执行的部分优化：

去除不必要的括号：

((a AND b) AND c OR (((a AND b) AND (c AND d))))

-> (a AND b AND c) OR (a AND b AND c AND d)

常量重叠：

(a<b AND b=c) AND a=5

-> b>5 AND b=c AND a=5

去除常量条件(由于常量重叠需要)：

(B>=5 AND B=5) OR (B=6 AND 5=5) OR (B=7 AND 5=6)

-> B=5 OR B=6

索引使用的常数表达式仅计算一次。

阅读全文

这主要是一个数据统计的web页面，展现统计结果。由于当时需求很紧，要求尽快能出来查询结果就行，而且是说以后会重新对这部分功能进行规划再开发。所以也没有考虑任何性能相关，劈哩啪啦的一天把很多数据统计的功能实现了。

现在，数据量已然有点规模了，但是还没有再开发的计划，目前还使用这个统计程序，但是由于有些数据量了，并且没有考虑过优化，所以目前查询速度很慢。尤其是其中有一个查询，居然耗时1分多，问题很大啊，今天抽点时间，找找问题，优化一下，主要做的工作的是改进sql语句，添加合适的索引。

存储的数据是根据用户的ID末尾的值来简单分表的，所以共有0到9一共10个表，需要遍历这10个表，然后把最后的数据相加，再处理后得到最后结果。由于需求还算比较简单，所以没有采用定时脚本去处理前几日的数据后入库保存的做法，如果采用以上做法，速度会快更多。

阅读全文