xiaomi开源SQL优化建议工具 - soar

作者:matrix 发布时间:2018年10月29日星期一 分类:零零星星

SOAR -- sql Optimizer And Rewriter 由小米运维 DBA 团队开发的SQL 智能优化与改写工具20181021宣布开源。
github:https://github.com/xiaomi/soar

安装说明:https://github.com/XiaoMi/soar/blob/master/doc/install.md

测试环境:ubuntu 16.04

安装GO

apt-get安装失败改用
源码下载:https://GOlang.google.cn/dl/
配置环境变量

解压:
> sudo tar -C /usr/local -xzf go1.11.1.linux-amd64.tar.gz

全局用户的环境变量:
> sudo vi /etc/profile

末尾添加:
export PATH=$PATH:/usr/local/go/bin

go版本查看:

> go version

source更新环境变量:

source /etc/profile

还需要配置GOPATH环境变量:表示go的工作目录 USER_NAME 为用户名
export GOPATH="/home/USER_NAME/go"

安装soar

> go get -d github.com/XiaoMi/soar
> cd ${GOPATH}/src/github.com/XiaoMi/soar && make

若安装顺利,最终会显示success。否则 build error

我前几次安装都失败

go build github.com/pingcap/tidb/parser: /usr/local/go/pkg/tool/linux_amd64/compile: signal: killed 
Makefile:69: recipe for target 'build' failed

之后google找到帖子 有人说是vps内存太低导致的,遂重启了下Ubuntu 重新make。bingo~

安装成功之后会发现~/go/src/github.com/XiaoMi/soar多出一个 soar文件。
执行测试:

> cd ~/go/src/github.com/XiaoMi/soar
> echo 'select * from film' | ./soar

图片4152-xiaomi开源sql优化建议工具 - soar

使用soar

常用命令:https://github.com/XiaoMi/soar/blob/master/doc/cheatsheet.md

打印所有的启发式规则1

$ soar -list-heuristic-rules

打印支持的报告格式

$ soar -list-report-types

以指定格式输出报告

$ soar -report-type json

语法检查工具

$ echo "select * from tb" | soar -only-syntax-check
$ echo $?
0

$ echo "select * fromtb" | soar -only-syntax-check
At SQL 0 : syntax error at position 16 near 'fromtb'
$ echo $?
1

慢日志进行分析示例

$ pt-query-digest slow.log > slow.log.digest
# parse pt-query-digest's output which example script
$ python2.7 doc/example/digest_pt.py slow.log.digest > slow.md

sql指纹

$ echo "select * from film where col='abc'" | soar -report-type=fingerprint

输出

select * from film where col=?

将UPDATE/DELETE/INSERT语法转为SELECT

$ echo "update film set title = 'abc'" | soar -rewrite-rules dml2select,delimiter  -report-type rewrite

输出

select * from film;

合并多条ALTER语句

$ echo "alter table tb add column a int; alter table tb add column b int;" | soar -report-type rewrite -rewrite-rules mergealter

输出

ALTER TABLE `tb` add column a int, add column b int ;

sql美化

$ echo "select * from tbl where col = 'val'" | ./soar -report-type=pretty

输出

SELECT
  *
FROM
  tbl
WHERE
  col  = 'val';

EXPLAIN信息分析报告

$ soar -report-type explain-digest << EOF
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
| id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
|  1 | SIMPLE      | film  | ALL  | NULL          | NULL | NULL    | NULL | 1131 |       |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
EOF
##  Explain信息

| id | select\_type | table | partitions | type | possible_keys | key | key\_len | ref | rows | filtered | scalability | Extra |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1  | SIMPLE | *film* | NULL | ALL | NULL | NULL | NULL | NULL | 0 | 0.00% | &#x2620;&#xfe0f; **O(n)** |  |


### Explain信息解读

#### SelectType信息解读

* **SIMPLE**: 简单SELECT(不使用UNION或子查询等).

#### Type信息解读

* &#x2620;&#xfe0f; **ALL**: 最坏的情况, 从头到尾全表扫描.

markdown转HTML

通过指定-report-css, -report-javascript, -markdown-extensions, -markdown-html-flags这些参数,你还可以控制HTML的显示格式。

$ cat test.md | soar -report-type md2html > test.html

PEACE~

参考:
https://github.com/beego/wetalk/issues/32
https://www.oschina.net/news/101034/xiaomi-opensource-soar
https://juejin.im/entry/5bbf21fde51d450e61605d99

pecl安装php mongodb扩展

作者:matrix 发布时间:2018年9月20日星期四 分类:零零星星

mongodbmongo扩展不同

与mongo扩展不同,此扩展是在»libmongoc和»libbson库之上开发的。它为核心驱动程序功能提供了最小的API:命令,查询,写入,连接管理和BSON序列化。

http://php.net/manual/zh/set.mongodb.php

安装扩展

 > sudo pecl install mongodb

显示success完成安装

Build process completed successfully
Installing '/usr/local/php/lib/php/extensions/no-debug-non-zts-20121212/mongodb.so'
install ok: channel://pecl.php.net/mongodb-1.5.2
configuration option "php_ini" is not set to php.ini location
You should add "extension=mongodb.so" to php.ini

配置so文件

一般安装成功会自动配置ini文件,但是还需要自行查看确保正常。

确保so文件配置成功 需要查看/usr/local/php/etc/php.ini文件末尾是否存在extension=mongodb.so

> sudo echo 'extension=mongodb.so' >> 'php --ini | grep "Loaded Configuration" | sed -e "s|.*:\s*||"'

最后pphinfo()输出查看扩展是否存在

图片4138-pecl安装php mongodb扩展

参考:
https://github.com/mongodb/mongo-php-driver

Alfred+workflows 快速截图ocr识别

作者:matrix 发布时间:2018年9月12日星期三 分类:零零星星

前些时间使用看到Alfred的ocr识别插件workflows插件真心不错,超实用的工具 完全胜任图片文字提取的工作。

mac自带的截图快捷工具我常常使用,但是能够截图之后马上对图片进行内容识别 这倒是很稀奇 至少我是这样。
一般专门的ocr软件我很少用 若要临时应急的话就会很麻烦 因为我需要去查找提供ocr识别服务的三方网站服务 然后进行图片上传 之后再复制内容到剪贴板。像这种情况下有个顺手的小工具是多爽 😆 😆 虽然插件也是使用开源库tesseract-ocr,但是整合到随手调用这就很少有人做了。

安装tesseract开源库

brew install tesseract #使用brew工具
tesseract --version #查看版本号

配置语言包

tesseract --list-langs #查看当前只是的语言

默认自带英文eng,简体中文为chi_sim

https://github.com/tesseract-ocr/tessdata
下载chi_sim_vert.traineddata,chi_sim.traineddata两文件放至/usr/local/Cellar/tesseract/3.05.02/share/tessdata。其中3.05.02为你安装的tesseract版本号

安装workflows

下载OCR

alfredworkflow被我简单添加了下触发关键字 cn中文,en英文

使用

图片4117-Alfred+workflows 快速截图ocr识别

图片4124-Alfred+workflows 快速截图ocr识别

ocr #默认所有中英文语言
ocr cn #指定识别中文
ocr en #指定识别英文

回车截图之后会出现消息通知(响应时间据字符长度而不定)

若内容为空 最好debug查看workflows报错信息

后续问题

自定义修改插件的时候发现有些时候输入的内容无法被Alfred读取 会被自动截断 无任何反应
这里是因为编码转换的问题导致的 确保输入内容以及输出内容的编码 过滤掉特殊字符
php处理:

 function force_utf8_safe($str) {
    $res = mb_convert_encoding($str, "UTF-8", "UTF-8" ); // replace invalid characters with ?
    $res = preg_replace('/\p{Cc}+/u', '?', $res); // replace control characters with ?
    return $res;
}

说明:
字符过滤来自于 https://github.com/willfarrell/alfred-encode-decode-workflow
还可以参考它的输入字符处理方式 使用normalise脚本再处理传入
参考:https://www.alfredforum.com/topic/10141-workflow-arguments-are-always-decomposed/

我的AlfredWorkflows:https://github.com/Hootrix/AlfredWorkflows

参考:
https://www.zhihu.com/question/20656680
https://tonydeng.github.io/2016/07/28/on-the-use-of-tesseract-picture-text-recognition/

PEACE~

Alfred工作流workflows实例 - 查询内网ip

作者:matrix 发布时间:2018年9月7日星期五 分类:零零星星

Alfredmac上强大的快速启动工具 可以自定义php/shell/ruby/python脚本执行任意操作。比如快速搜索关键字打开网页 查询字符转码 ip。。。这些都是可以自己定义操作的,只是需要一些脚本语言编写的知识。

windows 上有类型的Wox https://github.com/Wox-launcher/Wox

下载Alfred

官网: https://www.Alfredapp.com/

工作流workflows自定义脚本的功能在Alfred中是收费的功能,还好 有可用的版本

nmac.to cracked:https://userscloud.com/o3ibe2w7071h/nmac.to_alf37931b.zip

添加/配置workflows

点击Workflows切换到工作流选项

窗口左下角 「 help + -」,点击 +->Blank Workflow 开始新建工作流程

填写名称name,描述Description,Bundle id为自己标记的包名id 要确保唯一性。

图片4087-Alfred工作流workflows实例

右边黑色背景窗口中右键 inputs->Script Filter 添加自定义执行的脚本

图片4086-Alfred工作流workflows实例

配置执行脚本以及触发的关键字

keyword为触发的关键字 比如alfred启动框框中输入baidu空格query,baidu就是触发脚本的自定义关键字,空格后面的query即为查询的参数下面的Language`即为脚本语言 这里用的系统自带的权限脚本。

图片4090-Alfred工作流workflows实例

#!/bin/bash
ip=$(ifconfig en0 | grep 'inet .*'  | sed 's/^.*inet//g' | sed 's/ netmask.*//g')
cat << EOF
{"items": [
    {
        "title": "${ip}",
        "subtitle": "局域网en0 ip",
        "arg": "${ip}"
    }
]}
EOF

说明:
使用系统bash 查询ifconfig命令en0网卡的IP信息 管道命令符|继续处理sed截取输出结果。
最后使用cat输出json数据用于Alfred读取并显示到结果列表
items具体参数释义参考下方alfredapp.com链接。
这里arg是用于复制粘贴/通知等操作的Alfred变量赋值,否则会没反应。如果只是显示查看 可以只设置titlesubtitle 效果就已经比较好了。

点击save保存

调试

窗口右边有蜘蛛「🕷️」图标 下方的Log下拉框 选择 all information便于查看调试信息

图片4102-Alfred工作流workflows实例 - 查询本地ip

启动

option+space启动 输入触发关键字
图片4097-Alfred工作流workflows实例 - 查询本地ip

下载

上面只是操作记录 这里可以直接下载:local ip.Alfredworkflow
解压缩 直接打开alfredworkflow文件import导入

参考:
https://www.alfredapp.com/help/workflows/inputs/script-filter/json/
https://www.jianshu.com/p/7e1ea4f296c8
https://sspai.com/post/44624
https://www.jianshu.com/p/e9f3352c785f

TG工具-MTProxy

作者:matrix 发布时间:2018年8月29日星期三 分类:零零星星

MTProxy是专门给Telegram作加密代理的工具,避免平时打开「酸酸乳」之类工具,经常使用TG都订阅了好多消息类的bot,有这样的代理自己搭建更方便打开即用,搭好了之后可以直接点击tg链接即可完成配置。
要搭建此工具需要有一台国外可以正常访问Telegram的vps

环境

root@BareInstructive-VM:~# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 14.04 LTS
Release:    14.04
Codename:   trusty

安装

git clone https://github.com/TelegramMessenger/MTProxy.git
cd MTProxy
make && cd objs/bin
curl -s https://core.telegram.org/getProxySecret -o proxy-secret #获取连接tg的密钥
curl -s https://core.telegram.org/getProxyConfig -o proxy-multi.conf #获取tg服务器ip列表 建议每天定时更新
 head -c 16 /dev/urandom | xxd -ps #使用linux系统创建伪随机数 32长度字符
#生成随机数密钥 31c3f028f2faf77e9ab45d5c209aa02c

开启

./mtproto-proxy -u nobody -p 8888 -H 8181 -S 31c3f028f2faf77e9ab45d5c209aa02c --aes-pwd proxy-secret proxy-multi.conf -M 1

说明:
31c3f028f2faf77e9ab45d5c209aa02c为前面的随机密钥
8888为本地监听的端口 用于查看统计数据: curl localhost:8888/stats
8181为对外提供服务的端口(使用的客户端填写的端口)

图片4050-TG工具-MTProxy

出现main loop就是正常开启

测试

tg中打开链接 OPEN:
https://t.me/proxy?server=tg.hhtjim.com&port=8181&secret=31c3f028f2faf77e9ab45d5c209aa02c

tg://proxy?server=tg.hhtjim.com&port=8181&secret=31c3f028f2faf77e9ab45d5c209aa02c

参考:
https://www.jianshu.com/p/d40209b94586
https://github.com/TelegramMessenger/MTProxy

一键脚本:https://doub.io/shell-jc7/

IDEA快速插入当前时间

作者:matrix 发布时间:2018年7月31日星期二 分类:零零星星

快速插入当前时间之前倒是很少需要,只是现在注释的时候需要有时间标记方便查看。windows上的记事本F5可以获取当前时间,或者手动敲也行。作为IDEA系列的编辑器使用上应该是有这种快捷键的,然而找了大半天的确是没有的。但是有解决办法,还可以自由控制很多快捷关键字。这功能就像java ide中输入sout中达到快捷输入System.out.println()的效果 很方便。

PhpStorm for Mac V2018.1

添加group

点击右侧的「+」号
这里添加了group名称为commonInsertTime,故曰 全局范围插入时间

图片4024-IDEA快速插入当前时间

添加/配置Live Template

图片4026-IDEA快速插入当前时间

这里的Abbreviation 就是触发快捷输入的关键字 time
右侧的Description为关键字提示的描述信息,可以输入中文的。
填写Template Text 模版变量 $date$,名称都可以自定义
图片4027-IDEA快速插入当前时间
Expand with表示触发的操作,默认是输入time触发关键字之后按tab键触发快捷输入。
然后点击Edit Variables编辑变量,窗口中会出现刚刚定义的dateExpresssion表达式中输入date("yyyy-MM-dd HH:mm:ss") 点击ok保存。
date函数属于官方模版的预定义函数,具体可参考下方IDEA官方资料来源。
红字提示No application contexts yes是指没有为当前模板设置使用的语言环境,我这里是所有地方都可以使用 点击Define->Everywhere

图片4038-IDEA快速插入当前时间

保存之后在IDEA中任意地方都快速输入当前时间。
输入time,按Tab键即可。
PEACE~

参考:
https://icewing.cc/post/how-to-insert-template-content-into-phpstorm.html

IDEA官方资料

Vue 滚动条定位问题

作者:matrix 发布时间:2018年6月28日星期四 分类:零零星星

使用jquery的时候可以直接animate方法完成滑动滚动条的动作,但是在vue项目中会很蛋疼。

$('.findcar_brand_ul').animate({scrollTop: liheight}, 300);

vue中又没有相关的组件可以调用,载入jquery麻烦,要是需要临时解决的话可以使用js的scrollTop
看了网上各路大神的文章才恍悟。要做到渐缓动画 只是需要setTimeOut执行step操作就好,频率快,人眼也就察觉不出。先取使用js操作获取dom的scrollTop取出需要让滚动条定位的目标位置,之后递增/减setTimeout操作。

//方法2。js操作 
                var jump = document.querySelector('#postion');
                var total = jump.offsetTop;//要定位的目标滚动条位置
                console.log('纵坐标', total)
                // var distance = document.documentElement.scrollTop || document.body.scrollTop

                 var distanceDom = document.querySelector('.findcar_brand_ul');//滚动条所在的容器
                var distance = distanceDom.scrollTop;//容器的滚动条照度


                // 平滑滚动,每1ms一跳,共20跳
                var time = 15;//毫秒
                var stepnum = 20;//共20跳
                //时长(time*stepnum) ms


                var step = total / stepnum //因为除法会出现余数情况 导致最终定位有偏差
                if (total > distance) {
                    // console.log('smoothDown')
                    // console.log('distance:'+distance)
                    // console.log('total:'+total)
                    smoothDown()
                } else {
                    // var newTotal = distance - total + 100
                    var newTotal = distance - total
                    step = newTotal / stepnum
                    // console.log('smoothUp')
                    smoothUp()
                }
                function smoothDown () {
                    if (distance < total) {
                        // console.log('distance < total')
                        distance += step
                        // Firefox
                        // document.documentElement.scrollTop = distance
                        // // Chrome
                        // document.body.scrollTop = distance

                        distanceDom.scrollTop = distance;
                        setTimeout(smoothDown, time)
                    } else {
                        // console.log('distance < total: else ')
                        // document.documentElement.scrollTop = total
                        // // document.body.scrollTop = total
                        // window.pageYOffset = total

                        // console.log('standard:'+standard)
                        distance = total;//将最后一小步的滚动操作的偏移量还原到目标位置。若不加此操作 会导致定位偏移不准的情况出现。因为step = newTotal / stepnum 的值会有除不尽的情况  !!important
                        // console.log('distance end:'+distance)
                        distanceDom.scrollTop = distance;
                    }
                }
                function smoothUp () {
                    if (distance > total) {
                        distance -= step

                        // // Firefox
                        // document.documentElement.scrollTop = distance
                        // // Chrome
                        // document.body.scrollTop = distance

                        distanceDom.scrollTop = distance;
                        setTimeout(smoothUp, time)
                    } else {
                        // document.documentElement.scrollTop = total
                        // document.body.scrollTop = total
                        // window.pageYOffset = total

                        distance = total;
                        distanceDom.scrollTop = distance;
                    }
                }

说明:
demo环境:Vue.version >> "2.2.6"
修改代码使用div中滚动条,取消浏览器窗口滚动条的获取。
代码简单修改了下最终的定位偏移问题。因为step = newTotal / stepnum
至少这能解决问题,还需后面完善。

代码来自@wisewrong

PEACE~

图片4005-vue 滚动条定位问题

参考:
https://www.cnblogs.com/wisewrong/p/6495726.html