自己动手制作MySQLInternalsManualForDash文档

database

1. 准备工作

1.1 下载MySQL文档

用wget批量、自动下载Internals Manual及MySQL 8.0 Release Notes文档。

 

  1. [root@yejr.me]# cd /data/mysql-docs

  2.  

  3. [root@yejr.me]# wget -r -p -np -k --no-check-certificat "https://dev.mysql.com/doc/internals/en/index.html"

  4.  

  5. [root@yejr.me]# wget -r -p -np -k --no-check-certificat "https://dev.mysql.com/doc/relnotes/mysql/8.0/en/"

  6.  

  7. [root@yejr.me]# ls -l dev.mysql.com

  8. drwxr-xr-x 3 root root 16Feb2913:25 internals

  9. drwxr-xr-x 3 root root 19Feb2922:19 relnotes

1.2 构建Python环境

制作Dash docset文档,需要用到Python的beautifulsoup4模块,因此要先安装上。安装beautifulsoup4模块挺简单的,用Python的pip就可以了,如果不知道的话,可以先自行搜索一番。

 

  1. [root@yejr.me]# pip install beautifulsoup4

此外,还需要sqlite数据库,如果没有的话,也先自行安装,用yum就可以了,也挺方便的。

2. 构建Dash docset环境

2.1 创建docset目录结构,复制文件

 

  1. [root@yejr.me]# cd /data/mysql-docs/dev.mysql.com/doc/internals/

  2.  

  3. # 以MySQL Internal Manual文档为例,先创建下面的目录

  4. [root@yejr.me]# mkdir -p MySQL_Internal.docset/Contents/Resources/Documents/

  5.  

  6. # 复制所有文件到docset目录下

  7. [root@yejr.me]# cp en/* MySQL_Internal.docset/Contents/Resources/Documents/

2.2 编辑Info.plist文件

接下来就是要编辑Info.plist文件了,这也是docset的metadata文件了,存储基本信息,以及定义一些配置等。

 

  1. [root@yejr.me]# cat MySQL_Internal.docset/Contents/Info.plist

  2. <?xml version="1.0" encoding="UTF-8"?>

  3. <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN""http://www.apple.com/DTDs/PropertyList-1.0.dtd">

  4. <plist version="1.0">

  5. <dict>

  6. <key>CFBundleIdentifier</key>

  7. <string>MySQLInternalManual</string>

  8. <key>CFBundleName</key>

  9. <string>MySQLInternalManual</string>

  10. <key>DocSetPlatformFamily</key>

  11. <string>MySQLInternalManual</string>

  12. <key>dashIndexFilePath</key>

  13. <string>index.html</string>

  14. <key>isDashDocset</key>

  15. <true/>

  16. </dict>

  17. </plist>

2.3 生成docset文档索引

Dash的文档索引采用SQLite数据库,SQLite是一个很小巧的、开源的关系型数据库,据说很可能是使用量最大的关系数据库。

先创建docset索引表:

 

  1. [root@yejr.me]# sqlite3 MySQL_Internal.docset/Contents/Resources/docSet.dsidx

  2. SQLite version 3.28.02019-04-1514:49:49

  3. Enter".help"for usage hints.

  4. sqlite> CREATE TABLE searchIndex(id INTEGER PRIMARY KEY, name TEXT, type TEXT, path TEXT);

  5. sqlite> .exit

  6. [root@yejr.me]#

然后用一个Python脚本解析所有文档页面文件,并且生成索引记录,写入到 docSet.dsidx 索引文件中。

这步的工作比较重要,因为后面我们阅读文档时,可能会搜索一些关键词,因此需要尽可能把这些关键词都写到索引文件里。

写入时,各个关键词可以分属不同的类型,常见文档中的类型几乎都支持,像Category、Class、Command、Constant、Function、Interface、Keyword、Module、Namespace等,不一一列举了。

我为了图省事,写入索引时,全部都指定为Keyword了,重点是能搜索到这些关键词就好。

脚本蓝本:https://github.com/drbraden/pgdash/blob/master/pgdoc2set.py

先看下解析文档的Python脚本:

 

  1. [root@yejr.me]# cat dsidx.py

  2. #!/usr/local/bin/python3

  3.  

  4. import os, re, sqlite3, sys

  5. from bs4 importBeautifulSoup, NavigableString, Tag

  6.  

  7. try:

  8. # 指定sqlite数据文件

  9. db = sqlite3.connect("MySQL_Internal.docset/Contents/Resources/docSet.dsidx")

  10. cur = db.cursor()

  11. except:

  12. print("Open sidx file failed, exit.")

  13. exit

  14.  

  15. docpath = "MySQL_Internal.docset/Contents/Resources/Documents"

  16.  

  17. # 接收参数,便于逐个解析每个文件

  18. doc = "%s"% sys.argv[1];

  19. page = open(os.path.join(docpath, doc)).read()

  20. soup = BeautifulSoup(page, features="html.parser")

  21.  

  22. any = re.compile(".*")

  23. for tag in soup.find_all("a", {"href":any}):

  24. # 删除空格及换行

  25. name = tag.text.strip()

  26. name = name.replace("

    ","")

  27. if len(name) > 0:

  28. path = tag.attrs["href"].strip()

  29. if path.split("#")[0] notin("index.html", "index.htm", "bookindex.html"):

  30. # 插入索引记录

  31. sql="INSERT OR IGNORE INTO searchIndex(name,type,path) VALUES ("%s","KEYWORD","%s");"%(name,path);

  32. cur.execute(sql)

  33. # 最后一次性批量提交

  34. db.commit()

  35. db.close()

接下来,我们只需逐个解析文档文件即可:

 

  1. # 扫描文档目录

  2. for f in`ls en`

  3. do

  4. /usr/local/bin/python3 ./docset.py $f

  5. done

最后发现共写入了5600多条记录。

到这里,一个简陋的Dash文档就制作完成了,快和小伙伴们一起分享下成果吧。

P.S,github上已有很多小伙伴在分享他们的成果了:Kapeli/Dash-User-Contributions(https://github.com/Kapeli/Dash-User-Contributions

另外,想要图省事直接获取文档的话,后台发送“dash”关键字获取下载链接,因为Oracle MySQL不让非官方途径发布官网文档,所以不方便直接放上来。之前在我网站下载几个文档并放在上面,也加了入口链接,只是为了方便自己阅读,就这样也被要求下线。

本文参考

  • Dash文档制作教程,https://www.cnblogs.com/xiangzi888/p/4034808.html

  • Docset Generation Guide,https://kapeli.com/docsets

本文首发 https://mp.weixin.qq.com/s/jhWe_ZHd-3n3OEy9YAJSGw

以上是 自己动手制作MySQLInternalsManualForDash文档 的全部内容, 来源链接: utcz.com/z/533011.html

回到顶部