乍听之下,不无道理;仔细揣摩,胡说八道

0%

每过一段时间总会燃起一种用Common Lisp(下文简称CL)来写Web应用的冲动,继而就会开始感慨在CL的生态圈中居然没有一款好用的Web框架。尽管放狗搜索“common lisp web framework”可以找到一些——例如Caveman2,以及在Cliki中记录的一些其它框架。然后使用过其中一部分的人就会知道,大部分用起来的体验都不咋地。

在业界摸爬打滚了一小段时光(从业几年姑且可以这么说吧)后,感觉制作一款专门用于编写JSON-in-JSON-out的Web应用的Web框架应该是一个不错的点子——反正大家都是发出application/json的请求期望application/json的响应,于是乎就撸起袖子自己干了。不过完全从零开始编写起是不现实的,于是乎选择了一个“平台”来作为基础。这个平台就是Clack

Clack会负责屏蔽下层的Web Server的差异,它只需要我提供一个函数给它作为来访的HTTP请求的“handler”即可,然后在这个handler中我就可以为所欲为啦。Clack在收到HTTP请求后,会把HTTP请求中的一些信息组织为一个列表类型的值传递给这个handler。在这个handler中,我只需要综合运用CAR、CDR之类的奇怪名字的函数就可以拿到自己需要的东西了——当然了,鉴于这个列表是个plist,用CL提供的DESTRUCTURING-BIND就可以很方便地提取啦。

在这个plist中,就有一个叫做:RAW-BODY的p,它的值是一个“流”——是的,就是那种文件流的流!但它又不是一个路边随处可见的妖艳贱货的流,而是一个来自FLEXI-STREAMS这个包(指CL中的package)的流。FLEXI-STREAMS是一个提供流操作的库,鉴于我没有看过Gray streams相关的内容,就不在这里瞎逼逼误导读者了。总而言之,我必须找到一个办法可以从一个FLEXI-STREAMS提供的输入流类型的值中读出一些东西来。

其实这个办法很简单,就是用CL原生提供的读取流的函数即可——比如READ-SEQUENCE这样的函数。不过我得验证一下不是,为此,我需要有办法可以构造出一个FLEXI-STREAMS流类型的值出来。FLEXI-STREAMS提供了一个叫做MAKE-FLEXI-STREAM的函数,显然这个就是我所需要调用的最后一个函数了。从它的描述来看,它需要一个CL中的原生流来作为第一个参数才行。为此,我试了一下下面的代码

1
2
3
4
5
(let ((text "Hello, world!"))
(with-input-from-string (s text)
(let ((buffer (make-array (length text)))
(fs (flexi-streams:make-flexi-stream s)))
(read-sequence buffer fs))))

遗憾的是,运行上面的代码会报错

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
The value
#\H
is not of type
(UNSIGNED-BYTE 8)
when setting an element of (ARRAY (UNSIGNED-BYTE 8))
[Condition of type TYPE-ERROR]

Restarts:
0: [RETRY] Retry SLIME interactive evaluation request.
1: [*ABORT] Return to SLIME's top level.
2: [ABORT] abort thread (#<THREAD "worker" RUNNING {1007766D53}>)

Backtrace:
0: ((SB-VM::OPTIMIZED-DATA-VECTOR-SET (UNSIGNED-BYTE 8)) #<unavailable argument> #<unavailable argument> #<unavailable argument>)
1: (SB-IMPL:ANSI-STREAM-READ-SEQUENCE #(0 0 0 0 0 0 ...) #<SB-IMPL::STRING-INPUT-STREAM {1007975973}> 0 13)
2: (READ-SEQUENCE #(0 0 0 0 0 0 ...) #<SB-IMPL::STRING-INPUT-STREAM {1007975973}> :START 0 :END 13)
3: ((FLET FLEXI-STREAMS::FILL-BUFFER :IN FLEXI-STREAMS::READ-SEQUENCE*) 13)
4: ((:METHOD FLEXI-STREAMS::READ-SEQUENCE* (FLEXI-STREAMS::FLEXI-LATIN-1-FORMAT T T T T)) #<FLEXI-STREAMS::FLEXI-LATIN-1-FORMAT (:ISO-8859-1 :EOL-STYLE :LF) {1007975B43}> #<FLEXI-STREAMS:FLEXI-INPUT-STRE..
5: ((:METHOD STREAM-READ-SEQUENCE (TRIVIAL-GRAY-STREAMS:FUNDAMENTAL-INPUT-STREAM T)) #<FLEXI-STREAMS:FLEXI-INPUT-STREAM {1007975C73}> #(0 0 0 0 0 0 ...) 0 NIL) [fast-method]
6: (READ-SEQUENCE #(0 0 0 0 0 0 ...) #<FLEXI-STREAMS:FLEXI-INPUT-STREAM {1007975C73}> :START 0 :END NIL)
7: ((LAMBDA ()))
8: (SB-INT:SIMPLE-EVAL-IN-LEXENV (LET ((TEXT "Hello, world!")) (WITH-INPUT-FROM-STRING (S TEXT) (LET # #))) #<NULL-LEXENV>)
9: (EVAL (LET ((TEXT "Hello, world!")) (WITH-INPUT-FROM-STRING (S TEXT) (LET # #))))
10: ((LAMBDA NIL :IN SWANK:INTERACTIVE-EVAL))
--more--

既然在调用READ-SEQUENCE的时候出状况了,不妨试试下面的代码

1
2
3
4
(let ((text "Hello, world!"))
(with-input-from-string (s text)
(let ((fs (flexi-streams:make-flexi-stream s)))
(read-char fs))))

再次令人遗憾的,它会抛出另一个状况(CL中的condition啦)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#<SB-IMPL::STRING-INPUT-STREAM {10020A7243}> is not a binary input stream.
[Condition of type SIMPLE-TYPE-ERROR]

Restarts:
0: [RETRY] Retry SLIME interactive evaluation request.
1: [*ABORT] Return to SLIME's top level.
2: [ABORT] abort thread (#<THREAD "worker" RUNNING {1001F6E813}>)

Backtrace:
0: (SB-KERNEL:ILL-BIN #<SB-IMPL::STRING-INPUT-STREAM {10020A7243}>)
1: (READ-BYTE #<SB-IMPL::STRING-INPUT-STREAM {10020A7243}> NIL NIL)
2: ((:METHOD FLEXI-STREAMS::READ-BYTE* (FLEXI-STREAMS:FLEXI-INPUT-STREAM)) #<FLEXI-STREAMS:FLEXI-INPUT-STREAM {10020A74C3}>) [fast-method]
3: ((:METHOD FLEXI-STREAMS::OCTETS-TO-CHAR-CODE (FLEXI-STREAMS::FLEXI-LATIN-1-FORMAT T)) #<FLEXI-STREAMS::FLEXI-LATIN-1-FORMAT (:ISO-8859-1 :EOL-STYLE :LF) {10020A7393}> #<unavailable argument>) [fast-me..
4: ((:METHOD STREAM-READ-CHAR (FLEXI-STREAMS:FLEXI-INPUT-STREAM)) #<FLEXI-STREAMS:FLEXI-INPUT-STREAM {10020A74C3}>) [fast-method]
5: (READ-CHAR #<FLEXI-STREAMS:FLEXI-INPUT-STREAM {10020A74C3}> T NIL #<unused argument>)
6: ((LAMBDA ()))
7: (SB-INT:SIMPLE-EVAL-IN-LEXENV (LET ((TEXT "Hello, world!")) (WITH-INPUT-FROM-STRING (S TEXT) (LET # #))) #<NULL-LEXENV>)
8: (EVAL (LET ((TEXT "Hello, world!")) (WITH-INPUT-FROM-STRING (S TEXT) (LET # #))))
9: ((LAMBDA NIL :IN SWANK:INTERACTIVE-EVAL))
--more--

看来从一开始提供给MAKE-FLEXI-STREAM函数的参数就应当是一个“二进制”的流才对。为此,我需要借助FLEXI-STREAMS自身的力量——调用它的STRING-TO-OCTETS函数。使用这个函数,可以将一个字符串转换为某种编码下的字节数组,例如下面的代码

1
(flexi-streams:string-to-octets "Hello") ;#(72 101 108 108 111)

得到一串“octet”后,还需要将其转换为“流”才行。再次借助FLEXI-STREAMS的力量,调用它的MAKE-IN-MEMORY-INPUT-STREAM函数,然后将这个函数调用的返回值作为MAKE-FLEXI-STREAM的第一个参数即可,最终的代码如下

1
2
3
4
5
6
7
(let* ((text "Hello, world!")           ; 原始文本
(octets (flexi-streams:string-to-octets text)) ; 使用flexi-streams转换为字节数组,因为下一个函数只接受这种类型的参数
(memory-input (flexi-streams:make-in-memory-input-stream octets)) ; 同样先转换为内存中的流,因为下一个函数只接受这种类型的参数
(flexi-stream (flexi-streams:make-flexi-stream memory-input)) ; 终于可以得到一个真正的flexi-stream了
(buffer (make-array (flexi-streams:octet-length text)))) ; 这里其实用字节的长度还是用字符的长度(flexi-streams:char-length)都没差
(read-sequence buffer flexi-stream) ; 可以像处理CL中的流那样处理flexi-stream
(print (coerce buffer 'string))) ; 把字节数组拼成字符串再输出比较好看

全文完

最近在寻找绘制时序图的过程中遇到了sdedit,感觉非常适合自己使用,故写这么篇文章向自己也向有同样需求的其它开发人员介绍一些这款软件

sdedit在macOS上安装还是非常容易的,只需要使用homebrew就可以轻松安装,命令如下

brew install sdedit

之后sdedit就会被安装到/usr/local/bin 这个目录下,在命令中输入sdedit就可以启动了。

输入sdedit后会启动一个Java Swing写的GUI程序,具体的外观和布局就不介绍了,这里主要讲解一下sdedit所支持的语法

sdedit中绘图的常用语法

PS:我对UML中的一些术语并不了解,下面的介绍是可能有错误的,具体请以sdedit的官方文档(http://sdedit.sourceforge.net/enter_text/)为准。同时,既然有官方文档了,我就不在此翻译一遍了,只记录一些常用的用法

如果需要输入整个时序图的标题(姑且叫做标题),那么可以使用下面的语法

#![一键获取手机号并登录的交互流程]

即以UNIX中的shebang开头,后面通过一对方括号包住标题内容即可

如果需要绘制一个参与时序图的节点,那么使用下面的语法(摘抄自官方文档)

<name>:<Type>[<flags>] "<label>"

其中,就是节点的唯一名字,之后当描述节点间的交互时需要这个字段,请给每一个节点都取一个独一无二的名字(就像取变量名那样);部分顾名思义就是类型,虽然我在使用的时候这个字段的值也是随心所欲地写的,但这个字段对sdedit而言似乎有特殊含义——例如,如果这个字段填入的是Actor,那么绘制出来的就会是一个人形的节点,在用来表示用户的时候特别有用;(flags我还没有用过就不介绍了);label可以理解为节点的文案,如果不填

定义好节点之后,就需要把各个节点在不同的时间用不同的消息联系起来了。描述节点间联系用的语法是(摘自官网)

<caller>[<s>]:<answer>=<callee>[m].<message>

其中的caller和callee都是写的节点的(所以name需要时独一无二的),这样就会绘制出两条线——一条实线从caller指向callee,以及一条虚线从callee指向caller,以及在callee的生命周期下绘制出一个纵向的矩形,表示callee的处理过程;是从caller发往callee的消息,例如参数的描述;如果需要同时描述从callee返回的结果,那么就需要填写在上述语法的的的位置——个人觉得这个语法是有点奇怪的

生成图片

上面的这些文本描述都需要输入到sdedit的文本框中(唯一UI上的右下角),之后点击保存就可以得到一个XXX.sdx的文件了。由于在我的电脑上,sdedit的GUI上的导出功能用起来非常有问题,所以我摸索出来的是在命令行导出图片文件的做法(并且可以导出的格式似乎更丰富)。总体的用法是

sdedit -t <类型> -o <输出文件名> <原始的.sdx文件>

输出文件名随性地取即可,其中类型对常用的都有支持(svg、png、jpg,和bmp),我一般常用的是png,然后就可以得到一张PNG图片了(便可以美美地用到设计文档里了)

配图什么的等我哪天特别闲了再补充上来吧

生平第一次有一台自己的MacBook,使用了一段时间之后也有了自己的一番感想,特此写下来留个纪念。感想主要分为硬件以及软件两个方面,本文不会有太多的条理性

硬件

上周四晚上第一次从收件的超市老板手里接过MacBook Pro的时候,第一感觉是意想不到的沉重。回到家拆开包装,拿起机体和电源适配器的时候,也是觉得非常的重。虽然经过几天的使用后发现并没有当初那般沉重的感觉了,但总体还是超过了我的预期。

接着是发现这台电脑居然没有开机键。老实说,其实这个是我在昨天才意识到的;同时,这台电脑只有四个Type-C的接口,不得不下单买了个外接的适配器。

触控板的面积很大,但正如传闻中所说的,触控板非常地好用,不像我之前用的电脑触控板是塑料材质的,当手出汗的时候非常地难用。

比较可惜的是,control键只在键盘的左侧有,对于使用Emacs来编码的人(指我自己)来说,是比较不方便的。虽然现在已经分别将左右的option设置成了(Windows上的)control,以及将command设置成了(Windows上的)Alt,但无名指在按键的时候还是难免误触。同时,没有独立的home/end/up/down,刚开始还真有点不习惯

touchbar毕竟是一块没有力反馈的触摸屏,所以每当需要按ESC的时候都忍不住要肉眼确认一下或者按两下。但用touchbar来控制音量则非常方便

散热有点糟糕。第一天晚上折腾的时候,安装完Visual Studio Code然后VSC自己卡死了,随后机器开始发热,尤其是touchbar上方靠近屏幕铰链的位置很烫——可千万不要轻易烧坏了呀

电池很给力,不需要每天下班都带着重重的电源适配器回家

软件

开机后的第一感觉就是界面新颖,虽然并不是第一次亲眼看见macOS了,但作为自己的机器来使用,认真一看确实觉得比Windows要美观,比起之前在虚拟机中使用的Mint也要更优雅统一。触控板非常地好用,尤其是三指上划用于在窗口间切换的功能非常地棒,两指点击表示右键单击的效果也非常地好,既轻盈又方便。字体很好看,就连在Emacs中展示的中文也变得可爱起来

摆脱了虚拟机,也就不用再把内存用在一起重复的功能上了(比如把内存分给虚拟机的操作系统),搭配上SSD现在开启软件都非常地快。不过大概是因为虚拟机用惯了,有时候总忍不住切换到调度中心,然后找一个看起来比较像虚拟机的应用来点一下,2333

以前在Mint里面用的搜狗输入法总觉得有什么欠缺,现在可以用上全功能的版本了感觉很爽快,连在Emacs中输入中文也变得畅快起来。更令人惊喜的是,不知道如何折腾,现在我居然可以在多个软件里用上Emacs的键绑定了,目前发现的包括但不限于Firefox的输入框、微信、QQ,以及有道云笔记。

Mac上的一些软件很有趣,比如Alfred、Timing等等,同时也是我第一次使用zsh+oh-my-zsh,的确是很强大的工具。这两天我也开始编写自己的Workflow了,打算接着学习一下Apple Script更好地帮助自己使用这个系统。

好了,就酱

最近用Common Lisp开发一个个人项目,需要记录发出的HTTP请求的参数,包括了目标地址、HTTP body,以及HTTP头部等多种信息。为了可以结构化地存储这些数据(比如HTTP头部是由多个键值对组成的),我选择将它们保存到MongoDB中。Google一番后,我找到了cl-mongo这个库,可以在Common Lisp中读写MongoDB,尝试了一下也确实可以满足自己的需求。为了方便自己查阅,也为了方便有相同需求的人了解如何使用cl-mongo,于是写了这篇文章。

首先使用CL-MONGO:MONGO函数连接MongoDB的服务器程序(mongod)。因为在我的系统上mongod进程监听的是27017这个端口,并且我希望使用的数据库名为test,因此键入如下代码来连接数据库

1
2
3
(cl-mongo:mongo :db "test"
:host "127.0.0.1"
:port 27017)

连接上了数据库后,首先尝试往其中写入一个文档。假设现在要记录的是发出的HTTP请求的信息,那么一个可以写入的基本信息就是请求的目标地址。假设在命令行的mongo shell中输入的内容如下

1
db.http_request.insert({uri: 'http://example.com'});

那么使用cl-mongo提供的DB.INSERT函数达到上述效果的代码如下

1
2
(cl-mongo:db.insert "http_request"
(cl-mongo:kv "uri" "http://example.com"))

求值上述代码后返回值为NIL。为了将上述写入的文档重新查询出来,需要使用cl-mongo提供的DB.FIND函数。因为只有一个文档,所以直接查询就可以查看到结果了。在mongo shell中我们可以使用如下代码查询

1
db.http_request.find();

使用DB.FIND函数的话编写的代码可能会长得像下面这样

1
(cl-mongo:db.find "http_request" :all)

在我的系统上求值了上述代码后在REPL中输出的内容如下

1
2
3
4
5
6
((86 449 0 1 8 0 0 1 "http_request")
(<CL-MONGO:DOCUMENT> : {
_id : CL-MONGO::BSON-OID [#(89 52 26 160 109 156 254 71 184 115 102 30)]
elements : 1}

))

值得注意的是,DB.FIND的返回值不完全是文档组成的数组,而是在这个结果集的数组之外又多了一层列表,并且列表的第一个元素还是一个一看之下不知其所以然的子列表。由于cl-mongo的GitHub上没有提及这个玩意儿的来历,我也没有深入去了解DB.FIND函数的实现代码,因此这个元素就先忽略它吧。如果需要使用DB.FIND查询到的结果,那么开发者需要对DB.FIND的返回值应用一下函数SECOND才行,如下

1
(second (cl-mongo:db.find "http_request" :all))

返回值的列表中的每一个元素都是CL-MONGO:DOCUMENT这个类的实例对象,如果要直接使用还是稍微有点不方便的,因此我写了一个函数用来将DB.FIND函数查询到的CL-MONGO:DOCUMENT的实例对象都转换为较为熟悉,容易操作的数据类型——association list,函数的定义如下

1
2
3
4
5
6
7
8
9
10
11
12
13
(defun document-to-alist (doc)
"Convert a DOC of type CL-MONGO:DOCUMENT to a equivalent, serializable alist."
(check-type doc cl-mongo:document)
(labels ((aux (doc)
(cond ((typep doc 'cl-mongo:document)
(let ((keys (cl-mongo:get-keys doc)))
(mapcar #'(lambda (key)
(cons key
(aux (cl-mongo:get-element key doc))))
keys)))
(t doc))))
(let ((id (cl-mongo:doc-id doc)))
(append (aux doc) (list (cons "_id" id))))))

使用如下代码即可查看方才所写入的文档究竟长什么样子了

1
(document-to-alist (first (second (cl-mongo:db.find "http_request" :all))))

如果想要修改数据库中的文档,例如增加一个字段,那么可以使用cl-mongo提供的DB.UPDATE函数,用法如下

1
2
3
4
(cl-mongo:db.update "http_request"
(cl-mongo:kv "uri" "http://example.com")
(cl-mongo:kv "$set"
(cl-mongo:kv "method" "GET")))

最后如果要删除刚才所写入的这个文档,可以使用cl-mongo的DB.DELETE函数(我很好奇这个函数居然不是叫做DB.REMOVE),用法如下

1
2
(cl-mongo:db.delete "http_request"
(cl-mongo:kv "uri" "http://example.com"))

不久前在办公室抓取某网站S被对方发现,导致对方自动屏蔽了来自办公室网络的所有HTTP请求,连正儿八经地用浏览器打开也不行。为了可以摸索出“改头换面”(改HTTP头部)访问的方法,必须先成功访问至少一次,看看发出的HTTP头部是怎样的才行。恰好想起自己有一台腾讯云服务器,登上去用curl访问网站S,发现是成功的(也就是尚未被屏蔽)。既然如此,干脆在服务器上部署一套Squid作为正向代理,帮助办公网络的请求成功抵达网站S并拿到响应页面。

apt-get安装了squid软件包后启动并监听端口8321,在办公网络下将公网地址和8321端口作为代理配置传递给curl-x选项,访问网站S。不料Squid拒绝了我的请求,返回了如下内容(节选自curl -v命令的输出)

1
2
3
4
5
6
7
8
9
10
11
12
13
< HTTP/1.1 403 Forbidden
< Server: squid/3.5.12
< Mime-Version: 1.0
< Date: Wed, 17 May 2017 15:18:08 GMT
< Content-Type: text/html;charset=utf-8
< Content-Length: 3531
< X-Squid-Error: ERR_ACCESS_DENIED 0
< Vary: Accept-Language
< Content-Language: en
< X-Cache: MISS from VM-44-136-ubuntu
< X-Cache-Lookup: NONE from VM-44-136-ubuntu:8321
< Via: 1.1 VM-44-136-ubuntu (squid/3.5.12)
< Connection: keep-alive

经过一番Google,才知道原来是Squid的配置导致的。在Squid配置文件(/etc/squid/squid.conf)中,默认的acl和http_access指令的设置如下

1
2
3
4
5
6
7
8
9
10
11
12
acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
1
2
3
4
5
6
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager
http_access allow localhost
http_access deny all

由于Squid是按照第一条匹配的http_access指令来决定允许还是拒绝的,因为来自我办公网络的请求实际上命中的是

1
http_access deny all

因此被拒绝是必然的。为了可以接受来自办公网络发起的请求,首先需要新增一行acl指令。通过Squid的日志(/var/log/squid/access.log)可以查看到被拒绝的请求的IP地址是多少,此处假设IP地址为8.7.198.45,那么相应的acl指令如下

1
acl myclients src 8.7.198.45

此处的myclients为自定义的名称,顾名思义,它表示“我的客户端”;src是一种acl类型,表示客户端的IP地址;8.7.198.45是src类型下的参数,也就是我所使用的客户端发出的请求的来源IP地址。配置了acl后,还需要配置http_access指令。这个就简单多了,只要允许上面创建的这个acl的访问即可,内容如下

1
http_access allow myclients

之后再重启Squid服务即可

1
sudo service squid restart

这时候再从办公网络中以腾讯云服务器上的Squid为正向代理发出请求,就不会再被Squid拒绝了。

全文完