ラベル SBCL の投稿を表示しています。 すべての投稿を表示
ラベル SBCL の投稿を表示しています。 すべての投稿を表示

2010年2月24日水曜日

SBCLでバイト列を逆アセンブルする

Kernel/VM探検隊に参加しました。皆さんスペック高すぎです。参加したおかげで上がったテンションのまま、SBCLで遊んでみた。

1.SBCLにはネイティブコードコンパイラが備わっている。

2.CommonLispでは仕様でdisassemble関数が定義されている。

つまり、SBCLでバイト列を逆アセンブルことは簡単。たぶん。

ということでやってみた。

(defun disassemble-u8-list (u8-list)
(let ((len (length u8-list)))
(let ((alien (sb-alien:make-alien sb-alien:unsigned-char len)))
(unwind-protect
(progn
(loop :for i from 0
:for u in u8-list
:do (setf (sb-alien:deref alien i) u))
(sb-disassem:disassemble-memory (sb-alien:alien-sap alien) len))
(sb-alien:free-alien alien)))))

準備として、アセンブラで適当にコードを書く。

bits 32
section .text

global _start
_start:
mov eax, 4 ;write
mov ebx, 1 ;fd
mov ecx, ptr ;buf
mov edx, 6 ;size
int 0x80
mov eax, 1 ;exit
mov ebx, 0
int 0x80
ptr db 'Hello',10
>nasm -f elf32 test.asm
>ld -o test test.o
>./test
Hello
>nasm -f bin -o test.bin test.asm
>hd test.bin
00000000 b8 04 00 00 00 bb 01 00 00 00 b9 22 00 00 00 ba |..........."....|
00000010 06 00 00 00 cd 80 b8 01 00 00 00 bb 00 00 00 00 |................|
00000020 cd 80 48 65 6c 6c 6f 0a |..Hello.|
00000028

このバイト列を逆アセンブルしてみる。

>(disassemble-u8-list
'(#xb8 #x04 #x00 #x00 #x00 #xbb #x01 #x00 #x00 #x00
#xb9 #x22 #x00 #x00 #x00 #xba #x06 #x00 #x00 #x00
#xcd #x80 #xb8 #x01 #x00 #x00 #x00 #xbb #x00 #x00
#x00 #x00 #xcd #x80 #x48 #x65 #x6c #x6c #x6f #x0a))
; 08089CA8: B804000000 MOV EAX, 4
; AD: BB01000000 MOV EBX, 1
; B2: B922000000 MOV ECX, 34
; B7: BA06000000 MOV EDX, 6
; BC: CD80 INT 128
; BE: B801000000 MOV EAX, 1
; C3: BB00000000 MOV EBX, 0
; C8: CD80 INT 128
; CA: 48 DEC EAX
; CB: 65 GS-SEGMENT-PREFIX
; CC: 6C INSB
; CD: 6C INSB
; CE: 6F OUTSD
; CF: 0A00 OR AL, [EAX]
NIL

2回目のINT命令以降は文字列。objdumpの結果とくらべても間違いはなさそう。最後の0x0Aが0A00とされているが、メモリ上の次の値を読んでいそう。

2010年2月8日月曜日

SBCL1.0.35のlispobj

SBCLのsrc/runtimeディレクトリのC言語で記述された箇所を読む努力をしてみる。脳みそのスペックと英語力と注意力が無いので多々憶測を含む。

lispobjは名前のとおりlispのオブジェクトを表すものだと思われるが、こいつがどのように利用されているか見ていく。

N_WORD_BITS == 32とする(genesis/config.h)。 runtime.hやgenesis/constants.hあたりにタグなどの定義がある。

定義(runtime.h)

/* fake it on alpha32 */
typedef unsigned int lispobj;
#define LOW_WORD(c) ((long)(c) & 0xFFFFFFFFL)

LOWTAG

LOWTAG_MASKはconstants.h(自動生成される)で7と定義されている。 lispobjの下位3ビットを利用したタグ。

  • タグの値:定義されている定数の名前
  • 0:EVEN_FIXNUM_LOWTAG
  • 1:INSTANCE_POINTER_LOWTAG
  • 2:OTHER_IMMEDIATE_0_LOWTAG
  • 3:LIST_POINTER_LOWTAG
  • 4:ODD_FIXNUM_LOWTAG
  • 5:FUN_POINTER_LOWTAG
  • 6:OTHER_IMMEDIATE_1_LOWTAG
  • 7:OTHER_POINTER_LOWTAG

ビット0が立っていれば何らかのポインタである。

整数をN_FIXNUM_TAG_BITS(2)左にシフトすることで偶数ならEVEN_FIXNUM_LOWTAGが、奇数ならODD_FIXNUM_LOWTAGがLOWTAGにセットされる。なのでfixnumが表現できるのは29ビット30ビット。 OTHER_IMMEDIATE_x_LOWTAGはWIDETAGで何を示すのかを表すっぽい。

WIDETAG

WIDETAG_MASKが255と定義されているので、lispobjの下位8ビットがWIDETAG。 xxx_WIDETAGと定義されている定数の下位3ビットが2か6になっているので、LOWTAGが OTHER_IMMEDIATE_x_LOWTAGのときはWIDETAGで値の種類を判別するのだと思う。

メモ

lispobjとはとくに関係ないけど、runtime.hのQSHOW_SIGNALSを真にすると実行中にいろいろメッセージを吐くようになる。 make.shを実行すると、runtimeディレクトリにsbclという実行ファイルが作られる。 --core引数をつけずに実行すると、search_for_core関数でコアファイルを探そうとする。 コアファイルはcoreparse.cのload_core_file関数で読み込まれるが、その際コアファイルと実行ファイルのビルドIDが一致しなければnever_returns [
__attribute__((noreturn))]であるlose関数を呼び出す。

loseはわりといろんなところから呼ばれている。処理を続行できないエラーの場合に呼び出しているのだろう。

load_core_fileは最初に実行すべき関数のlispobjを返す。このlispobjを main関数の終わり付近でcreate_initial_thread関数の引数として利用する。

2009年11月22日日曜日

Gray Streamを使う

Common Lispのwith-output-to-stringやwith-input-from-stringは便利なのだが、文字列ストリームは名前の通り文字しか読み書きできない。

バイナリの読み書きもファイルを開かずに、このように書いてみたい。

(with-binary-stream (s)
(write-byte 2 s)
(write-byte 3 s)
(values (read-byte s) (read-byte s)))

少し調べてみたら、Gray Streamというものを使って実装している人がいた。単純なものなら結構簡単に書けそうだ。

良い機会なので、名前だけは聞いたことのあったGray Streamとやらを利用したコードを書いてみた。

(defpackage virtual-binary-stream
(:use :cl :sb-gray)
(:nicknames :vbstream)
(:export virtual-binary-stream
make-virtual-binary-stream
with-virtual-binary-stream))

(in-package virtual-binary-stream)

;;;Queueの実装:carがlistの先頭cons,cdrが最終Consを指す
;;;ANSI Common Lispより
(defun make-queue ()
(cons nil nil))
(defun enqueue (obj q)
(if (null (car q))
(setf (cdr q)
(setf (car q) (list obj)))
(setf (cdr (cdr q)) (list obj)
(cdr q) (cdr (cdr q))))
(car q))
(defun dequeue (q)
(pop (car q)))

(defclass virtual-binary-stream (fundamental-stream)
((queue :initform (make-queue) :accessor queue-of)))

(defmethod stream-element-type ((stream virtual-binary-stream))
'virtual-binary)

(defmethod close ((stream virtual-binary-stream) &key abort)
(declare (ignore abort))
(setf (queue-of stream) nil))

(defmethod stream-read-byte ((stream virtual-binary-stream))
(dequeue (queue-of stream)))

(defmethod stream-read-char ((stream virtual-binary-stream))
(code-char (stream-read-byte stream)))

(defmethod stream-write-byte ((stream virtual-binary-stream) integer)
(enqueue integer (queue-of stream)))

(defmethod stream-write-char ((stream virtual-binary-stream) character)
(enqueue (char-code character) (queue-of stream)))

(defun make-virtual-binary-stream (&optional (initial-element-list nil))
(let ((stream (make-instance 'virtual-binary-stream)))
(dolist (i initial-element-list)
(stream-write-byte stream i))
stream))

(defmacro with-virtual-binary-stream
((stream &optional initial-element-list) &body body)
`(let ((,stream (make-virtual-binary-stream ,initial-element-list)))
,@body))

キューはANSI Common Lispに書いてあったものを使った。リストでキューを表現する方法が格好良い。

これでwrite-byte,read-byteを使えるようになった。ついでにread-char,write-charも書いた。

>(vbstream:with-virtual-binary-stream (s)
(write-byte 2 s)
(write-char #\A s)
(list (read-byte s) (read-byte s)))
(2 65)

2009年11月16日月曜日

SBCLでCPUID

Shibuya.lisp TT#4で,S式でアセンブラを書いていたhigepon氏が格好良かった。アセンブラを書くまではいかなくとも、アセンブラの命令を呼ぶくらいはやってみたいと思い、 SBCLでCPUID命令を実行してみた。

最初はバイナリコード+FFI(Foreign Function Interface)でなんとかしようかとも思ったけど、バイナリコードを吐くためにアセンブラを使う方法しか思い浮かばなかったので却下した。

SBCLにはネイティブコードコンパイラがついているのだから、なんとかしてSBCLの世界だけで CPUID命令を実行するところまでいきたい。

で、SBCL internalsなる記事で調べてみたところ、VOP(Virtual Operation)というものを使えばなんとかなりそうだとわかった。 (define-instruction cpuid ...)というのがあるので、幸いにもcpuid命令のバイナリコードは定義してあるようだ。

英語を読むパワーがないので、例のごとくとりあえず動くというだけのコードになった。まあ、動くからいいや。

処理系はSBCL 1.0.30 (ubuntu-VM上).

(sb-c:defknown common-lisp-user::%cpu-id
;;arg-types
((unsigned-byte 32) (unsigned-byte 32))
;;result-type
(unsigned-byte 32)
())

(sb-c:define-vop (%cpu-id)
(:policy :fast-safe)
(:args (eax-val :scs (sb-vm::unsigned-reg sb-vm::immediate))
(arg :scs (sb-vm::any-reg sb-vm::immediate)))
(:arg-types sb-vm::positive-fixnum sb-vm::positive-fixnum)
(:translate %cpu-id)
(:temporary (:sc sb-vm::unsigned-reg :offset sb-vm::eax-offset) eax)
(:temporary (:sc sb-vm::unsigned-reg :offset sb-vm::edx-offset) edx)
(:temporary (:sc sb-vm::unsigned-reg :offset sb-vm::ecx-offset) ecx)
(:temporary (:sc sb-vm::unsigned-reg :offset sb-vm::ebx-offset) ebx)
(:results
(r1 :scs (sb-vm::unsigned-reg)))
(:result-types sb-vm::unsigned-num)
(:generator
8
(sb-vm::sc-case eax-val
(sb-vm::immediate
(sb-assem:inst mov eax (sb-vm::tn-value eax-val)))
(T (sb-c:move eax eax-val)))

(sb-assem:inst cpuid)

(sb-vm::sc-case arg
(sb-vm::immediate
(cond
((= (sb-vm::tn-value arg) sb-vm::ebx-offset) (sb-c:move r1 ebx))
((= (sb-vm::tn-value arg) sb-vm::ecx-offset) (sb-c:move r1 ecx))
((= (sb-vm::tn-value arg) sb-vm::edx-offset) (sb-c:move r1 edx))
(T (sb-c:move r1 eax))))
(T (sb-c:move r1 eax)))))

;;(sb-c::%primitive %cpu-id 0 sb-vm::ebx-offset)

(defun word->byte-list (n)
(list
(ldb (byte 8 24) n)
(ldb (byte 8 16) n)
(ldb (byte 8 8) n)
(ldb (byte 8 0) n)))

(defun get-cpu-vender ()
(let ((ebx (sb-c::%primitive %cpu-id 0 sb-vm::ebx-offset))
(ecx (sb-c::%primitive %cpu-id 0 sb-vm::ecx-offset))
(edx (sb-c::%primitive %cpu-id 0 sb-vm::edx-offset)))
(coerce
(mapcan
#'(lambda (n)
(mapcar #'code-char (reverse (word->byte-list n))))
(list ebx edx ecx))
'string)))

(defun get-cpu-processor-brand ()
(with-output-to-string (s)
(dolist (n (mapcar #'(lambda (x)
(coerce x '(unsigned-byte 32)))
(list #x80000002 #x80000003 #x80000004)))
(declare (type (unsigned-byte 32) n))
(let ((eax (sb-c::%primitive %cpu-id n sb-vm::eax-offset))
(ebx (sb-c::%primitive %cpu-id n sb-vm::ebx-offset))
(ecx (sb-c::%primitive %cpu-id n sb-vm::ecx-offset))
(edx (sb-c::%primitive %cpu-id n sb-vm::edx-offset)))
(dolist (word (list eax ebx ecx edx))
(dolist (code (reverse (word->byte-list word)))
(unless (zerop code)
(write-char (code-char code) s))))))))

%cpu-idは1つ目の引数にEAXの値、2つ目の引数に返してほしいレジスタのオフセットを指定するようにした。

レジスタの個数より多くののTN(レジスタ?)は作れないっぽい。 :temporaryで宣言したeaxなどをそのまま返り値に使いたかったけど、どうすればいいのかわからなかったので現在の形になった。

以下、実行結果

CL-USER> (get-cpu-vender)
"AuthenticAMD"
CL-USER>(get-cpu-processor-brand)
"AMD Athlon(tm) 64 X2 Dual Core Processor 3600+"

2009年10月23日金曜日

sb-thread

SBCLはデフォルトでマルチスレッド対応が無効になってるらしい。バイナリパッケージからインストールしたものだと*features*にsb-threadが入っていない。

INSTALLファイル(インストール手順)を確かめると、BINARY DISTRIBUTIONの項目にカスタマイズの設定を書いてビルドしろとのことらしいので、ちょうど良い機会ということにして1.0.29から1.0.30に乗り換えることにした。

INSTALLファイルに書いてあるとおり、customimze-target-features.lispファイルを作り、設定をそのままコピペする。

(lambda (features)
(flet ((enable (x)
(pushnew x features))
(disable (x)
(setf features (remove x features))))
;; Threading support, available only on x86/x86-64 Linux, x86 Solaris
;; and x86 Mac OS X (experimental).
(enable :sb-thread)))

その後は

>sh make.sh
>sh install.sh

とするだけ。すでにSBCLがインストールされてる環境なのでオプションをつけずともすんなりと進んだ。