これまで、True Typeフォントを利用していなければ、ディレクトリも無いはずです。

これで、改めて

$ sudo gem install ~/rmagick-1.15.17.gem

を実行すると、

Building native extensions.  This could take a while...
Successfully installed rmagick-1.15.17
1 gem installed
Installing ri documentation for rmagick-1.15.17...
Installing RDoc documentation for rmagick-1.15.17...

はい、インストールに成功しました。

おつかれさまでした。