准备今天把博客搬到托管服务器上去,于是就要把网站文件备份并且传输到我托管的服务器上去,但是本来用的是阿里云的机子,带宽只有1M,要上传一个800M的压缩包要一个半小时。太久了,想了想,既然是阿里云的ECS,那么应该可以用OSS的内网传输,内网的话速度肯定巨快了,找到同一个区域的bucket,ping了一下给的内网地址—–1ms,嗯有戏。然后顺便就去帮助支持看了一下,找到了个叫做ossfs的工具,它可以把OSS bucket挂载在阿里云的ECS上,然后用以数据共享以及传输。
ossfs 能让您在Linux系统中把OSS bucket 挂载到本地文件系统中,您能够便捷地通过本地文件系统操作OSS 上的对象,实现数据的共享。
ECS上挂载好OSS之后
复制过去只用了一分钟,800MB一分钟~然后从服务器上wget oss上的压缩包就行云流水了~
主要功能
ossfs 基于s3fs 构建,具有s3fs 的全部功能。主要功能包括:
- 支持POSIX 文件系统的大部分功能,包括文件读写,目录,链接操作,权限,uid/gid,以及扩展属性(extended attributes)
- 通过OSS 的multipart 功能上传大文件。
- MD5 校验保证数据完整性。
安装及使用
安装包下载
Linux发行版 | 下载 |
---|---|
Ubuntu 16.04 (x64) | ossfs_1.80.0_ubuntu16.04_amd64.deb |
Ubuntu 14.04 (x64) | ossfs_1.80.0_ubuntu14.04_amd64.deb |
CentOS 7.0 (x64) | ossfs_1.80.0_centos7.0_x86_64.rpm |
CentOS 6.5 (x64) | ossfs_1.80.0_centos6.5_x86_64.rpm |
CentOS 5.11 (x64) | ossfs_1.80.0_centos5.11_x86_64.rpm |
安装方法
- 对于Ubuntu,安装命令为:
sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi your_ossfs_package
- 对于CentOS6.5及以上,安装命令为:
yum localinstall your_ossfs_package
- 对于CentOS5,安装命令为:
yum localinstall your_ossfs_package --nogpgcheck
使用方法
设置bucket name 和 AccessKeyId/Secret信息,将其存放在/etc/passwd-ossfs 文件中,注意这个文件的权限必须正确设置,建议设为640。
echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
将OSS bucket mount到指定目录。
ossfs my-bucket my-mount-point -ourl=my-oss-endpoint
示例
将my-bucket
这个bucket挂载到/tmp/ossfs
目录下,AccessKeyId是faint
,AccessKeySecret是123
,oss endpoint是http://oss-cn-hangzhou.aliyuncs.com。特别注意:url中不包含bucket的名字。例如:您在oss控制台中看到bucket的域名是这样的:ossfs-test-1.oss-cn-hangzhou.aliyuncs.com。那么填入的url则是:http://oss-cn-hangzhou.aliyuncs.com。
echo my-bucket:faint:123 > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /tmp/ossfs
ossfs my-bucket /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com
卸载bucket:
fusermount -u /tmp/ossfs
更多详细内容请参考:https://github.com/aliyun/ossfs
局限性
ossfs提供的功能和性能和本地文件系统相比,具有一些局限性。具体包括:
- 随机或者追加写文件会导致整个文件的重写。
- 元数据操作,例如list directory,性能较差,因为需要远程访问OSS服务器。
- 文件/文件夹的rename操作不是原子的。
- 多个客户端挂载同一个OSS bucket时,依赖用户自行协调各个客户端的行为。例如避免多个客户端写同一个文件等等。
- 不支持hard link。
- 不适合用在高并发读/写的场景,这样会让系统的load升高。
版本日志
请参考:https://github.com/aliyun/ossfs/blob/master/ChangeLog
FAQ
有问题看这:https://github.com/aliyun/ossfs/wiki/FAQ
使用ossfs把bucket挂载到本地文件系统,bucket配置了角色,挂载的时候如何传递角色