Merge pull request #138 from chenwenli/master

修正部分单词错误和汉字错误,重新修正语句描述
This commit is contained in:
astaxie
2013-01-05 08:13:29 -08:00
3 changed files with 24 additions and 24 deletions

14
12.2.md
View File

@@ -4,7 +4,7 @@
- 数据库错误:指与访问数据库服务器或数据相关的错误。例如,以下可能出现的一些数据库错误。
- 连接错误:这一类错误可能是数据库服务器网络断开、用户名密码不正确、或者数据库不存在。
- 查询错误使用的SQL非法导致错误这样SQL错误如果程序经过严格的测试应该可以避免。
- 查询错误使用的SQL非法导致错误这样SQL错误如果程序经过严格的测试应该可以避免。
- 数据错误:数据库中的约束冲突,例如一个唯一字段中插入一条重复主键的值就会报错,但是如果你的应用程序在上线之前经过了严格的测试也是可以避免这类问题。
- 应用运行时错误:这类错误范围很广,涵盖了代码中出现的几乎所有错误。可能的应用错误的情况如下:
@@ -13,14 +13,14 @@
- HTTP错误这些错误是根据用户的请求出现的错误最常见的就是404请求虽然可能会出现很多不同的错误但其中比较常见的错误还有401未授权错误(需要认证才能访问的资源)、403禁止错误(不允许用户访问的资源)和503错误(程序内部出错)。
- 操作系统出错:这类错误都是由于应用程序上的操作系统出现错误引起的,主要有操作系统的资源被分配完了,导致死机,还有操作系统的磁盘满了,导致无法写入,这样就会引起很多错误。
- 网络出错:指两方便的错误,一方面是用户请求应用程序的时候出现网络断开,这样就导致连接中断,这种错误不会造成应用程序的崩溃,但是会影响用户访问的效果另一方面是应用程序读取其他网络上的数据,这种网络断开会导致读取失败,这种需要对应用程序做有效的测试,能够避免这类问题出现的情况下程序崩溃。
- 网络出错:指两方的错误,一方面是用户请求应用程序的时候出现网络断开,这样就导致连接中断,这种错误不会造成应用程序的崩溃,但是会影响用户访问的效果另一方面是应用程序读取其他网络上的数据,其他网络断开会导致读取失败,这种需要对应用程序做有效的测试,能够避免这类问题出现的情况下程序崩溃。
## 错误处理的目标
在实现错误处理之前,我们必须明确错误处理想要达到的目标是什么,错误处理系统应该完成以下工作:
- 通知访问用户出现错误了不论出现的是一个系统错误还是用户错误用户都应当知道Web应用出了问题用户的这次请求无法正确的完成了。例如用户的错误请求我们显示一个统一的错误页面(404.html),出现系统错误我们通过自定义的错误页面显示系统暂时不可用之类的错误页面(error.html)
- 记录错误系统出错错误时一般就是我们调用函数的时候返回err不为nil的情况下使用前面小节介绍的日志系统记录到日志文件如果是一些致命错误通过邮件通知系统管理员例如一般404之类的错误不需要发送邮件只需要记录到日志系统。
- 回滚当前的请求:如果一个用户请求过程中出现了一个服务器错误,那么已完成的操作需要回滚。下面来看一个例子:一个系统讲用户递交的表单保存到数据库,并将这个数据递交到一个第三方服务器,但是第三方服务器挂了,这就导致一个错误,那么先前存储到数据库的表单数据应该删除,而且应该通知用户系统出现错误了。
- 回滚当前的请求操作:如果一个用户请求过程中出现了一个服务器错误,那么已完成的操作需要回滚。下面来看一个例子:一个系统讲用户递交的表单保存到数据库,并将这个数据递交到一个第三方服务器,但是第三方服务器挂了,这就导致一个错误,那么先前存储到数据库的表单数据应该删除(应告知无效),而且应该通知用户系统出现错误了。
- 保证现有程序可运行可服务:我们知道没有人能保证程序一定能够一直正常的运行着,万一哪一天程序崩溃了,那么我们就需要记录错误,然后立刻让程序重新运行起来,让程序继续提供服务,然后再通知系统管理员,通过日志等找出问题。
## 如何处理错误
@@ -99,9 +99,9 @@
}
## 如何处理异常
我们知道在很多其他语言中有try...catch操作,可以捕获异常情况,但是其实很多错误我们都是可以预期的,而不异常处理应该当做错误来处理这也是为什么Go语言采用了函数返回错误的设计这些函数不会panic例如如果一个文件找不到os.Open返回一个错误它不会panic如果你向一个中断的网络连接写数据net.Conn系列类型的Write函数返回一个错误它们不会panic。这些状态在这样的程序里都是可以预期的。你知道这些操作可能会失败因为设计者已经用返回错误清楚地表明了这一点。这就是上面所讲的可以预期的错误。
我们知道在很多其他语言中有try...catch关键词,用来捕获异常情况,但是其实很多错误都是可以预期发生的,而不需要异常处理应该当做错误来处理这也是为什么Go语言采用了函数返回错误的设计这些函数不会panic例如如果一个文件找不到os.Open返回一个错误它不会panic如果你向一个中断的网络连接写数据net.Conn系列类型的Write函数返回一个错误它们不会panic。这些状态在这样的程序里都是可以预期的。你知道这些操作可能会失败因为设计者已经用返回错误清楚地表明了这一点。这就是上面所讲的可以预期发生的错误。
但是还有一种情况有一些操作几乎不可能失败而且在一些特定的情况下也没有办法返回错误也无法继续执行这样情况就应该panic。举个例子如果一个程序计算x[j]但是j越界了这部分代码就会导致panic像这样的一个不可预期严重错误就会引起panic在默认情况下它会杀掉进程它允许一个正在运行这部分代码的goroutine从发生错误的panic中恢复运行发生panic之后这部分代码后面的函数和代码都不会继续执行这是Go特意这样设计的因为要区别于错误和异常panic其实就是异常处理。如下代码我们期望通过uid来获取User中的username信息但是如果uid越界了就会抛出异常这个时候如果我们没有recover机制进程就会被杀死从而导致程序不可服务。因此为了我们程序的健壮性,在一些地方我们需要建立recover机制。
但是还有一种情况有一些操作几乎不可能失败而且在一些特定的情况下也没有办法返回错误也无法继续执行这样情况就应该panic。举个例子如果一个程序计算x[j]但是j越界了这部分代码就会导致panic像这样的一个不可预期严重错误就会引起panic在默认情况下它会杀掉进程它允许一个正在运行这部分代码的goroutine从发生错误的panic中恢复运行发生panic之后这部分代码后面的函数和代码都不会继续执行这是Go特意这样设计的因为要区别于错误和异常panic其实就是异常处理。如下代码我们期望通过uid来获取User中的username信息但是如果uid越界了就会抛出异常这个时候如果我们没有recover机制进程就会被杀死从而导致程序不可服务。因此为了程序的健壮性在一些地方需要建立recover机制。
func GetUser(uid int) (username string) {
defer func() {
@@ -114,10 +114,10 @@
return
}
上面我们介绍了错误和异常的区别那么我们在开发程序的时候如何来设计呢规则很简单如果你的函数无论如何有可能失败它就应该返回一个错误。当我调用其他package的函数时如果这个函数实现的很好我不需要担心它会panic除非有真正的异常情况发生即使那样也不应该是我去处理它。而panic和recover是针对自己开发package里面实现的逻辑针对一些特殊情况来设计。
上面介绍了错误和异常的区别,那么我们在开发程序的时候如何来设计呢?规则很简单:如果你定义的函数无论如何有可能失败它就应该返回一个错误。当我调用其他package的函数时如果这个函数实现的很好我不需要担心它会panic除非有真正的异常情况发生即使那样也不应该是我去处理它。而panic和recover是针对自己开发package里面实现的逻辑针对一些特殊情况来设计。
## 小结
本小节总结了当我们的Web应用部署之后如何处理各种错误网络错误、数据库错误、操作系统错误等当错误发生时我们的程序如何来正确处理显示友好的出错界面、回滚操作、记录日志、通知管理员等操作,最后介绍了如何来正确处理错误和异常一般的程序中错误和异常都是混淆的但是在Go程序中错误和异常是有区分,所以最后介绍了程序设计的时候如何来遵循这样的原则。
本小节总结了当我们的Web应用部署之后如何处理各种错误网络错误、数据库错误、操作系统错误等当错误发生时我们的程序如何来正确处理显示友好的出错界面、回滚操作、记录日志、通知管理员等操作,最后介绍了如何来正确处理错误和异常一般的程序中错误和异常很容易混淆的但是在Go中错误和异常是有明显的区分,所以告诉我们在程序设计中处理错误和异常应该遵循怎么样的原则。
## links
* [目录](<preface.md>)
* 上一章: [应用日志](<12.1.md>)

14
12.3.md
View File

@@ -1,9 +1,9 @@
# 12.3 应用部署
程序开发完毕之后我们现在要部署Web应用程序了但是我们如何来部署这些应用程序呢因为Go程序编译之后是一个可执行文件编写过C程序的读者一定知道使用daemon就可以完美的实现程序后台运行但是目前Go还无法完美的实现daemon因此针对Go的应用程序部署我们可以利用第三方工具来管理第三方的工具有很多例如Supervisord、upstart、daemontools等这小节我介绍目前自己系统中采用的工具Supervisord。
## deamon
目前Go程序如果要实现daemon还不行详细的见这个Go语言的bughttp://code.google.com/p/go/issues/detail?id=227大概的意思说很难从现有的使用的线程中fork一个出来因为没有一种简单的方法来确保所有已经使用的线程的状态一致性问题。
程序开发完毕之后我们现在要部署Web应用程序了但是我们如何来部署这些应用程序呢因为Go程序编译之后是一个可执行文件编写过C程序的读者一定知道用daemon就可以完美的实现程序后台持续运行但是目前Go还无法完美的实现daemon因此针对Go的应用程序部署我们可以利用第三方工具来管理第三方的工具有很多例如Supervisord、upstart、daemontools等这小节我介绍目前自己系统中采用的工具Supervisord。
## daemon
目前Go程序如果要实现daemon还不行详细的见这个Go语言的bug<http://code.google.com/p/go/issues/detail?id=227>大概的意思说很难从现有的使用的线程中fork一个出来因为没有一种简单的方法来确保所有已经使用的线程的状态一致性问题。
但是我们可以看到很多网上的一些实现deamon的方法例如下面两种方式
但是我们可以看到很多网上的一些实现daemon的方法例如下面两种方式
- MarGo的一个实现思路使用Commond来执行自身的应用如果真想实现那么推荐这种方案
@@ -107,12 +107,12 @@
上面提出了两种实现Go的daemon方案但是我还是不推荐大家这样去实现因为官方还没有正式的宣布支持daemon当然第一种方案目前来看是比较可行的而且目前开源库skynet也在采用这个方案做daemon。
## Supervisord
上面已经介绍了Go目前是有两种方案来实现他的daemon但是官方本身还不支持这一块所以还是建议大家采用第三方成熟工具来管理我们的应用程序这里我给大家介绍一款目前使用比较广泛的进程管理软件Supervisord。Supervisord是用Python实现的一款非常实用的进程管理工具。supervisord会帮你把管理的应用程序转成daemon程序而且可以方便的通过命令开启、关闭、重启等操作而且它管理的进程一旦溃会自动再次重新开启,这样就可以保证程序中断的情况下有自我修复功能。
上面已经介绍了Go目前是有两种方案来实现他的daemon但是官方本身还不支持这一块所以还是建议大家采用第三方成熟工具来管理我们的应用程序这里我给大家介绍一款目前使用比较广泛的进程管理软件Supervisord。Supervisord是用Python实现的一款非常实用的进程管理工具。supervisord会帮你把管理的应用程序转成daemon程序而且可以方便的通过命令开启、关闭、重启等操作而且它管理的进程一旦溃会自动启,这样就可以保证程序执行中断的情况下有自我修复功能。
>我前面在应用中踩过一个坑就是因为所有的应用程序都是由Supervisord父进程生出来的那么当你修改了操作系统的文件描述符之后别忘记重启Supervisord光重启下面的应用程序没用。当初我就是系统安装好之后就先装了Supervisord然后开始部署程序修改文件描述符重启程序以为文件描述符已经是100000了其实Supervisord这个时候还是默认的1024个导致他管理的进程所有的描述符也是1024.开放之后压力一上来系统就开发报文件描述符用光了,查了很久才找到这个坑。
### Supervisord安装
Supervisord可以通过`sudo easy_install supervisor`安装当然也可以通过Supervisord官网下载后`setup.py install`安装。
Supervisord可以通过`sudo easy_install supervisor`安装当然也可以通过Supervisord官网下载后解压并转到源码所在的文件夹下执行`setup.py install`安装。
- 使用easy_install必须安装setuptools
@@ -172,7 +172,7 @@ Supervisord安装完成后有两个可用的命令行supervisor和supervisorctl
- supervisorctl reload载入最新的配置文件并按新的配置启动、管理所有进程。
## 小结
这小节我们介绍了如何实现Go的daemon但是我们知道由于目前Go的daemon实现不是很完美,我们需要依靠第三方工具来实现应用程序的daemon管理这里介绍了一个python写的进程管理工具Supervisord通过Supervisord可以很方便的把我们的Go应用程序管理起来。
这小节我们介绍了Go如何实现daemon但是由于目前Go的daemon实现的不足,需要依靠第三方工具来实现应用程序的daemon管理的方式,所以在这里介绍了一个python写的进程管理工具Supervisord通过Supervisord可以很方便的把我们的Go应用程序管理起来。
## links

20
12.4.md
View File

@@ -1,13 +1,13 @@
# 12.4 备份和恢复
这小节我们要讨论应用程序管理的另一个方面:生服务器上数据的备份和恢复。我们经常会遇到生服务器的网络断了、硬盘坏了、操作系统溃、或者数据库不可用了等各种情况,所以我需要对我们的生成服务器上的应用数据做异地灾备,冷备热备。在下面的介绍中,讲解如何备份应用、如何备份Mysql数据库以及将其恢复,如何备份redis数据库以及恢复
这小节我们要讨论应用程序管理的另一个方面:生服务器上数据的备份和恢复。我们经常会遇到生服务器的网络断了、硬盘坏了、操作系统溃、或者数据库不可用了等各种异常情况,所以维护人员需要对生产服务器上的应用数据做异地灾备,冷备热备的准备。在接下来的介绍中,讲解如何备份应用、如何备份/恢复Mysql数据库redis数据库。
## 应用备份
在大多数集群境下Web应用程序基本不需要备份因为这个其实就是一个代码副本我们在本地开发环境中或者版本控制系统中已经保持这些代码。但是很多时候,我们开发的站点需要用户动态来上传文件,那么我们需要对这些上传的文件进行备份目前其实一种合适的做法是把和网站相关的需要存储的文件存储到云储存,这样即使系统奔溃我们的文件还在云存,至少数据不会丢失。
在大多数集群境下Web应用程序基本不需要备份因为这个其实就是一个代码副本我们在本地开发环境中或者版本控制系统中已经保持这些代码。但是很多时候一些开发的站点需要用户来上传文件,那么我们需要对这些用户上传的文件进行备份目前其实一种合适的做法是把和网站相关的需要存储的文件存储到云储存,这样即使系统崩溃,只要我们的文件还在云存储上,至少数据不会丢失。
如果我们没有采用云储存的情况下如何做到网站的备份呢这里我们介绍一个文件同步工具rsyncrsync能够实现网站的备份文件的同步,不同系统的文件的同步如果是windows的话需要windows版本cwrsync。
如果我们没有采用云储存的情况下如何做到网站的备份呢这里我们介绍一个文件同步工具rsyncrsync能够实现网站的备份不同系统的文件的同步如果是windows的话需要windows版本cwrsync。
### rsync安装
rysnc的官方网站http://rsync.samba.org/ 可以从上面获取最新版本的源码。当然因为rsync是一款如此有用的软件所以很多Linux的发行版本都将它收录在内了。
rysnc的官方网站http://rsync.samba.org/ 可以从上面获取最新版本的源码。当然因为rsync是一款非常有用的软件所以很多Linux的发行版本都将它收录在内了。
软件包安装
@@ -42,14 +42,14 @@ rsync主要有以下三个配置文件rsyncd.conf(主配置文件)、rsyncd.secr
- 客户端同步:
客户端可以通过如下命令同步服务器的文件:
客户端可以通过如下命令同步服务器的文件:
rsync -avzP --delete --password-file=rsyncd.secrets 用户名@192.168.145.5::www /var/rsync/backup
这条命令,简要的说明一下几个要点:
1. -avzP是啥读者可以使用--help查看
2. --delete 是为了比如A上删除了一个文件同步的时候B会自动删除那个文件
2. --delete 是为了比如A上删除了一个文件同步的时候B会自动删除相对应的文件
3. --password-file 客户端中/etc/rsyncd.secrets设置的密码要和服务端的 /etc/rsyncd.secrets 中的密码一样这样cron运行的时候就不需要密码了
4. 这条命令中的"用户名"为服务端的 /etc/rsyncd.secrets中的用户名
5. 这条命令中的 192.168.0.100 为服务端的IP地址
@@ -59,9 +59,9 @@ rsync主要有以下三个配置文件rsyncd.conf(主配置文件)、rsyncd.secr
## MySQL备份
应用数据库目前还是MySQL为主流目前MySQL的备份有两种方式热备份和冷备份热备份目前主要是采用master/slave方式关于如何配置这方面的资料大家可以找到很多。master/slave方式的同步目前主要用于读写分离其实也可以用于热备份数据。冷备份的话就是数据有一定的延迟但是可以保证该时间段之前的数据完整例如有些时候可能我们的误操作引起了数据的丢失那么master/slave模式是无法找回丢失数据的但是通过冷备份可以部分恢复数据。
应用数据库目前还是MySQL为主流目前MySQL的备份有两种方式热备份和冷备份热备份目前主要是采用master/slave方式关于如何配置这方面的资料大家可以找到很多。master/slave方式的同步目前主要用于数据库读写分离其实也可以用于热备份数据。冷备份的话就是数据有一定的延迟但是可以保证该时间段之前的数据完整例如有些时候可能我们的误操作引起了数据的丢失那么master/slave模式是无法找回丢失数据的但是通过冷备份可以部分恢复数据。
冷备份一般使用shell脚本定时备份数据库然后通过上面介绍rsync同步到异地机房的一台服务器。
冷备份一般使用shell脚本来实现定时备份数据库然后通过上面介绍rsync同步非本地机房的一台服务器。
下面这个是定时备份mysql的备份脚本我们使用了mysqldump程序这个命令可以把数据库导出到一个文件中。
@@ -158,7 +158,7 @@ rsync主要有以下三个配置文件rsyncd.conf(主配置文件)、rsyncd.secr
可以看到,导出和导入数据库数据都是相当简单,不过如果还需要管理权限,或者其他的一些字符集的设置的话,可能会稍微复杂一些,但是这些都是可以通过一些命令来完成的。
## redis备份
redis是目前我们使用最多的NOSQL它的备份也分为两种热备份和冷备份redis也支持master/slave模式所以我们的热备份可以通过这种方式实现相应的配置大家可以参考官方的文档配置相当的简单。我们这里介绍冷备份的方式redis其实会定时的把内存里面的缓存数据保存到数据库文件里面我们备份只要备份相应的文件就可以然后利用前面介绍的rsync备份到地机房就可以实现。
redis是目前我们使用最多的NoSQL它的备份也分为两种热备份和冷备份redis也支持master/slave模式所以我们的热备份可以通过这种方式实现相应的配置大家可以参考官方的文档配置相当的简单。我们这里介绍冷备份的方式redis其实会定时的把内存里面的缓存数据保存到数据库文件里面我们备份只要备份相应的文件就可以就是利用前面介绍的rsync备份到非本地机房就可以实现。
## redis恢复
redis的恢复分为热备份恢复和冷备份恢复热备份恢复的目的和方法同MySQL的恢复一样只要修改应用的相应的数据库连接即可。
@@ -166,7 +166,7 @@ redis的恢复分为热备份恢复和冷备份恢复热备份恢复的目的
但是有时候我们需要根据冷备份来恢复数据redis的冷备份恢复其实就是只要把保存的数据库文件copy到redis的编译目录然后启动redis就可以了redis在启动的时候会自动加载数据库文件到内存中启动的速度根据数据库的文件大小来决定。
## 小结
本小节介绍了我们应用部分完毕之后,如何做好灾备,包括文件的备份、数据库的备份,这里我们介绍了rsync如何同步文件MySQL数据库和redis数据库如何备份和恢复,希望通过本小节的介绍,能够作为开发的你对于线上产品的灾备方案提供一个参考。
本小节介绍了我们应用部分的备份和恢复,即如何做好灾备,包括文件的备份、数据库的备份。同时也介绍了使用rsync同步不同系统的文件MySQL数据库和redis数据库备份和恢复,希望通过本小节的介绍,能够作为开发的你对于线上产品的灾备方案提供一个参考方案
## links
* [目录](<preface.md>)