diff --git a/1.4.md b/1.4.md index e3fd08a6..78096e4f 100644 --- a/1.4.md +++ b/1.4.md @@ -4,15 +4,15 @@ ##LiteIDE - LiteIDE这个工具是由我们国内牛人VFC写的,使用起来相当地方便。它支持代码高亮、自动补全、项目管理等功能。[下载地址](http://code.google.com/p/golangide/downloads/list) - - 请根据自己的系统下载相应的版本,这些都是已经编译好的文件。Windows和Ubuntu系统可直接打开bin下面的liteide;Mac则需通过LaunchPad打开liteide。 + LiteIDE是一款专门为Go语言开发的集成开发环境(IDE),由visualfc编写。支持项目管理、集成构建、GDB调试、语法高亮、自动补全、大纲显示等功能。下载地址: [http://code.google.com/p/golangide/downloads/list](http://code.google.com/p/golangide/downloads/list),根据自己的系统下载相应的发行版本。Windows和Ubuntu系统可直接打开bin下面的liteide;Mac则需通过LaunchPad打开LiteIDE.app。 ![](images/1.4.liteide.png?raw=true) - 大家可以看到左边是文件项目列表,左下角有相应的文件类导航,顶部有相应的调试工具和编译工具,主要的这个工具支持自动化提示同时支持本文件中函数的提示,目前还没有做到整个项目中函数的提示。配置也是很方便的,只要你已经按照前面几个小节配置了相应的go和`$GOPATH`,那么打开软件之后,就可以直接新建项目开始用了。 + LiteIDE配置需要按照前面几个小节配置了相应的go和`$GOPATH`(LiteIDE中也可以图形化配置LiteIDE专用的GOPATH)。LiteIDE当前的编译环境可以通过编译工具栏上的环境配置来切换,如切换32位和64位,针对自己的系统,可能需要修改相应的LiteEnv环境变量,如64位版本,LiteIDE => 查看 => 选项 => LiteEnv => Win64.env => GOROOT=c:\go-w64 为你的`$GOROOT`,不然会无法使用`build`命令。 - 如果你使用的是32位版本,那么按照以上步骤配置就可以了;而如果你使用的是64位版本,则需要修改 查看 => 选项 => LiteEnv => Win64.env => GOROOT=c:\go-w64 为你的`$GOROOT`,不然会无法使用`build`命令。 + 配置好LiteIDE后,可以打开或拖动任何目录到LiteIDE中作为项目,LiteIDE的编译是针对当前编辑文档所属目录来执行相应的go命令,所以编译时要先打开相应的GO文件。LiteIDE仿IDEA界面,支持项目浏览、文件系统,Package浏览、Golang文档检索、类视图、大纲显示等多个工具窗口的切换。 + + 代码补全需要安装gocode,目前LiteIDE的自动化提示只支持本文件中函数的提示,还没有做到整个项目中函数的提示。 ##Sublime Text diff --git a/6.2.md b/6.2.md index e21f76ec..8d317454 100644 --- a/6.2.md +++ b/6.2.md @@ -1,182 +1,222 @@ #6.2 Go如何使用session -通过上一小节的介绍,我们知道session是服务器端的一种实现用户和服务器之间认证的解决方案,那么session到底怎么样实现整个流程的呢?Go目前内部没有任何pkg支持session,我们这小节将会使用Go来实现session管理和创建 +通过上一小节的介绍,我们知道session是在服务器端实现的一种用户和服务器之间认证的解决方案,目前Go标准包没有为session提供任何支持,这小节我们将会自己动手来实现go版本的session管理和创建。 ##session创建过程 -session的基本原理是服务端为每一个session维护一份会话信息数据,而客户端和服务端依靠一个全局唯一的标识来访问会话信息数据。用户访问web应用时,服务端程序决定何时创建session,创建session可以概括为三个步骤: +session的基本原理是由服务器为每个会话维护一份信息数据,客户端和服务端依靠一个全局唯一的标识来访问这份数据,以达到交互的目的。当用户访问Web应用时,服务端程序会随需要创建session,这个过程可以概括为三个步骤: - 生成全局唯一标识符(sessionid); -- 开辟数据存储空间。一般会在内存中创建相应的数据结构,但这种情况下,系统一旦掉电,所有的会话数据就会丢失,如果是电子商务网站,这种事故会造成严重的后果。不过也可以写到文件里甚至存储在数据库中,这样虽然会增加I/O开销,但session可以实现某种程度的持久化,而且更有利于session的共享; +- 开辟数据存储空间。一般会在内存中创建相应的数据结构,但这种情况下,系统一旦掉电,所有的会话数据就会丢失,如果是电子商务类网站,这将造成严重的后果。所以为了解决这类问题,你可以将会话数据写到文件里或存储在数据库中,当然这样会增加I/O开销,但是它可以实现某种程度的session持久化,也更有利于session的共享; - 将session的全局唯一标示符发送给客户端。 -问题的关键就在服务端如何发送这个session的唯一标识上。考虑到HTTP协议的定义,数据无非可以放到请求行、头域或Body里,所以一般来说会有两种常用的方式:cookie和URL重写。 +以上三个步骤中,最关键的是如何发送这个session的唯一标识这一步上。考虑到HTTP协议的定义,数据无非可以放到请求行、头域或Body里,所以一般来说会有两种常用的方式:cookie和URL重写。 1. Cookie -服务端只要设置Set-cookie头就可以将session的标识符传送到客户端,而客户端此后的每一次请求都会带上这个标识符,由于cookie可以设置失效时间,所以一般包含session信息的cookie会设置失效时间为0(会话cookie),即浏览器进程有效时间。至于浏览器怎么处理这个0,每个浏览器都有自己的方案,但差别都不会太大(一般体现在新建浏览器窗口的时候); +服务端通过设置Set-cookie头就可以将session的标识符传送到客户端,而客户端此后的每一次请求都会带上这个标识符,另外一般包含session信息的cookie会将失效时间设置为0(会话cookie),即浏览器进程有效时间。至于浏览器怎么处理这个0,每个浏览器都有自己的方案,但差别都不会太大(一般体现在新建浏览器窗口的时候); 2. URL重写 -所谓URL重写,顾名思义就是重写URL。试想,在返回用户请求的页面之前,将页面内所有的URL后面全部以get参数的方式加上session标识符(或者加在path info部分等等),这样用户在收到响应之后,无论点击哪个链接或提交表单,都会在再带上session的标识符,从而就实现了会话的保持。读者可能会觉得这种做法比较麻烦,确实是这样,但是,如果客户端禁用了cookie的话,URL重写将会是首选。 +所谓URL重写,就是在返回给用户的页面里的所有的URL后面追加session标识符,这样用户在收到响应之后,无论点击响应页面里的哪个链接或提交表单,都会自动带上session标识符,从而就实现了会话的保持。虽然这种做法比较麻烦,但是,如果客户端禁用了cookie的话,此种方案将会是首选。 ##Go实现session管理 -通过上面session创建过程的讲解,读者应该对session有了一个大体的认识,但是具体到动态页面技术里面,又是怎么实现session的呢?下面我们将结合session的生命周期(lifecycle),用Go语言来实现session管理。 -###session数据结构 -我们知道session管理需要有如下几个元素 +通过上面session创建过程的讲解,读者应该对session有了一个大体的认识,但是具体到动态页面技术里面,又是怎么实现session的呢?下面我们将结合session的生命周期(lifecycle),来实现go语言版本的session管理。 + +###session管理设计 +我们知道session管理涉及到如下几个因素 - 全局session管理器 -- sessionid 全局唯一性 -- sessionid对应的存储对象数据结构 我们采用map[key]interface{}来存储 -- session过期设置 +- 保证sessionid 的全局唯一性 +- 为每个客户关联一个session +- session 的存储(可以存储到内存、文件、数据库等) +- session 过期处理 -我们就来定义一个全局的session管理器 +接下来我将讲解一下我关于session管理的整个设计思路以及相应的go代码示例: + +###Session管理器 + +定义一个全局的session管理器 type SessionManager struct { - cookieName string //识别cookie - lock sync.Mutex //用来锁 - sessions map[string]*session //用来存储 - list *list.List //用来做gc + cookieName string //private cookiename + lock sync.Mutex // protects session + provider Provider + maxLifeTime int64 } + + func NewSessionManager(provideName, cookieName string, maxLifeTime int64) (*SessionManager, error) { + provider, ok := provides[provideName] + if !ok { + return nil, fmt.Errorf("session: unknown provide %q (forgotten import?)", provideName) + } + return &SessionManager{provider: provider, cookieName: cookieName, maxLifeTime: maxLifeTime}, nil + } Go实现整个的流程应该也是这样的,在main包中创建一个全部的session管理器 var globalSessions *SessionManager //然后在init函数中初始化 func init() { - globalSessions = NewSessions() - } - -接下来的例子中创建的session都是放在内存里面的,当然也可以放在存储中,这个后面会详细的讲解。 - -接下来我们来定义针对每个用户的session对象 - - type session strcut{ - sid string //session id唯一标示 - timeAccessed time.Time //最后访问时间 - value map[string]interface{} //session里面存储的值 - } - -###创建 -首先我们要产生一个唯一的sessionid - - func (this *SessionManager) sessionId() string { - var n int = 24 - b := make([]byte, n) - io.ReadFull(rand.Reader, b) - return base64.URLEncoding.EncodeToString(b) - } - -那么这个sessionid什么时候创建呢?我们在启动我们的处理器的时候来进行session的创建,这里我继续前面表单处理的例子说明: - - func login(w http.ResponseWriter, r *http.Request) { - - fmt.Println("method:", r.Method) //获取请求的方法 - if r.Method == "GET" { - t, _ := template.ParseFiles("login.gtpl") - t.Execute(w, nil) - } else { - //请求的是登陆数据,那么执行登陆的逻辑判断 - fmt.Println("username:", r.Form["username"]) - fmt.Println("password:", r.Form["password"]) - } + globalSessions = NewSessionManager("memory","gosessionid",3600) } - //开始一个新的sessionid - //先通过cookiename查询是否已经中了sessionid,然后查找这个sessionid是否还在sessions里面 - //如果还在那么就更新timeAccessed,如果不存在就addnew一个 - func (this *SessionManager) SessionStart() { - - } - - //销毁当前sessionid - func (this *SessionManager) SessionDestroy() { - +我们知道session是保存在服务器端的数据,它可以以任何的方式存储,比如存储在内存、数据库或者文件中。因此我们抽象出一个Provider接口,用以表征session管理器底层存储结构。 + + type Provider interface { + SessionInit(sid string) (Session, error) + SessionRead(sid string) (Session, error) + SessionDestroy(sid string) bool + SessionGC(maxLifeTime int64) } - //新增一个session - func (this *SessionManager) AddNew(key string, value map[string]interface{}) { - newsid :=this.sessionId() - newsess:=&session{"sid":newsid,"timeAccessed":time.Now(),"value":value} - this.sessions[key]=newsess - this.list.Push(newsess) +- SessionInit函数实现Session的初始化,操作成功则返回此新的Session变量 +- SSessionRead函数返回sid所代表的Session变量,如果不存在,那么将以sid为参数调用SessionInit函数创建并返回一个新的Session变量 +- SessionDestroy函数用来销毁sid对应的Session变量 +- SessionGC根据maxLifeTime来删除过期的数据 + +那么Session接口需要实现什么样的功能呢?有过Web开发经验的读者知道,对Session的处理基本就 设置值、读取值、删除值这三个操作,所以我们的Session接口也就实现这三个操作。 + + type Session interface { + Set(key interface{}, value interface{}) //set session value + Get(key interface{}) interface{} //get session value + Del(key interface{}) bool //delete session value + } + +>以上设计思路来源于database/sql/driver,先定义好接口,然后具体的存储session的结构实现相应的接口并注册后,相应功能这样就可以使用了,以下是用来随需注册存储session的结构的Register函数的实现。 + + var provides = make(map[string]Provide) + + // Register makes a session provide available by the provided name. + // If Register is called twice with the same name or if driver is nil, + // it panics. + func Register(name string, provide Provide) { + if driver == nil { + panic("session: Register provide is nil") + } + if _, dup := provides[name]; dup { + panic("session: Register called twice for provide " + name) + } + provides[name] = provide + } + +###全局唯一的Session ID + +Session ID是用来识别访问Web应用的每一个用户,因此必须保证它是全局唯一的(GUID),下面代码展示了如何满足这一需求: + + func (this *SessionManager) sessionId() string { + b := make([]byte, 32) + if _, err := io.ReadFull(rand.Reader, b); err != nil { + return "" + } + return string(b) } -###保持 +###session创建 +我们需要为每个来访用户分配或获取与他相关连的Session,以便后面根据Session信息来验证操作。SessionStart这个函数就是用来检测是否已经有某个Session与当前来访用户发生了关联,如果没有则创建之。 + func (this *SessionManager) SessionStart(w ResponseWriter, r *http.Request) (session Session) { + this.lock.Lock() + defer this.lock.Unlock() + cookie, err := r.Cookie(this.cookieName) + if err != nil || cookie.Value == "" { + sid := this.sessionId() + session = this.provider.SessionInit(sid) + expiration := time.Now() + expiration.Add(time.Duration(this.maxlifetime)) + cookie := http.Cookie{Name: this.cookieName, Value: sid, Expires: expiration} + http.SetCookie(w, &cookie) + } else { + session = this.provider.SessionRead(cookie.Value) + } + return + } + +我们用前面login操作来演示session的运用: + func login(w http.ResponseWriter, r *http.Request) { + session:=globalSessions.SessionStart(w,r) + fmt.Println("method:", r.Method) //获取请求的方法 + if r.Method == "GET" { + if session.Get("uid").(string) != "" { + t, _ := template.ParseFiles("main.gtpl") + }else{ + t, _ := template.ParseFiles("login.gtpl") + } + t.Execute(w, nil) + } else { + //请求的是登陆数据,那么执行登陆的逻辑判断 + fmt.Println("username:", r.Form["username"]) + fmt.Println("password:", r.Form["password"]) + } + } + ###操作值:设置、读取和删除 -session对象需要有设置和删除操作 +SessionStart函数返回的是一个满足Session接口的变量,那么我们该如何用他来对session数据进行操作呢? - func (this *session) Set(key string, value interface{}){ - - } - - func (this *session) Get(key string){ - - } - - func (this *session) Del(key string){ - - } - -当我们设置完值之后需要去更新相应的sessionmanager里面的值 +上面的例子中的代码`session.Get("uid")`已经展示了基本的读取数据的操作,现在我们再来看一下详细的操作: - func (this *SessionManager) update(element *list.Element, value map[string]interface{}) { - this.lock.Lock() - defer this.lock.Unlock() - element.Value.(*session).value = value - this.moveToFront(element) - } + func login(w http.ResponseWriter, r *http.Request) { + session:=globalSessions.SessionStart(w,r) + fmt.Println("method:", r.Method) //获取请求的方法 + if r.Method == "GET" { + if session.Get("uid").(string) != "" { + session.Del("password") + t, _ := template.ParseFiles("main.gtpl") + }else{ + t, _ := template.ParseFiles("login.gtpl") + } + t.Execute(w, nil) + } else { + //请求的是登陆数据,那么执行登陆的逻辑判断 + fmt.Println("username:", r.Form["username"]) + fmt.Println("password:", r.Form["password"]) + session.Set("username",r.Form["username"]) + session.Set("password",r.Form["password"]) + } + } -###如何实时更新时间 -我们的session是有一定的时间限制的,那么如果用户一直在访问页面,那么我们需要实时的去更新这个时间,如何来做这一步呢?请看下面的函数处理 - - func (this *SessionManager) moveToFront(element *list.Element) { - this.lock.Lock() - defer this.lock.Unlock() - this.list.MoveToFront(element) - element.Value.(*session).timeAccessed = time.Now() - } +通过上面的例子可以看到,Session的操作和操作key/value数据库类似:Set、Get、Del等操作 +因为Session有过期的概念,所以我们定义了GC操作,当访问过期时间满足GC的触发条件后将会引起GC,但是当我们进行了任意一个session操作,都会对Session实体进行更新,都会触发对最后访问时间的修改,这样当GC的时候就不会误删除还在使用的Session实体。 -###销毁 -我们来看一下Go如何来管理销毁,我们启动一个单独的goroutine来做session的销毁: +###session重置 +我们知道,Web应用中有用户退出这个操作,那么当用户退出应用的时候,我们需要对该用户的session数据进行销毁操作,下面这个函数就是实现了这个功能: - func GC() { - for true { - time.Sleep(1e9 * 60) - globalSessions.gc() + //Destroy sessionid + func (this *SessionManager) SessionDestroy(w ResponseWriter, r *http.Request) { + cookie, err := r.Cookie(this.cookieName) + if err != nil || cookie.Value == "" { + return + } else { + this.lock.Lock() + defer this.lock.Unlock() + this.provider.SessionDestroy(cookie.Value) + expiration := time.Now() + cookie := http.Cookie{Name: this.cookieName, Expires: expiration} + http.SetCookie(w, &cookie) } } + - func init() { - go GC() +###session销毁 +我们来看一下Session管理器如何来管理销毁,只要我们在Main启动的时候启动: + + func init() { + globalSessions.GC() } - - func (this *SessionManager) gc() { + func (this *SessionManager) GC() { this.lock.Lock() defer this.lock.Unlock() - var expire int64 = 60 * 15 // 15 minutes - // back to front - for { - element := this.list.Back() - if element == nil { - break - } - if (element.Value.(*session).timeAccessed.Unix() + expire) < time.Now().Unix() { - this.list.Remove(element) - delete(this.table, element.Value.(*session).sid) - } else { - break - } - } + this.provider.GC(this.maxLifeTime) + time.AfterFunc(this.maxLifeTime, func() { this.GC() }) } - - + +我们可以看到GC充分利用了time包中的定时器功能,当超时`maxLifeTime`之后调用GC函数,这样就可以保证`maxLifeTime`时间内的session都是可用的,类似的方案也可以用于统计在线用户数之类的。 ##总结 +至此 我们实现了一个用来在Web应用中全局管理Session的SessionManager,定义了用来提供Session存储实现Provider的接口,下一小节,我们将会通过接口定义来实现一些Provider,供大家参考学习。 ## links * [目录]() * 上一节: [session和cookie](<6.1.md>) - * 下一节: [预防session劫持](<6.3.md>) + * 下一节: [session存储](<6.3.md>) ## LastModified * $Id$ \ No newline at end of file diff --git a/6.3.md b/6.3.md index 9d9dd53e..1cafb10f 100644 --- a/6.3.md +++ b/6.3.md @@ -1,10 +1,125 @@ -#6.3 预防session劫持 +#6.3 session存储 +上一节我们介绍了Session管理器的实现原理,定义了存储session的接口,这小节我们将示例一个基于内存的session存储接口的实现,其他的存储方式,读者可以自行参考示例来实现,内存的实现请看下面的例子代码 + package memory + + import ( + "github.com/astaxie/session/" + "time" + "container/list" + ) + + var d = &Provider{list:list.New()} + + type SessionStore struct { + sid string //session id唯一标示 + timeAccessed time.Time //最后访问时间 + value map[interface{}]interface{} //session里面存储的值 + } + + func (this *SessionStore) Set(key, value interface{}) bool { + this.value[key] = value + d.SessionUpdate(this.sid) + return true + } + + func (this *SessionStore) Get(key interface{}) interface{} { + d.SessionUpdate(this.sid) + if v, ok := this.value[key]; ok { + return v + } else { + return "" + } + } + + func (this *SessionStore) Del(key interface{}) bool { + delete(this.value, key) + d.SessionUpdate(this.sid) + return true + } + + type Provider struct { + lock sync.Mutex //用来锁 + sessions map[string]*SessionStore //用来存储在内存 + list *list.List //用来做gc + } + + func (this *Provider) SessionInit(sid string) (session.Session, error) { + this.lock.Lock() + defer this.lock.Unlock() + v := make(map[interface{}]interface{}, 0) + newsess := &SessionStore{"sid": sid, "timeAccessed": time.Now(), "value": v} + this.sessions[sid] = newsess + this.list.Push(newsess) + return newsess + } + + func (this *Provider) SessionRead(sid string) (session.Session, error) { + if s, ok := this.sessions[sid]; ok { + return s, nil + } else { + sess, err := this.SessionInit(sid) + return sess, err + } + } + + func (this *Provider) SessionDestroy(sid string) bool { + if s, ok := this.sessions[sid]; ok { + delete(this.table, sid) + this.list.Remove(s) + return true + } else { + return false + } + } + + func (this *Provider) SessionGC(maxlifetime int64) { + this.lock.Lock() + defer this.lock.Unlock() + + for { + element := this.list.Back() + if element == nil { + break + } + if (element.Value.(*SessionStore).timeAccessed.Unix() + maxlifetime) < time.Now().Unix() { + this.list.Remove(element) + delete(this.table, element.Value.(*SessionStore).sid) + } else { + break + } + } + } + + func (this *Provider) SessionUpdate(sid string) bool { + this.lock.Lock() + defer this.lock.Unlock() + if element, ok := this.sessions[sid]; ok { + element.Value.(*SessionStore).value = s.value + this.moveToFront(element) + return true + } else { + return false + } + } + + func (this *Provider) moveToFront(element *list.Element) { + this.lock.Lock() + defer this.lock.Unlock() + element.Value.(*SessionStore).timeAccessed = time.Now() + this.list.MoveToFront(element) + } + + func init() { + session.Register("memory", d) + } + +上面这个代码实现了一个内存存储的session机制。通过init函数注册到session管理器中。这样就可以方便的调用了。 ## links * [目录]() * 上一节: [Go如何使用session](<6.2.md>) - * 下一节: [session存储](<6.4.md>) + * 下一节: [预防session劫持](<6.4.md>) ## LastModified * $Id$ \ No newline at end of file diff --git a/6.4.md b/6.4.md index 170289f7..d8debaa3 100644 --- a/6.4.md +++ b/6.4.md @@ -1,7 +1,17 @@ -#6.4 session存储 +#6.4 预防session劫持 +session劫持是一种比较严重的安全威胁,也是一种广泛存在的威胁,在session技术中,客户端和服务端通过传送session的标识符来维护会话,但这个标识符很容易就能被嗅探到,从而被其他人利用,这属于一种中间人攻击。 + +本部分通过一个实例来说明何为会话劫持,通过这个实例,读者其实更能理解session的本质。 +##session劫持过程 + +##session劫持防范 +###cookieonly和token +###间隔生成新的SID + + ## links * [目录]() - * 上一节: [预防session劫持](<6.3.md>) + * 上一节: [session存储](<6.3.md>) * 下一节: [小结](<6.5.md>) ## LastModified diff --git a/6.md b/6.md index 6a28cbb6..795d1fbb 100644 --- a/6.md +++ b/6.md @@ -6,8 +6,8 @@ Web开发中一个很重要的议题就是如何做好用户的整个浏览过 ## 目录 * 1. [session和cookie](6.1.md) * 2. [Go如何使用session](6.2.md) - * 3. [预防session劫持](6.3.md) - * 4. [session存储](6.4.md) + * 3. [session存储](6.3.md) + * 4. [预防session劫持](6.4.md) * 5. [小结](6.5.md) ## links diff --git a/images/1.4.liteide.png b/images/1.4.liteide.png index d35f70d7..b39b433e 100644 Binary files a/images/1.4.liteide.png and b/images/1.4.liteide.png differ diff --git a/preface.md b/preface.md index 2a091d08..cc2f4cb2 100644 --- a/preface.md +++ b/preface.md @@ -37,8 +37,8 @@ * 6.[session和数据存储](6.md) - 6.1 [session和cookie](6.1.md) - 6.2 [Go如何使用session](6.2.md) - - 6.3 [预防session劫持](6.3.md) - - 6.4 [session存储](6.4.md) + - 6.3 [session存储](6.3.md) + - 6.4 [预防session劫持](6.4.md) - 6.5 [小结](6.5.md) * 7.文本处理 - 7.1 XML处理