产品特色
编辑推荐
腾讯公司资深研发工程师多年后台开发经验总结,获腾讯、Facebook、微软、阿里、百度多位资深技术专家高度认可。
完整勾勒后台开发技术能力体系,多维度讲解了成为一名后台开发工程师所需掌握的核心技术、开发工具和实践方法,后台工程师修炼必读!
内容简介
因为后台开发所需要的技术广泛而坚深,要成为一名后台开发工程师门槛很高,所以相关人才比较紧缺。作者是在腾讯工作多年的后台开发工程师,不仅技术精湛,而且在处理大量实际业务的过程中积累了丰富的开发经验。在这本书中,她不仅首次为后台开发工程师勾勒出了完整的知识能力体系结构图,而且还对后台开发工程师所需要掌握的大量复杂的技术知识进行了提炼、剥离和整合,专注于成为一名后台开发工程师所需掌握的核心技术、开发工具和实践方法,大幅度降低后台开发工程师的学习曲线。本书的内容获得了来自腾讯、Facebook、微软、阿里、百度的多位资深技术专家的高度认可。
全书一共13章,在逻辑上分为六大部分:
第一部分(第1~3章)介绍了编程语言方面的知识,包括常用语法、类与常用STL的使用;
第二部分(第4~5章)介绍了编译原理和调试方法相关的知识,编译原理包括编译与链接的具体过程、Makefile的编写、目标文件的内容与处理目标文件相关工具的使用,调试方法主要介绍了strace、gdb、top、ps与valgrind工具的使用等;
第三部分(第6~8章)介绍了网络相关的知识,包括TCP协议的关键知识点和TCPserver的实现,网络IO模型和select、poll与epoll三个重要函数的使用,还有ping、tcpdump、netstat和lsof这四个网络分析工具的使用;
第四部分(第9~11章)主要是多线程、进程和进程间通信相关的知识,包括多线程的使用、多线程的同步和重入问题,进程方面有父子进程、僵死进程、守护进程和进程间通讯的方式;
第五部分(第12章)主要是HTTP协议的介绍与使用、CGI的设计原理、实现和FASTCGI的简单介绍;第六部分(第13章)通过常用类库JsonCPP和Protobuf的使用,演示如何使用第三方库。
作者简介
徐晓鑫,腾讯资深软件研发工程师,先后在腾讯游戏之洛克王国、QQ会员、QQ秀等多个项目从事研发工作,精通后台开发的各种技术,实战经验丰富。
精彩书评
后台开发是一个“历史悠久”的领域,同是也是一个沉淀深厚,高技术价值的领域。本书清晰、严谨、务实的风格显示出晓鑫对该领域知识的深刻理解。
——张子兴Facebook对外支付项目主程,美国加州MenloPark
每一位从事后台开发的专业人士都需要一本《后台开发:核心技术与应用实践》。对每一位想要认真从事该领域工作的人来说,这是一本绝对必读的书籍。
——彭可竞微软软件工程师,美国华盛顿州Redmond
《后台开发:核心技术与应用实践》是作者多年后台开发、架构和研究的精华。本书用通俗的文字、详尽的示例代码,结合实际工作中的案例,讲述了后台开发方方面面的知识,内容丰富。对于从事后台开发的人员,这是一本很好的由浅入深的学习书籍。
——周乐阿里巴巴资深算法工程师,北京望京
使用C++语言进行后台开发有一定的门槛,本书可以很好的帮助你跨过这个“门槛”。
——畅晋百度大数据高级测试工程师,北京上地
目录
序
绪论
第1章 C++编程常用技术 1
1.1 第一个C++程序 1
1.2 函数 3
1.3 数组 6
1.4 指针 8
1.5 引用 12
1.6 结构体、公用体、枚举 14
1.6.1 结构体、共用体、枚举的概念 14
1.6.2 结构体、共用体在内存单元占用字节数的计算 18
1.7 预处理 20
1.8 本章小结 25
第2章 面向对象的C++ 26
2.1 类与对象 26
2.2 继承与派生 49
2.3 类的多态 57
2.4 本章小结 64
第3章 常用STL的使用 65
3.1 STL是什么 65
3.2 string 66
3.3 vector 77
3.3.1 vector是什么 77
3.3.2 vector的查增删 78
3.3.3 vector的内存管理与效率 86
3.3.4 Vector类的简单实现 90
3.4 map 96
3.4.1 map是什么 96
3.4.2 map的查增删 96
3.4.3 map的原理 109
3.5 set 111
3.5.1 set是什么 111
3.5.2 set的查增删 112
3.6 本章小结 116
第4章 编译 117
4.1 编译与链接 117
4.2 makefile的撰写 131
4.3 目标文件 135
4.3.1 ELF的文件类型 135
4.3.2 链接视图下的ELF内容 136
4.3.3 执行视图下的ELF内容 142
4.3.4 阅读ELF文件的工具——readelf 144
4.3.5 获得二进制文件里符号的工具——nm 144
4.3.6 减少目标文件大小的工具——strip 146
4.4 本章小结 147
第5章 调试 148
5.1 strace 148
5.2 gdb 156
5.3 top 164
5.4 ps 165
5.5 Valgrind 168
5.5.1 Valgrind概述 168
5.5.2 Linux程序内存空间布局 170
5.5.3 内存检查原理 175
5.5.4 Valgrind安装 176
5.5.5 Valgrind使用 177
5.6 本章小结 187
第6章 TCP协议 188
6.1 TCP协议 188
6.1.1 网络模型 188
6.1.2 TCP头部 191
6.1.3 TCP状态流转 193
6.1.4 TCP超时重传 196
6.1.5 TCP滑动窗口 200
6.1.6 TCP拥塞控制 202
6.2 TCP网络编程API 205
6.3 实现一个TCP server 211
6.4 TCP协议选项 215
6.5 网络字节序与主机序 233
6.6 封包和解包 233
6.7 本章小结 247
第7章 网络IO模型 248
7.1 4种网络IO模型 248
7.2 select 256
7.3 poll 267
7.4 epoll 277
7.5 本章小结 289
第8章 网络分析工具 290
8.1 ping 290
8.2 tcpdump 292
8.3 netstat 294
8.4 lsof 296
8.5 本章小结 298
第9章 多线程 299
9.1 多线程是什么 300
9.2 多线程的创建与结束 301
9.3 线程的属性 307
9.4 多线程同步 312
9.5 多线程重入 332
9.6 本章小结 333
第10章 进程 334
10.1 程序与进程 334
10.2 进程的创建与结束 335
10.3 僵尸进程 342
10.4 守护进程 347
10.5 本章小结 351
第11章 进程间通信 352
11.1 管道 352
11.2 消息队列 358
11.3 共享内存 362
11.4 信号量 368
11.5 ipcs命令 373
11.6 本章小结 374
第12章 HTTP协议 375
12.1 HTTP协议工作流程 375
12.2 HTTP协议结构 376
12.3 HTTPS 383
12.4 CGI 386
12.5 FastCGI 397
12.6 本章小结 398
第13章 常用类库 399
13.1 JSON 400
13.2 Protobuf 405
13.3 本章小结 409
前言/序言
Preface 序
C++可能是计算机历史上最早被发明的高级程序语言,同时也是当今最活跃的程序设计语言之一。C++很强大,强大到你可以使用它做任何层面的开发;C++也很脆弱,脆弱到需要程序员自己去控制内存回收,一个不小心就会使整个程序Core Dump。C++语言的创始人Bjarne Stroustrup曾私下承认,为了提高C++程序员的薪水和地位,在设计C++编译器版本过程中有意地增加了C++语言的难度,使C++更偏向于资深程序员的使用习惯,提高学习门槛,从而增加C++程序员的身价。学习曲线的增加并不是没有任何回报的,在服务端后台开发、处理多并发的海量网络请求方面,C++语言有天然的优势。因此,当应用的用户量、并发量迅速增长,达到一定量级之后,后端服务的技术架构都会转变为Linux C++。
要做一名优秀的使用C++进行后台开发的程序员,只掌握C++语言是远远不够的,还需要掌握如何进行编译、链接、调试,如何使用网络协议、IO模型和一些常用的类库,等等。我曾经面试过不少后台开发程序员,他们往往很重视语言本身,但是对一些语言之外的东西理解不够透彻,影响了他们的技术发展。我也读过不少相关方面的技术书籍,往往都过多地停留在语言层面,忽略了实际开发工作中需要用到的知识。
晓鑫在腾讯从事开发工作多年,有丰富的后台开发经验,她从实际的后台开发经验出发,讲解了后台开发中需要用到的方方面面的知识。从C++语言出发,又不止于C++语言,本书可以说是一本Linux C++后台开发的实战典范。当知道晓鑫在写这么一本书的时候,我真心为国内的众多开发者感到高兴。如果读者有意愿成为一名从事Linux后台开发的程序员,本书无疑是一本最佳的参考书籍。
研发是一项讲究实战的工作,一切不从实际工作出发的技术书籍都是纸上谈兵,没有实际意义。一本优秀的技术书籍应该是这样的:当读者按照书中的内容进行实操的时候,读者写的每一行代码都是有价值的,能够在实际工作中派上用场。本书恰好做到了这一点。这是一位技术书籍作者对读者的起码诚意。
软件工程师是一种需要坚定、踏实、精益求精的“工匠精神”的职业,心浮气躁、得过且过的态度不可能把代码写好。老一辈的人说“字如其人”,在软件领域,我们同样可以说“代码如其人”,一个人的行事风格和为人态度都会体现到他所写的代码上面。按照晓鑫的书去学习,读者可以潜移默化地学习到她多年后台开发所炼就的“工匠精神”。我想,相对于所学习到的知识,这于一个工程师来说更为重要。
黄世飞
腾讯云平台技术总监
Introduction 绪 论
0.1 什么是后台开发
听到“后台开发”这个词,估计读者心中都或多或少会有一些自己的感性认识,这种认识可能有一些差别,但估计大部分人都有这么一种看法:“后台开发”是编写一些用户看不见的程序,也就是非界面的程序,既不是网页,也不是App,更不是桌面程序,因为这些都是用户看得见的(被称为“前台开发”)。这种感性认识在一定程度上是正确的,但是它不够具体,也不够全面。
我们这里所说的“后台开发”的确是用户“看不见”的部分,但是还有很多界面性的程序是给企业内部人员使用的,这些虽然是界面程序,但是对于最终用户来说也是“看不见”的。举个例子,开发一个电子商务网站,提供给客户进行商品购买的网页是用户看得见的,不属于“后台”,但是电商网站内部员工使用的“用户管理系统”,“订单管理系统”等,也是用户看不见的,但它们不属于本书中所指的“后台”。在某些场合,或者某些人的习惯中,这些内部使用的系统也叫“后台”,这几种说法都没有错,希望读者在听到的时候,知道说话人具体指的是什么。
本书介绍的“后台开发”指的是“服务端的网络程序开发”,从功能上可以具体描述为:服务器收到客户端发来的请求数据,解析请求数据后处理,最后返回结果,如图0-1所示。
图0-1 后台开发的步骤
这里的SERVER就是本书所指的“后台程序”,或者“服务器”。SERVER接收请求的方式既可以是通过TCP请求包,也可以是HTTP请求包(其实也是TCP连接)。如果是TCP请求,二进制的格式会常见一些;如果是HTTP方式的请求,请求包的格式一般是JSON或者XML,或者自定义的ASCII文本。解析请求包的方式自然是与请求包的格式相对应的,接收到的是什么格式的包,就用对应的格式解析(如果是自定义的格式,就按照自定义的方式去解析)。“处理请求”这一步是后台程序的具体业务逻辑的体现。很多封装好的后台框架会把其他三步都做好,但是这一步还是需要开发者自己去实现,因为只有开发者自己清楚,程序是要去做“登录”还是去做“注册”的事情。“输出回复包”和“接收请求包”是对应的,一般来说,收到的是JSON,那么回复的也是JSON,收到的是XML,那么发送的也是XML,其他格式也是一样的。这四个步骤是所有后台程序都会有的,无论使用什么语言去实现,都可以看到这四个步骤的影子。
CLIENT指的是向SERVER发起请求,并接收SERVER回复的一方,通常称为“客户端”。既然后台程序是通过TCP或者HTTP接收和回复消息的,那么只要是能够发起TCP或者HTTP连接的都可以作为客户端,可以是浏览器、PC端的程序、安卓应用、IOS应用,等等。
0.2 时间就是金钱,效率就是生命
上世纪80年代,在改革开放初期的深圳蛇口,为了加快蛇口港的建设,一块“时间就是金钱,效率就是生命”的巨幅标语矗立在蛇口工业区的马路边(如图0-2所示),拉开了特区建设的序幕。
图0-2 1981年矗立在深圳蛇口工业区的巨幅标语
其实这个口号后面还有两句:“安全就是法律,顾客就是皇帝”,这四句加一起,简直就是当今互联网时代科技公司安身立命的根本。互联网最讲究效率并且一切都从用户体验出发。在腾讯、百度和阿里这样的互联网公司里,每一次的版本发布都是和时间在赛跑。各种以效率为核心的开发团队合作模式被创造:敏捷开发、极限编程、SCRUM、结对编程,双周迭代,等等。
写下这些文字的时候是我在腾讯工作的第五个年头,这五年让我对效率有了更深刻的认识。还是一个学生的时候,和大家一样,我也曾一字不落地读过《UNIX环境高级编程》,《UNIX环境网络编程》一二三卷,《TCP/IP详解》一二三卷,《C++ Primer》等书籍,这些都是非常经典的开发书籍。它们的共同特点是大而全,不漏掉任何一个知识点,并且每个知识点都讲得非常详细。但在实际的开发工作中,可能用到的知识点只有20%,其他的80%则很少用到。这也是我写这本书的初衷:用最短的篇幅,讲解实际后台开发中用到的核心知识点,让读者可以快速进入到实际的开发工作中。
也许有读者会觉得这很急功近利,不利于组建完整的知识体系。其实,软件开发是一门讲究实操的技术,知道多少并不重要,重要的是能够用好多少。如果把一本经典书籍读3遍,但是没有写过一行代码,那可以认为是没有读。边写代码边读书才是最好的学习方式,在读一本技术书籍的时候,最好让自己快速进入写代码的状态,一边写代码,一边通读书籍,在具体需要用到书上某个技术点的时候,再回头仔细阅读相关的章节。在这个循环往复的过程中,才能把书上的知识点转化为自己的知识点。完成多个这样的循环后,再回过头来审视自己已经掌握的知识点,把一些没有掌握的知识点搞清楚。这样的学习过程实际上更有利于完善自己的知识体系。
0.3 后台开发的知识体系
接下来简单介绍一下后台开发的知识体系,也就是说,要完整掌握后台开发,需要掌握哪些知识点,这些知识点也是本书会讲解到的知识点。图0-3展示了对后台开发知识体系一个比较全面的梳理。
以上这六部分知识点会是本书将会覆盖的内容。与专门介绍某一类知识的书籍不同,比如《C++ Primer》介绍C++的方方面面,《UNIX环境编程》介绍UNIX环境编程的方方面面,本书从“实战”的角度出发,介绍“后台开发”需要用到的知识和工具。读完本书,读者可能不会对C++精通,不会对Linux精通,也不会对TCP/IP精通,但是却可以学会如何进行“后台开发”,这些“精通”可以一个个慢慢补全。
图0-3 后台开发工程师技术能力体系图
细心的读者可能会发现,编程语言和编辑器只是其中的一小部分,要把后台开发做好,需要掌握的东西比想象中的要多。同时,这些知识点既有一些纯理解性的内容,也有一些工具性的东西。这也是程序开发的最大特点,既要掌握理论的东西,也要掌握相应的工具,这样才能把理论的知识用起来。在实际开发中,这些工具性的知识可能更重要,因为理论是脑子里想的,但工具产生的东西才是真正的产出,才是开发者最终需要的。
0.4 如何阅读本书
本书以C++为编程语言,讲述后台开发的核心技术与应用实践。全书共13章,在逻辑上分为以下六部分:
第一部分为第1~3章,主要是编程语言方面的知识,包括函数、函数重载、函数模板、数组、指针、引用、结构体和预处理的使用;面向对象的介绍,包括类的使用、继承与派生和类的多态;常用STL的介绍,包括string、vector、map和set的使用方法与原理。如果读者已经对C++非常了解,可以跳过这部分,也可以配合《C++ Primer》一起阅读。
第二部分为第4~5章,主要是编译原理和调试方法相关的知识。编译原理相关知识包含编译与链接的具体过程,makefile的编写、目标文件的内容与处理目标文件相关工具的使用;调试方法相关内容主要介绍了用strace分析系统调用、用gdb调试进程与分析coredump文件、用top命令分析系统负载情况、用ps命令查看系统进程和用valgrind工具分析进程的内存使用情况等。
第三部分为第6~8章,主要是网络相关的知识,包括TCP协议的关键知识点和TCP server的实现,网络IO模型和select、poll与epoll三个重要函数的使用,还有ping、tcpdump、netstat和lsof这四个网络分析工具的使用。掌握这部分知识,读者可以自己独立实现能处理海量请求的TCP server。
第四部分为第9~11章,主要是多线程、进程和进程间通信相关的知识,包括多线程的使用、多线程的同步和重入问题,父子进程、僵尸进程、守护进程和进程间通信的方式。读者可以配合《UNIX环境高级编程》一起阅读。
第五部分是第12章,主要是HTTP协议的介绍与使用、CGI的设计原理与实现和FASTCGI的简单介绍。掌握这部分知
后台开发:核心技术与应用实践 下载 mobi epub pdf txt 电子书 格式