发表于2024-11-21
多年编写生产环境下多线程服务端程序经验之精华,示范在多核时代采用现代C++编写多线程TCP网络服务器的正规做法
《Linux多线程服务端编程 使用muduoC++网络库》主要讲述采用现代C++在x86-64Linux上编写多线程TCP网络服务程序的主流常规技术,重点讲解一种适应性较强的多线程服务器的编程模型,即oneloopperthread。这是在Linux下以native语言编写用户态高性能网络程序成熟的模式,掌握之后可顺利地开发各类常见的服务端网络应用程序。本书以muduo网络库为例,讲解这种编程模型的使用方法及注意事项。
《Linux多线程服务端编程 使用muduoC++网络库》的宗旨是贵精不贵多。掌握两种基本的同步原语就可以满足各种多线程同步的功能需求,还能写出更易用的同步设施。掌握一种进程间通信方式和一种多线程网络编程模型就足以应对日常开发任务,编写运行于公司内网环境的分布式服务系统。
陈硕,北京师范大学硕士,擅长C++ 多线程网络编程和实时分布式系统架构。曾在摩根士丹利IT 部门工作5 年,从事实时外汇交易系统开发。现在在美国加州硅谷某互联网大公司工作,从事大规模分布式系统的可靠性工程。编写了开源C++ 网络库muduo,参与翻译了《代码大全(第2 版)》和《C++ 编程规范(繁体版)》,整理了《C++ Primer (第4 版)(评注版)》,并曾多次在各地技术大会演讲。
第1 部分 C++ 多线程系统编程
第1 章 线程安全的对象生命期管理
1.1 当析构函数遇到多线程
1.1.1 线程安全的定义
1.1.2 MutexLock 与MutexLockGuard
1.1.3 一个线程安全的Counter 示例
1.2 对象的创建很简单.
1.3 销毁太难
1.3.1 mutex 不是办法
1.3.2 作为数据成员的mutex 不能保护析构.
1.4 线程安全的Observer 有多难.
1.5 原始指针有何不妥.
1.6 神器shared_ptr/weak_ptr
1.7 插曲:系统地避免各种指针错误.
1.8 应用到Observer 上
1.9 再论shared_ptr 的线程安全.
1.10 shared_ptr 技术与陷阱
1.11 对象池.
1.11.1 enable_shared_from_this
1.11.2 弱回调.
1.12 替代方案
1.13 心得与小结.
1.14 Observer 之谬.
第2 章 线程同步精要
2.1 互斥器(mutex) .
2.1.1 只使用非递归的mutex
2.1.2 死锁
2.2 条件变量(condition variable) .
2.3 不要用读写锁和信号量
2.4 封装MutexLock、MutexLockGuard、Condition
2.5 线程安全的Singleton 实现
2.6 sleep(3) 不是同步原语
2.7 归纳与总结.
2.8 借shared_ptr 实现copy-on-write
第3 章 多线程服务器的适用场合与常用编程模型
3.1 进程与线程.
3.2 单线程服务器的常用编程模型
3.3 多线程服务器的常用编程模型
3.3.1 one loop per thread
3.3.2 线程池.
3.3.3 推荐模式
3.4 进程间通信只用TCP .
3.5 多线程服务器的适用场合.
3.5.1 必须用单线程的场合.
3.5.2 单线程程序的优缺点.
3.5.3 适用多线程程序的场景
3.6 “多线程服务器的适用场合”例释与答疑
第4 章 C++ 多线程系统编程精要
4.1 基本线程原语的选用.
4.2 C/C++ 系统库的线程安全性.
4.3 Linux 上的线程标识
4.4 线程的创建与销毁的守则.
4.4.1 pthread_cancel 与C++ .
4.4.2 exit(3) 在C++ 中不是线程安全的.
4.5 善用__thread 关键字.
4.6 多线程与IO
4.7 用RAII 包装文件描述符.
4.8 RAII 与fork() .
4.9 多线程与fork() .
4.10 多线程与signal
4.11 Linux 新增系统调用的启示
第5 章 高效的多线程日志
5.1 功能需求
5.2 性能需求
5.3 多线程异步日志
5.4 其他方案
第2 部分 muduo 网络库
第6 章 muduo 网络库简介
6.1 由来.
6.2 安装.
6.3 目录结构
6.3.1 代码结构
6.3.2 例子
6.3.3 线程模型
6.4 使用教程
6.4.1 TCP 网络编程本质论.
6.4.2 echo 服务的实现.
6.4.3 七步实现finger 服务.
6.5 性能评测
6.5.1 muduo 与Boost.Asio、libevent2 的吞吐量对比
6.5.2 击鼓传花:对比muduo 与libevent2 的事件处理效率
6.5.3 muduo 与Nginx 的吞吐量对比.
6.5.4 muduo 与ZeroMQ 的延迟对比.
6.6 详解muduo 多线程模型.
6.6.1 数独求解服务器
6.6.2 常见的并发网络服务程序设计方案.
第7 章 muduo 编程示例
7.1 五个简单TCP 示例
7.2 文件传输
7.3 Boost.Asio 的聊天服务器.
7.3.1 TCP 分包
7.3.2 消息格式
7.3.3 编解码器LengthHeaderCodec
7.3.4 服务端的实现.
7.3.5 客户端的实现.
7.4 muduo Buffer 类的设计与使用.
7.4.1 muduo 的IO 模型
7.4.2 为什么non-blocking 网络编程中应用层buffer 是必需的
7.4.3 Buffer 的功能需求
7.4.4 Buffer 的数据结构
7.4.5 Buffer 的操作.
7.4.6 其他设计方案.
7.4.7 性能是不是问题
7.5 一种自动反射消息类型的Google Protobuf 网络传输方案
7.5.1 网络编程中使用Protobuf 的两个先决条件.
7.5.2 根据type name 反射自动创建Message 对象
7.5.3 Protobuf 传输格式
7.6 在muduo 中实现Protobuf 编解码器与消息分发器
7.6.1 什么是编解码器(codec)
7.6.2 实现ProtobufCodec .
7.6.3 消息分发器(dispatcher)有什么用
7.6.4 ProtobufCodec 与ProtobufDispatcher 的综合运用.
7.6.5 ProtobufDispatcher 的两种实现
7.6.6 ProtobufCodec 和ProtobufDispatcher 有何意义.
7.7 限制服务器的最大并发连接数
7.7.1 为什么要限制并发连接数
7.7.2 在muduo 中限制并发连接数
7.8 定时器.
7.8.1 程序中的时间.
7.8.2 Linux 时间函数
7.8.3 muduo 的定时器接口.
7.8.4 Boost.Asio Timer 示例
7.8.5 Java Netty 示例
7.9 测量两台机器的网络延迟和时间差.
7.10 用timing wheel 踢掉空闲连接
7.10.1 timing wheel 原理
7.10.2 代码实现与改进
7.11 简单的消息广播服务.
7.12 “串并转换”连接服务器及其自动化测试
7.13 socks4a 代理服务器
7.13.1 TCP 中继器
7.13.2 socks4a 代理服务器
7.13.3 N : 1 与1 : N 连接转发
7.14 短址服务
7.15 与其他库集成.
7.15.1 UDNS .
7.15.2 c-ares DNS .
7.15.3 curl .
7.15.4 更多
第8 章 muduo 网络库设计与实现
8.0 什么都不做的EventLoop .
8.1 Reactor 的关键结构
8.1.1 Channel class .
8.1.2 Poller class
8.1.3 EventLoop 的改动.
8.2 TimerQueue 定时器
8.2.1 TimerQueue class .
8.2.2 EventLoop 的改动.
8.3 EventLoop::runInLoop() 函数
8.3.1 提高TimerQueue 的线程安全性.
8.3.2 EventLoopThread class
8.4 实现TCP 网络库
8.5 TcpServer 接受新连接
8.5.1 TcpServer class
8.5.2 TcpConnection class .
8.6 TcpConnection 断开连接.
8.7 Buffer 读取数据
8.7.1 TcpConnection 使用Buffer 作为输入缓冲.
8.7.2 Buffer::readFd()
8.8 TcpConnection 发送数据.
8.9 完善TcpConnection
8.9.1 SIGPIPE
8.9.2 TCP No Delay 和TCP keepalive
8.9.3 WriteCompleteCallback 和HighWaterMarkCallback .
8.10 多线程TcpServer .
8.11 Connector .
8.12 TcpClient .
8.13 epoll
8.14 测试程序一览.
第3 部分 工程实践经验谈
第9 章 分布式系统工程实践
9.1 我们在技术浪潮中的位置.
9.1.1 分布式系统的本质困难
9.1.2 分布式系统是个险恶的问题.
9.2 分布式系统的可靠性浅说.
9.2.1 分布式系统的软件不要求7 24 可靠
9.2.2 “能随时重启进程”作为程序设计目标.
9.3 分布式系统中心跳协议的设计
9.4 分布式系统中的进程标识.
9.4.1 错误做法
9.4.2 正确做法
9.4.3 TCP 协议的启示
9.5 构建易于维护的分布式程序.
9.6 为系统演化做准备.
9.6.1 可扩展的消息格式
9.6.2 反面教材:ICE 的消息打包格式.
9.7 分布式程序的自动化回归测试
9.7.1 单元测试的能与不能.
9.7.2 分布式系统测试的要点
9.7.3 分布式系统的抽象观点
9.7.4 一种自动化的回归测试方案.
9.7.5 其他用处
9.8 分布式系统部署、监控与进程管理的几重境界.
9.8.1 境界1:全手工操作.
9.8.2 境界2:使用零散的自动化脚本和第三方组件.
9.8.3 境界3:自制机群管理系统,集中化配置.
9.8.4 境界4:机群管理与naming service 结合.
第10 章 C++ 编译链接模型精要
10.1 C 语言的编译模型及其成因.
10.1.1 为什么C 语言需要预处理
10.1.2 C 语言的编译模型.
10.2 C++ 的编译模型
10.2.1 单遍编译
10.2.2 前向声明
10.3 C++ 链接(linking) .
10.3.1 函数重载
10.3.2 inline 函数.
10.3.3 模板
10.3.4 虚函数.
10.4 工程项目中头文件的使用规则
10.4.1 头文件的害处.
10.4.2 头文件的使用规则
10.5 工程项目中库文件的组织原则
10.5.1 动态库是有害的
10.5.2 静态库也好不到哪儿去
10.5.3 源码编译是王道
第11 章 反思C++ 面向对象与虚函数
11.1 朴实的C++ 设计
11.2 程序库的二进制兼容性
11.2.1 什么是二进制兼容性.
11.2.2 有哪些情况会破坏库的ABI .
11.2.3 哪些做法多半是安全的
11.2.4 反面教材:COM .
11.2.5 解决办法
11.3 避免使用虚函数作为库的接口
11.3.1 C++ 程序库的作者的生存环境
11.3.2 虚函数作为库的接口的两大用途
11.3.3 虚函数作为接口的弊端
11.3.4 假如Linux 系统调用以COM 接口方式实现
11.3.5 Java 是如何应对的
11.4 动态库接口的推荐做法
11.5 以boost::function 和boost::bind 取代虚函数.
11.5.1 基本用途
11.5.2 对程序库的影响
11.5.3 对面向对象程序设计的影响.
11.6 iostream 的用途与局限
11.6.1 stdio 格式化输入输出的缺点.
11.6.2 iostream 的设计初衷.
11.6.3 iostream 与标准库其他组件的交互.
11.6.4 iostream 在使用方面的缺点.
11.6.5 iostream 在设计方面的缺点.
11.6.6 一个300 行的memory buffer output stream .
11.6.7 现实的C++ 程序如何做文件IO .
11.7 值语义与数据抽象.
11.7.1 什么是值语义.
11.7.2 值语义与生命期
11.7.3 值语义与标准库
11.7.4 值语义与C++ 语言
11.7.5 什么是数据抽象
11.7.6 数据抽象所需的语言设施
11.7.7 数据抽象的例子
第12 章 C++ 经验谈
12.1 用异或来交换变量是错误的.
12.1.1 编译器会分别生成什么代码.
12.1.2 为什么短的代码不一定快
12.2 不要重载全局::operator new()
12.2.1 内存管理的基本要求.
12.2.2 重载::operator new() 的理由.
12.2.3 ::operator new() 的两种重载方式.
12.2.4 现实的开发环境
12.2.5 重载::operator new() 的困境.
12.2.6 解决办法:替换malloc()
12.2.7 为单独的class 重载::operator new() 有问题吗.
12.2.8 有必要自行定制内存分配器吗
12.3 带符号整数的除法与余数.
12.3.1 语言标准怎么说
12.3.2 C/C++ 编译器的表现.
12.3.3 其他语言的规定
12.3.4 脚本语言解释器代码.
12.3.5 硬件实现
12.4 在单元测试中mock 系统调用
12.4.1 系统函数的依赖注入.
12.4.2 链接期垫片(link seam)
12.5 慎用匿名namespace .
12.5.1 C 语言的static 关键字的两种用法.
12.5.2 C++ 语言的static 关键字的四种用法
12.5.3 匿名namespace 的不利之处.
12.5.4 替代办法
12.6 采用有利于版本管理的代码格式.
12.6.1 对diff 友好的代码格式
12.6.2 对grep 友好的代码风格.
12.6.3 一切为了效率.
12.7 再探std::string .
12.7.1 直接拷贝(eager copy) .
12.7.2 写时复制(copy-on-write) .
12.7.3 短字符串优化(SSO)
12.8 用STL algorithm 轻松解决几道算法面试题
12.8.1 用next_permutation() 生成排列与组合
12.8.2 用unique() 去除连续重复空白.
12.8.3 用{make,push,pop}_heap() 实现多路归并
12.8.4 用partition() 实现“重排数组,让奇数位于偶数前面”
12.8.5 用lower_bound() 查找IP 地址所属的城市.
第4 部分 附录
附录A 谈一谈网络编程学习经验
附录B 从《C++ Primer(第4 版)》入手学习C++
附录C 关于Boost 的看法
附录D 关于TCP 并发连接的几个思考题与试验
附录A
谈一谈网络编程学习经验
本文谈一谈我在学习网络编程方面的一些个人经验。“网络编程”这个术语的范围很广,本文指用Sockets API 开发基于TCP/IP 的网络应用程序,具体定义见§A.1.5 “网络编程的各种任务角色”。
受限于本人的经历和经验,本附录的适应范围是:
x86-64 Linux 服务端网络编程,直接或间接使用Sockets API。
公司内网。不一定是局域网,但总体位于公司防火墙之内,环境可控。
本文可能不适合:
PC 客户端网络编程,程序运行在客户的PC 上,环境多变且不可控。
Windows 网络编程。
面向公网的服务程序。
高性能网络服务器。
本文分两个部分:
1. 网络编程的一些“胡思乱想”,以自问自答的形式谈谈我对这一领域的认识。
2. 几本必看的书,基本上还是W. Richard Stevents 的那几本。
另外,本文没有特别说明时均暗指TCP 协议,“连接”是“TCP 连接”,“服务
端”是“TCP 服务端”。
A.1 网络编程的一些“胡思乱想”
以下大致列出我对网络编程的一些想法,前后无关联。
A.1.1 网络编程是什么
网络编程是什么?是熟练使用Sockets API 吗?说实话,在实际项目里我只用过
两次Sockets API,其他时候都是使用封装好的网络库。
第一次是2005 年在学校做一个羽毛球赛场计分系统:我用C# 编写运行在PC上的软件,负责比分的显示;再用C# 写了运行在PDA 上的计分界面,记分员拿着PDA 记录比分;这两部分程序通过TCP 协议相互通信。这其实是个简单的分布式系统,体育馆有几片场地,每个场地都有一名拿PDA 的记分员,每个场地都有两台显示比分的PC (显示器是42 寸平板电视,放在场地的对角,这样两边看台的观众都能看到比分)。这两台PC 的功能不完全一样,一台只负责显示当前比分,另一台还要负责与PDA 通信,并更新数据库里的比分信息。此外,还有一台PC 负责周期性地从数据库读出全部7 片场地的比分,显示在体育馆墙上的大屏幕上。这台PC 上还运行
Linux多线程服务端编程 使用muduo C++网络库 下载 mobi epub pdf txt 电子书 格式
Linux多线程服务端编程 使用muduo C++网络库 下载 mobi pdf epub txt 电子书 格式 2024
Linux多线程服务端编程 使用muduo C++网络库 下载 mobi epub pdf 电子书很好很不错的一本书。很喜欢
评分内容不错,是正版,努力学习中
评分多年编写生产环境下多线程服务端程序经验之精华,示范在多核时代采用现代C++编写多线程TCP网络服务器的正规做法
评分想通过这本书进一步学习C++
评分写得太杂,作者有点自以为是,不是很好的书
评分好好好一本好书呵呵红红火火恍恍惚惚
评分学习多线程的好书,看书是提升最好的方式。
评分⊂ ⊂ )
评分此用户未及时评价,系统默认好评。
Linux多线程服务端编程 使用muduo C++网络库 mobi epub pdf txt 电子书 格式下载 2024