【译】gRPC负载均衡(gRPC博客)

2020-09-15

原文:Load Balancing in gRPC June 15, 2017 makdharma, Google
翻译整理: taofeiyang 译文连接:【译】gRPC负载均衡。转载请保留原文出处和译文译者和出处。

这篇文章描述了在部署gRPC时看到的各种负载平衡场景。如果您使用具有多个后端的gRPC，则此文档适合您。

大规模gRPC部署通常具有许多相同的后端实例和许多客户端。每个服务器都有一定的容量。负载平衡用于在可用服务器之间最佳地分配来自客户端的负载。

为何选用gRPC?

gRPC是在HTTP/2之上实现的现代RPC协议。HTTP/2是一个第7层(应用层)协议，运行在TCP协议(第4层-传输层)之上，TCP协议运行在IP协议(第3层-网络层)之上。与传统的HTTP/REST/JSON机制相比，gRPC有许多优点，例如:

二进制协议（HTTP/2）
在一个连接上多路复用多个请求(HTTP/2)
协议头压缩(HTTP/2)
强类型服务和消息定义(Protobuf)
多种语言的惯用客户端/服务器库实现

此外，gRPC与生态系统组件无缝集成，例如服务发现，名称解析器，负载平衡器，跟踪和监视等。

负载均衡选项

代理模式还是客户端模式？

注意：代理负载平衡在某些文献中也称为服务器端负载平衡

more >>

展开全文 >>

【译】gRPC负载均衡

2020-09-14

原文:Load Balancing in gRPC
翻译整理: taofeiyang 译文连接:【译】gRPC负载均衡。转载请保留原文出处和译文译者和出处。

范围

这篇文档解释了gRPC中的负载均衡设计

背景

基于每次调用的负载均衡

值得注意的是，gRPC中的负载平衡是基于每个调用，而不是基于每个连接。换句话说，即使所有请求都来自一个客户端，我们仍然希望它们在所有服务器上实现负载平衡。

负载均衡方法

在讨论gRPC细节之前，我们先探讨一些实现负载平衡的常用方法。

more >>

展开全文 >>

apue习题9.2

2020-08-31

UNIX环境高级编程第九章有如下一道习题

9.2 编写一段程序调用fork并使子进程建立一个新的会话。验证子进程变成了进程组组长且不再有控制终端。

下边给出博主的解答，仅供参考。

#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>

void
main()
{
    pid_t   pid, sid, gid;
    if((pid = fork()) < 0) {
        perror("fork error");
    } else if (pid > 0) { /*parent*/
        if((open("/dev/tty", 0)) == -1) {
            perror("没有控制终端，open /dev/tty 失败");
        } else {
            printf("父进程有控制终端，open /dev/tty 成功\n");
        }
        exit(0);
    } else { /*child*/
        if((sid = setsid()) == (pid_t) -1) {
            perror("setsid error");
        }
        if((gid = getpgrp()) == getpid()) {
            printf("子进程成为进程组组长\n");
        }
        //如果当前进程有控制终端(Controlling Terminal)的话，那么/dev/tty就是当前进程的控制终端的设备特殊文件
        if((open("/dev/tty", 0)) == -1) {
            perror("子进程没有控制终端，open /dev/tty 失败");
        }
    }
}

展开全文 >>

微服务那些事儿

2019-03-27

1.什么是微服务？

微服务 (Microservices) 是一种软件架构风格，它是以专注于单一责任与功能的小型功能区块 (Small Building Blocks) 为基础，利用模组化的方式组合出复杂的大型应用程序，各功能区块使用与语言无关 (Language-Independent/Language agnostic) 的 API 集相互通讯。

2014年，Martin Fowler 与 James Lewis 共同提出了微服务的概念，定义了微服务是由以单一应用程序构成的小服务，自己拥有自己的行程与轻量化处理，服务依业务功能设计，以全自动的方式部署，与其他服务使用 HTTP API 通讯。同时服务会使用最小的规模的集中管理 (例如 Docker) 能力，服务可以用不同的编程语言与数据库等元件实作[1]。

2.解决了什么问题？

2.1 传统的WEB应用核心

more >>

展开全文 >>

PHP对象与数组互相转换

2016-12-03

工作中不可避免会遇到php对象与数组的相互转化，下边对其方法做了简单的总结。

1.强制转化

arr = (array) obj; obj = (object) arr;

优点：比较简洁缺点：不能递归转化适用范围：无嵌套数组，无嵌套类的转化

2.自定义方法

object2array ，array2object

/*  对象转为数组 */
function object2array ($obj)
{
    $ret = array();
    foreach ($obj as $key => $value)
    {
        if (gettype($value) == "array" || gettype($value) == "object") {
            $ret[$key] = object2array($value);
        } else {
            $ret[$key] = $value;
        }
    }
    return $ret;
}
/*数组转对象 */
function array2object ($arr)
{
    if (gettype($arr) != 'array') {
        return;
    }
    foreach($arr as $k=>$v)
    {
        if (gettype($v) == 'array' || getType($v)=='object') {
            $arr[$k] = array2object($v);
        }
    }
    return (object) $arr;
}

优点：可以处理嵌套缺点：需添加对应函数到系统适用范围：ALL

3.利用内置函数

json_decode(json_encode(arr), false)

json_decode(json_encode(arr), true)

优点：简洁、可处理嵌套缺点：每次转化都是先执行一次json_encode,再执行一次json_decode，直观判断运行效率会低一些适用范围：ALL

特别注意：

1.arr = (array) obj;这种转换对象的方法，public、private、protected属性都能转化，而其他两种方法则只能转化public属性

2.无论哪种方法都是只转化类的属性，不转化类的方法

展开全文 >>

在vim中强制保存正在编辑的文件（即使当前没有写权限）

2016-11-25

linux操作环境中，我们经常会碰上这种情况：以普通用户vim编辑一个文件，改了许多地方后，发现无权限保存。命令”:w !sudo tee %”可以很好滴解决这个问题。下面我们简单分析一下

“:w !sudo tee %”这条命令的含义是把当前编辑的文件的内容当做标准输入输入到命令sudo tee 文件名里去，也就是sudo保存为当前文件名。查阅vim的文档（输入:help :w），会提到命令:w!{cmd}，让vim执行一个外部命令{cmd}，然后把当前缓冲区的内容从stdin传入。

tee是一个把stdin保存到文件的命令(tee指令会从标准输入设备读取数据，将其内容输出到标准输出设备，同时保存成文件)，而%，是vim当中一个只读寄存器的名字，总保存着当前编辑文件的文件路径。所以执行这个命令，就相当于从vim外部修改了当前编辑的文件.

修改自网络，如侵权请告知删除！

展开全文 >>

wordpress博客遇到的那些坑（二）谷歌字体

2016-10-23

如果你发现登录Wordpress异常缓慢，经常卡在fonts.googleapis.com，这是由于Wordpress加载了谷歌字体（代码位置在wordpress\wp-includes\script-loader.php第708行,我的版本是WordPress 4.4.2），而谷歌服务器大家都知道的原因国内访问困难，严重影响页面加载速度。

之前的解决方法是换成360的公共字体库，但现在360公共字体库已经停止访问。可以通过修改代码禁用谷歌字体，也可以通过安装‘Disable Google Fonts’插件来解决。插件的安装很简单，这里就不详细说明了。

展开全文 >>

wordpress博客遇到的那些坑（一）xmlrpc漏洞

2016-10-19

十一假期结束之后，发现自己的博客不时出现数据库连接失败，经检查是mysql停止运行了。之前出现过这样的情况，但是没有那么频繁，于是就写了一个检查mysql进程的脚本，如果mysql进程停止了，就自动启动mysql进程。但是这次的问题是，mysql刚一重启，没过多久就又挂了。

由于之前问题没这么严重，而十一期间有没有对博客做什么修改。我一度认为是阿里云的问题，不稳定或者逼低配置用户升级（我的阿里云是最低配置512M内存）。查看mysql的日志，里边报有pthread_create returned 11,在网上查了解决方案,修改了ulimit -s,ulimit -u却没有任何作用。后来查看内存（free -m）,只剩下可怜的3、4MB，由于是只有一个博客，实在不想去升级服务器。于是又按照网上的办法关闭了mysql的innodb引擎，依然无济于事。使用top命令查看，发现有很多个php-fpm进程，并且占据了大量内存。我尝试将php-fpm重启，发现很快又产生大量php-fpm进程，内存迅速被耗尽。尝试修改了php-fpm的配置，依然没有作用。

当我查看了nginx的访问日志之后，才真正找到问题所在，有一个IP不停地刷项目根目录下的xmlrpc.php文件，所以php-fpm的进程就会一直满负荷运行，将系统资源耗尽。

根据关键字xmlrpc.php百度了一下，原来这是攻击wordpress博客的一种常见方式，网上有三种解决方案，第一种是屏蔽 XML-RPC (pingback) 的功能，add_filter(‘xmlrpc_enabled’, ‘__return_false’);第二种方法就是通过.htaccess屏蔽xmlrpc.php文件的访问；第三种同样的是修改.htaccess文件，如果有用户访问xmlrpc.php文件，让其跳转到其他不存在的页面，降低自身网站的负担。

由于我的网站用不到xmlrpc的功能，所以我就简单暴力的把这个文件改了个名字，这样一来非法的访问就直接被nginx阻止了，问题得到解决，内存的占用一下就下来了。

展开全文 >>

在VIM中进行文本替换

2016-07-06

1.替换当前行中的内容： :s/from/to/ （s即substitude）

  :s/from/to/     ：  将当前行中的第一个from，替换成to。如果当前行含有多个
                      from，则只会替换其中的第一个。
  :s/from/to/g    ：  将当前行中的所有from都替换成to。
  :s/from/to/gc   ：  将当前行中的所有from都替换成to，但是每一次替换之前都
                      会询问请求用户确认此操作。

注意：这里的from和to都可以是任何字符串，其中from还可以是正则表达式。

2.替换某一行的内容： :33s/from/to/g

:.s/from/to/g   ：  在当前行进行替换操作。
:33s/from/to/g  ：  在第33行进行替换操作。
:$s/from/to/g   ：  在最后一行进行替换操作。

3. 替换某些行的内容： :10,20s/from/to/g

:10,20s/from/to/g   ：  对第10行到第20行的内容进行替换。
:1,$s/from/to/g     ：  对第一行到最后一行的内容进行替换（即全部文本）。
:1,.s/from/to/g     ：  对第一行到当前行的内容进行替换。
:.,$s/from/to/g     ：  对当前行到最后一行的内容进行替换。
:'a,'bs/from/to/g   ：  对标记a和b之间的行（含a和b所在的行）进行替换。
                        其中a和b是之前用m命令所做的标记。

4. 替换所有行的内容： :%s/from/to/g

:%s/from/to/g   ：  对所有行的内容进行替换。

5. 替换命令的完整形式： :[range]s/from/to/[flags]

s/from/to/

1	把from指定的字符串替换成to指定的字符串，from可以是正则表达式。

range
有以下一些表示方法：

不写range   ：  默认为光标所在的行。
.           ：  光标所在的行。
1           ：  第一行。
$           ：  最后一行。
33          ：  第33行。
'a          ：  标记a所在的行（之前要使用ma做过标记）。
.+1         ：  当前光标所在行的下面一行。
$-1         ：  倒数第二行。（这里说明我们可以对某一行加减某个数值来
                取得相对的行）。
22,33       ：  第22～33行。
1,$         ：  第1行 到 最后一行。
1,.         ：  第1行 到 当前行。
.,$         ：  当前行 到 最后一行。
'a,'b       ：  标记a所在的行 到 标记b所在的行。

%           ：  所有行（与 1,$ 等价）。

?chapter?   ：  从当前位置向上搜索，找到的第一个chapter所在的行。（
                其中chapter可以是任何字符串或者正则表达式。）
/chapter/   ：  从当前位置向下搜索，找到的第一个chapter所在的行。（
                其中chapter可以是任何字符串或者正则表达式。）

注意，上面的所有用于range的表示方法都可以通过 +、- 操作来设置相对偏
移量。

[flags]
这里可用的flags有：

无      ：  只对指定范围内的第一个匹配项进行替换。
g       ：  对指定范围内的所有匹配项进行替换。
c       ：  在替换前请求用户确认。
e       ：  忽略执行过程中的错误。
注意：上面的所有flags都可以组合起来使用，比如 gc 表示对指定范围内的所有匹配项进行替换，并且在每一次替换之前都会请用户确认。

展开全文 >>

vim中使用正则表达式

2016-07-02

一、使用正则表达式的命令

使用正则表达式的命令最常见的就是 / （搜索）命令。其格式如下：

/正则表达式
另一个很有用的命令就是 :s（替换）命令，将第一个//之间的正则表达式替换成第二个//之间的字符串。

:s/正则表达式/替换字符串/选项
在学习正则表达式时可以利用 / 命令来练习。

二、元字符

元字符是具有特殊意义的字符。使用元字符可以表达任意字符、行首、行尾、某几个字符等意义。

元字符一览

元字符    说明
.    匹配任意一个字符
[abc]    匹配方括号中的任意一个字符。可以使用-表示字符范围，
如[a-z0-9]匹 配小写字母和阿拉伯数字。
[^abc]    在方括号内开头使用^符号，表示匹配除方括号中字符之外的任意字符。
\d    匹配阿拉伯数字，等同于[0-9]。
\D    匹配阿拉伯数字之外的任意字符，等同于[^0-9]。
\x    匹配十六进制数字，等同于[0-9A-Fa-f]。
\X    匹配十六进制数字之外的任意字符，等同于[^0-9A-Fa-f]。
\w    匹配单词字母，等同于[0-9A-Za-z_]。
\W    匹配单词字母之外的任意字符，等同于[^0-9A-Za-z_]。
\t    匹配<TAB>字符。
\s    匹配空白字符，等同于[ \t]。
\S    匹配非空白字符，等同于[^ \t]。

查找字符 *、.、/等，则需要在前面用 \ 符号，表示这不是元字符，而只是普通字符

元字符    说明
\*    匹配 * 字符。
\.    匹配 . 字符。
\/    匹配 / 字符。
\\    匹配 \ 字符。
\[    匹配 [ 字符。

表示数量的元字符

元字符    说明
*    匹配0-任意个
\+    匹配1-任意个
\?    匹配0-1个
\{n,m}    匹配n-m个
\{n}    匹配n个
\{n,}    匹配n-任意个
\{,m}    匹配0-m个

表示位置的符号

元字符    说明
$    匹配行尾
^    匹配行首
\<    匹配单词词首
\>    匹配单词词尾

使用例

/char\s\+[A-Za-z_]\w*;                 " 查找所有以char开头，之后是一个以上的空白，
                                         最后是一个标识符和分号
/\d\d:\d\d:\d\d                        " 查找如 17:37:01 格式的时间字符串
:g/^\s*$/d                             " 删除只有空白的行
:s/\<four\>/4/g                        " 将所有的four替换成4，但是fourteen中的four不替换

三、替换变量

在正则表达式中使用 \( 和 \) 符号括起正则表达式，即可在后面使用\1、\2 等变量来访问 \( 和\) 中的内容。

使用例

/\(a\+\)[^a]\+\1

" 查找开头和结尾处a的个数相同，中间有1个或多个非a字符的字符串，如 aabbbaa，aaacccaaa，但是不匹配 abbbaa

:s/\(\w\+\)\s\+\(\w\+\)/\2\t\1                            

" 将 data1 data2 修改为 data2 data1

四、函数式

在替换命令 s/// 中可以使用函数表达式来书写替换内容，格式为

:s/替换字符串/\=函数式
在函数式中可以使用 submatch(1)、submatch(2) 等来引用 \1、\2 等的内容，而submatch(0)可以    引用匹配的整个内容。

使用例

:%s/\<id\>/\=line(".")                               " 将各行的 id 字符串替换为行号
:%s/\(\<\w\+\>\)/\=(line(".")-10) .".". submatch(1)  " 将每行开头的单词替换为 (    号-10).单词 的格式，" 如第11行的 word 替换成 1. word

五、与Perl正则表达式的区别

元字符的区别

Vim语法        Perl语法        含义
\+            +            1-任意个
\?            ?            0-1个
\{n,m}        {n,m}        n-m个
\(和\)        (和)            分组

注：参考自网络，侵权请告知

展开全文 >>