kong 插件调用mongodb kong plugins

Kong plugin 说明

Kong的官网中可以看到目前针对不同的需求提供了很多的插件，大部分都是开源版本，只有少部分是企业版

Kong的插件本身就是基于NGINX的一些属性，来做一些扩展，比如通过IP进行限流，通过IP来限制黑白名单等等，在实际业务中可能需要用到的扩展

Plugin IP Restriction 简单说明

IP Restriction就是通过设置IP白名单和黑名单，根据客户端IP来对一些请求进行拦截和防护，通过插件的源码可以看到其工作原理是，通过NGINX的变量binary_remote_addr以及设置的黑名单和白名单来进行限制，先看黑名单再看白名单，就是说白名单优先级更高一些，如果同时设置一个IP即在黑名单又在白名单列表，那么这个IP是可以进行访问的，代码如下：

-- E:\work\projects\kong\kong\plugins\ip-restriction\handler.lua
function IpRestrictionHandler:access(conf)
  IpRestrictionHandler.super.access(self)
  local block = false
  local binary_remote_addr = ngx.var.binary_remote_addr

  if not binary_remote_addr then
    return responses.send_HTTP_FORBIDDEN("Cannot identify the client IP address, unix domain sockets are not supported.")
  end

  if conf.blacklist and #conf.blacklist > 0 then
    block = iputils.binip_in_cidrs(binary_remote_addr, cidr_cache(conf.blacklist))
  end

  if conf.whitelist and #conf.whitelist > 0 then
    block = not iputils.binip_in_cidrs(binary_remote_addr, cidr_cache(conf.whitelist))
  end

  if block then
    return responses.send_HTTP_FORBIDDEN("Your IP address is not allowed")
  end
end

配置

配置插件的方式比较简单，插件可以设置到service上，可以设置到route上，0.13之前的也可以设置到api上，还有一些其他的组件也可以设置

我是设置到route上的，如果大家有其他需求可以到官网上查看文档，点击跳转官网

添加

curl -X POST http://localhost:8001/routes/b01067c3-2537-45c8-be41-a80082c8bff3/plugins \
--data "name=ip-restriction" \
--data "config.whitelist=172.17.83.176, 172.17.83.177"

给ID为b01067c3-2537-45c8-be41-a80082c8bff3增加ip-restriction插件

修改

curl -X PATCH http://localhost:8001/routes/b01067c3-2537-45c8-be41-a80082c8bff3/plugins \
--data "name=ip-restriction" \
--data "config.whitelist=172.17.83.177"

查看

curl -i --url http://localhost:8001/plugins

# 结果
{
    "total": 1,
    "data": [{
        "created_at": 1531446541000,
        "config": {
            "whitelist": ["172.17.83.177"]
        },
        "id": "ed6d0fb3-1dd6-4bc8-8712-75d338c2bda9",
        "name": "ip-restriction",
        "enabled": true,
        "route_id": "b01067c3-2537-45c8-be41-a80082c8bff3"
    }]
}

删除

curl -X DELETE --url http://localhost:8001/plugins/bf95c7e8-bcd2-460a-a18b-bd1a309d7578/

想象中是配置完成之后，应该立马就可以使用了。
然后我分别从两个服务器上进行了测试，期望的结果应该是除了172.17.83.177这台服务器之外，应该都不可以用。
但是发起结果其实并不是这个样子，而是所有的都可以继续访问。
排查发现，我的Kong节点是部署在NGINX之后，通过NGINX反向代理到Kong节点的，我的NGINX反向代理节点部署在172.17.83.177。
所以说最终无论从哪儿访问，而Kong看到的节点就是177，所以最终发现无论从哪台服务器访问都是可以的，这显然是不符合我们的预期，经过查找资料找到解决方案，我们下节就重点描述此部分。

复杂配置

解决方案

首先说一下上节中提到的问题，读IP Restriction源码可以发现，他是用ngx.var.binary_remote_addr来识别出客户端IP地址的，我们从NGINX可以了解到，这个地址通过代理之后，就已经发生了变化，这就是导致我们获得的地址都是我们代理的地址，所以就失去了原本的意义。

所以我们显然要做的就是将ngx.var.binary_remote_addr变为客户端的地址就能解决问题。

通过查找资料发现kong的版本中的变化，已经如何获得客户端真实的IP地址。

在0.11版本之后，Kong会设置X-Forwarded-For头，所以在这里会记录下所有的请求信息，所以我们也要在代理中也进行设置X-Forwarded-For头，这样才能保证Kong中可以得到最原始的信息，所以解决这个问题的方法就是依靠NGINX 的ngx_http_realip_module，该模块已经在Kong的官方发行包中。此模块X-Forwarded-For根据我们配置的规则正确解析请求头。

Kong公开的配置文件，我们可以看到（trusted_ips，real_ip_header 和real_ip_recursive）属性，它们抽象出NGINX模块的同名指令，通过设置这些属性，我们就可以得到客户端的真实地址

ngx_http_realip_module会更新NGINX的$remote_addr变量来包含客户端IP。

IP限制插件使用ngx.var.binary_remote_addr，该变量也由realip模块更新。

在0.11之前，X-Forwarded-For来自任何来源的Kong请求头（默认情况下）。

从0.11开始，Kong默认不会信任来自任何来源的请求头，所以需要通过我们的设置来完成信任。

在我们使用反向代理或者负载均衡时，需要设置Kong提供的属性（trusted_ips，real_ip_header 和real_ip_recursive），以及我们自己的NGINX反向代理或者负载均衡时要设置的请求头[X-Forwarded-For]，下面就分成两部分设置来解决此问题。

NGINX 反向代理配置

这一步比较简单，就是要将客户端的IP地址收集到请求头X-Forwarded-For中，不管有多少层代理，这个请求头中会记录整个请求的声明周期，就是讲每次的IP地址都放在X-Forwarded-For中，然后使用逗号进行分隔，所以最终Kong只需要在取第一项即可，重点的配置如下：

location ~ /(\w+) {
 proxy_set_header Host $http_host;
    proxy_redirect off;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Scheme $scheme;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://172.17.83.176:8000;
    expires -1;
}

重点就是 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

通过docker启动kong命令设置nginx-kong.conf

• 启动命令

docker run -d --name kong \
-e "KONG_TRUSTED_IPS=0.0.0.0/0,::/0" \
-e "KONG_REAL_IP_HEADER=X-Forwarded-For" \
-e "KONG_DATABASE=postgres" \
-e "KONG_PG_HOST=192.168.1.94"  \
-e "KONG_CASSANDRA_CONTACT_POINTS=kong-database" \
-e "KONG_PROXY_ACCESS_LOG=logs/proxy_access.log"  \
-e "KONG_ADMIN_ACCESS_LOG=logs/admin_access.log" \
-e "KONG_PROXY_ERROR_LOG=logs/proxy_error.log" \
-e "KONG_ADMIN_ERROR_LOG=logs/admin_error.log" \
-e "KONG_ADMIN_LISTEN=0.0.0.0:8001, 0.0.0.0:8444 ssl" \
-p 8000:8000  \
-p 8443:8443  \
-p 8001:8001  \
-p 8444:8444  \
kong:latest

划重点

-e “KONG_TRUSTED_IPS=0.0.0.0/0,::/0”
-e “KONG_REAL_IP_HEADER=X-Forwarded-For”

trusted_ips和real_ip_header是kong需要的一些参数，这里有些参数最终会映射到nginx-kong.conf文件中，可以从kong的配置文件中可以看到其类型

trusted_ips表示信任的地址，如果是所有的地址都信任，可以配置为0.0.0.0/0,::/0
real_ip_header表示的是

-- E:\work\projects\kong\kong\templates\kong_defaults.lua
return [[
prefix = /usr/local/kong/
log_level = notice
proxy_access_log = logs/access.log
proxy_error_log = logs/error.log
admin_access_log = logs/admin_access.log
admin_error_log = logs/error.log
plugins = bundled
custom_plugins = NONE
anonymous_reports = on

proxy_listen = 0.0.0.0:8000, 0.0.0.0:8443 ssl
admin_listen = 127.0.0.1:8001, 127.0.0.1:8444 ssl
nginx_user = nobody nobody
nginx_worker_processes = auto
nginx_optimizations = on
nginx_daemon = on
mem_cache_size = 128m
ssl_cert = NONE
ssl_cert_key = NONE
client_ssl = off
client_ssl_cert = NONE
client_ssl_cert_key = NONE
ssl_cipher_suite = modern
ssl_ciphers = ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256
admin_ssl_cert = NONE
admin_ssl_cert_key = NONE
upstream_keepalive = 60
headers = server_tokens, latency_tokens
trusted_ips = NONE
real_ip_header = X-Real-IP
real_ip_recursive = off
client_max_body_size = 0
client_body_buffer_size = 8k
error_default_type = text/plain

database = postgres
pg_host = 127.0.0.1
pg_port = 5432
pg_database = kong
pg_user = kong
pg_password = NONE
pg_ssl = off
pg_ssl_verify = off
cassandra_contact_points = 127.0.0.1
cassandra_port = 9042
cassandra_keyspace = kong
cassandra_timeout = 5000
cassandra_ssl = off
cassandra_ssl_verify = off
cassandra_username = kong
cassandra_password = NONE
cassandra_consistency = ONE
cassandra_lb_policy = RoundRobin
cassandra_local_datacenter = NONE
cassandra_repl_strategy = SimpleStrategy
cassandra_repl_factor = 1
cassandra_data_centers = dc1:2,dc2:3
cassandra_schema_consensus_timeout = 10000

db_update_frequency = 5
db_update_propagation = 0
db_cache_ttl = 0
db_resurrect_ttl = 30

dns_resolver = NONE
dns_hostsfile = /etc/hosts
dns_order = LAST,SRV,A,CNAME
dns_stale_ttl = 4
dns_not_found_ttl = 30
dns_error_ttl = 1
dns_no_sync = off

lua_socket_pool_size = 30
lua_ssl_trusted_certificate = NONE
lua_ssl_verify_depth = 1
lua_package_path = ./?.lua;./?/init.lua;
lua_package_cpath = NONE
]]

注意：

这里面的参数，都可以在使用docker启动时，通过-e的方式传递进去，前提是要在这个参数的名字之前加上前缀KONG_*，并且全部是大写

• nginx-kong.conf

我们使用docker启动后，nginx-kong.conf的内容已经设置为我们命令中指定的参数

charset UTF-8;

error_log syslog:server=kong-hf.mashape.com:61828 error;

error_log logs/proxy_error.log notice;


client_max_body_size 0;
proxy_ssl_server_name on;
underscores_in_headers on;

lua_package_path './?.lua;./?/init.lua;;;';
lua_package_cpath ';;';
lua_socket_pool_size 30;
lua_max_running_timers 4096;
lua_max_pending_timers 16384;
lua_shared_dict kong                5m;
lua_shared_dict kong_cache          128m;
lua_shared_dict kong_db_cache_miss 12m;
lua_shared_dict kong_process_events 5m;
lua_shared_dict kong_cluster_events 5m;
lua_shared_dict kong_healthchecks   5m;
lua_shared_dict kong_rate_limiting_counters 12m;
lua_socket_log_errors off;

init_by_lua_block {
    kong = require 'kong'
    kong.init()
}

init_worker_by_lua_block {
    kong.init_worker()
}


upstream kong_upstream {
    server 0.0.0.1;
    balancer_by_lua_block {
        kong.balancer()
    }
    keepalive 60;
}

server {
    server_name kong;
    listen 0.0.0.0:8000;
    listen 0.0.0.0:8443 ssl;
    error_page 400 404 408 411 412 413 414 417 494 /kong_error_handler;
    error_page 500 502 503 504 /kong_error_handler;

    access_log logs/proxy_access.log;
    error_log logs/proxy_error.log notice;

    client_body_buffer_size 8k;

    ssl_certificate /usr/local/kong/ssl/kong-default.crt;
    ssl_certificate_key /usr/local/kong/ssl/kong-default.key;
    ssl_protocols TLSv1.1 TLSv1.2;
    ssl_certificate_by_lua_block {
        kong.ssl_certificate()
    }

    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 10m;
    ssl_prefer_server_ciphers on;
    ssl_ciphers ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA3


    real_ip_header     X-Forwarded-For;
    real_ip_recursive  on;
    set_real_ip_from   0.0.0.0/0;                       
    set_real_ip_from   ::/0;

    location / {
        set $upstream_host               '';
        set $upstream_upgrade            '';
        set $upstream_connection         '';
        set $upstream_scheme             '';
        set $upstream_uri                '';
        set $upstream_x_forwarded_for    '';
        set $upstream_x_forwarded_proto  '';
        set $upstream_x_forwarded_host   '';
        set $upstream_x_forwarded_port   '';

        rewrite_by_lua_block {         
            kong.rewrite()               
        }                              

        access_by_lua_block {          
            kong.access()              
        }                                       

        proxy_http_version 1.1;
        proxy_set_header   Host              $upstream_host;
        proxy_set_header   Upgrade           $upstream_upgrade;
        proxy_set_header   Connection        $upstream_connection;
        proxy_set_header   X-Forwarded-For   $upstream_x_forwarded_for;
        proxy_set_header   X-Forwarded-Proto $upstream_x_forwarded_proto;
        proxy_set_header   X-Forwarded-Host  $upstream_x_forwarded_host;
        proxy_set_header   X-Forwarded-Port  $upstream_x_forwarded_port;
        proxy_set_header   X-Real-IP         $remote_addr;
        proxy_pass_header  Server;
        proxy_pass_header  Date;
        proxy_ssl_name     $upstream_host;
        proxy_pass         $upstream_scheme://kong_upstream$upstream_uri;

        header_filter_by_lua_block {
            kong.header_filter()
        }        

        body_filter_by_lua_block {
            kong.body_filter()
        }            

        log_by_lua_block {  
            kong.log()                                                 
        }                                          
    }

    location = /kong_error_handler {      
        internal;
        content_by_lua_block { 
            kong.handle_error()
        }                                                
    }                                                        
}                                 

server {                      
    server_name kong_admin;
    listen 0.0.0.0:8001;
    listen 0.0.0.0:8444 ssl;         

    access_log logs/admin_access.log;
    error_log logs/admin_error.log notice;                                                                                                                                                                                                   

    client_max_body_size 10m;
    client_body_buffer_size 10m;   
    ssl_certificate /usr/local/kong/ssl/admin-kong-default.crt;
    ssl_certificate_key /usr/local/kong/ssl/admin-kong-default.key;
    ssl_protocols TLSv1.1 TLSv1.2;    

    ssl_session_cache shared:SSL:10m;       
    ssl_session_timeout 10m;                
    ssl_prefer_server_ciphers on;           
    ssl_ciphers ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA3

    location / {                            
        default_type application/json;      
        content_by_lua_block {              
            kong.serve_admin_api()          
        }                    
    }                                  

    location /nginx_status {           
        internal;                      
        access_log off;                
        stub_status;                   
    }                                           

    location /robots.txt {     
        return 200 'User-agent: *\nDisallow: /';            
    }                                                          
}