本文來自Rancher Labs
介 紹
在Kubernetes 1.14版本中已經GA了對Windows的支持，這一結果凝結了一群優秀的工程師的努力，他們來自微軟、Pivotal、VMware、紅帽以及現在已經關閉的Apprenda等幾家公司，我在Apprenda作業時，不定時會為sig-windows社區做出一些貢獻，即便現在在Rancher Labs任職，也一直關注它的動向，所以當公司決定在Rancher中增加對Windows支持時，我極為興奮，
Rancher 2.3已于本月月初發布，這是首個GA支持Windows容器的Kubernetes管理平臺，它極大降低了企業使用Windows容器的復雜性，并為基于Windows遺留應用程式的現代化提供快捷的途徑——無論這些程式是在本地運行還是在多云環境中運行，此外，Rancher 2.3還可以將它們容器化并將其轉換為高效、安全和可遷移的多云應用程式，從而省去重寫應用程式的作業，
在本文中，我們將在運行RKE的Kubernetes集群之上配置Rancher集群，我們也將會配置同時支持Linux和Windows容器的集群，完成配置后，我們將聊聊作業系統的定位，因為Kubernetes scheduler需要指導各種Linux和Windows容器在啟動時的部署位置，
我們的目標是以完全自動化的方式執行這一操作，由于Rancher 2.3目前尚未stable，因此這無法在生產環境中使用，但如果你正需要使用Azure和Rancher來完成基礎架構自動化，那么這對你們的團隊而言將會是一個良好的開端，退一萬步而言，即使你不使用Azure，在本例中的許多概念和代碼都可以應用于其他環境中，
考慮因素
Windows vs. Linux
在我們正式開始之前，我需要告知你許多注意事項和“陷阱”，首先，最顯而易見的就是：Windows不是Linux，Windows新增了支持網路網格中的容器化應用程式所需的子系統，它們是Windows作業系統專有的，由Windows主機網路服務和Windows主機計算服務實作，作業系統以及底層容器運行時的配置、故障排除以及運維維護將會有顯著區別，而且，Windows節點收到Windows Server licensing的約束，容器鏡像也受Windows容器的補充許可條款的約束，
Windows OS版本
WindowsOS版本需要系結到特定的容器鏡像版本，這是Windows獨有的，使用Hyper-V隔離可以克服這一問題，但是從Kubernetes 1.16開始，Kubernetes不支持Hyper-V隔離，因此，Kubernetes和Rancher僅能在Windows Server 1809/Windows Server 2019以及Windows Server containers Builds 17763 以及Docker EE-basic 18.09之前的版本中運行，
持久性支持和CSI插件
Kubernetes 1.16版本以來，CSI插件支持alpha版本，Windows節點支持大量的in-tree和flex volume，
CNI插件
Rancher 支持僅限于flannel提供的主機網關（L2Bridge）和VXLAN（Overlay）網路支持，在我們的方案中，我們將利用默認的VXLAN，因為當節點并不都在同一個網路上時，主機網關選項需要User Defined Routes配置，這取決于提供商，所以我們將利用VXLAN功能的簡單性，根據Kubernetes檔案，這是alpha級別的支持，當前沒有支持Kubernetes網路策略API的開源Windows網路插件，
其他限制
請確保你已經閱讀了Kubernetes檔案，因為在Windows容器中有許多功能無法實作，或者其功能和Linux中的相同功能實作方式有所不同，
Kubernetes檔案：
https://kubernetes.io/docs/setup/production-environment/windows/intro-windows-in-kubernetes/#limitations
基礎架構即代碼
自動化是實作DevOps的第一種方式，我們將自動化我們的Rancher集群和要在該集群中配置的Azure節點的基礎架構，
Terraform
Terraform是一個開源的基礎架構自動化編排工具，它幾乎支持所有市面上能見到的云服務提供商，今天我們將使用這一工具來自動化配置，確保你運行的Terraform版本至少是Terraform 12，在本文中，使用Terraform 版本是v0.12.9，
$ terraform version
Terraform v0.12.9
RKE Provider
用于Terraform 的RKE provider是一個社區專案，并非由Rancher官方進行研發的，但包括我在內的Rancher的很多工程師都在使用，因為這是一個社區provider而不是Terraform官方的provider，因此你需要安裝最新版本到你的Terraform插件目錄中，對于大部分的Linux發行版來說，你可以使用本文資源庫中包含的setup-rke-terraform-provider.sh腳本，
Rancher Provider
用于Terraform的Rancher2 provider是Terraform支持的provider，它通過Rancher REST API來自動化Rancher，我們將用它從Terraform的虛擬機中創建Kubernetes集群，這一虛擬機需要使用Azure Resource Manager和Azure Active Directory Terraform Provider進行創建，
本例的Format
本文中的Terraform模型的每個步驟都會被拆分成子模型，這將增強模型可靠性并且將來如果你創建了其他自動化架構，這些模型都可以重新使用，
Part1：設定Rancher集群
登錄到Azure
Azure Resource Manager和Azure Active Directory Terraform Provider將使用一個激活的Azure Cli登錄以訪問Azure，他們可以使用其他認證方法，但在本例中，我在運行Terraform之前先登錄，
az login
Note, we have launched a browser for you to login. For old experience with device code, use "az login --use-device-code"
You have logged in. Now let us find all the subscriptions to which you have access...
[
{
"cloudName": "AzureCloud",
"id": "14a619f7-a887-4635-8647-d8f46f92eaac",
"isDefault": true,
"name": "Rancher Labs Shared",
"state": "Enabled",
"tenantId": "abb5adde-bee8-4821-8b03-e63efdc7701c",
"user": {
"name": "[email protected]",
"type": "user"
}
}
]
設定Resource Group
Azure Resource Group是Rancher集群的節點和其他虛擬硬體存盤的位置范圍，我們實際上將會創建兩個組，一個用于Rancher集群，另一個用于Kubernetes集群，那將在resource-group module中完成，
https://github.com/JasonvanBrackel/cattle-drive/tree/master/terraform-module/resourcegroup-module
resource "azurerm_resource_group" "resource-group" {
name = var.group-name
location = var.region
}
設定硬體
虛擬網路
我們將需要一個虛擬網路和子網，我們將使用network-module在各自的資源組中分別設定它們，
我們將使用node-module設定每個節點，既然每個節點都需要安裝Docker，那么我們在使用Rancher install-docker腳本配置和安裝Docker時，我們需要運行cloud-init檔案，這個腳本將檢測Linux發行版并且安裝Docker，
os_profile {
computer_name = "${local.prefix}-${count.index}-vm"
admin_username = var.node-definition.admin-username
custom_data = https://www.cnblogs.com/rancherlabs/p/templatefile("./cloud-init.template", { docker-version = var.node-definition.docker-version, admin-username = var.node-definition.admin-username, additionalCommand = "${var.commandToExecute} --address ${azurerm_public_ip.publicIp[count.index].ip_address} --internal-address ${azurerm_network_interface.nic[count.index].ip_configuration[0].private_ip_address}" })
}
#cloud-config
repo_update: true
repo_upgrade: all
runcmd:
- [ sh, -c, "curl https://releases.rancher.com/install-docker/${docker-version}.sh | sh && sudo usermod -a -G docker ${admin-username}" ]
- [ sh, -c, "${additionalCommand}"]
模板中的附加命令塊用這些節點的sleep 0填充，但是稍后該命令將用于Linux節點，以將Rancher管理的自定義集群節點加入平臺，
設定節點
接下來，我們將為每個角色創建幾組節點：控制平面、etcd和worker，我們需要考慮幾件事，因為Azure處理其虛擬網路的方式有一些獨特之處，它會保留前幾個IP供自己使用，因此在創建靜態IP時需要考慮這一特性，這就是在NIC創建中的4個IP，由于我們也管理子網的IP，因此我們在每個IP中都進行了處理，
resource "azurerm_network_interface" "nic" {
count = var.node-count
name = "${local.prefix}-${count.index}-nic"
location = var.resource-group.location
resource_group_name = var.resource-group.name
ip_configuration {
name = "${local.prefix}-ip-config-${count.index}"
subnet_id = var.subnet-id
private_ip_address_allocation = "static"
private_ip_address = cidrhost("10.0.1.0/24", count.index + var.address-starting-index + 4)
public_ip_address_id = azurerm_public_ip.publicIp[count.index].id
}
}
為什么不對私有IP使用動態分配？
在創建并完全配置節點之前，Azure的Terraform provider將無法獲取IP地址，而通過靜態處理，我們可以在生成RKE集群期間使用地址，當然，還有其他方法也能解決這一問題，如將基礎架構配置分成多個來運行，但是為簡單起見，還是對IP地址進行靜態管理，
設定前端負載均衡器
默認情況下，Rancher安裝程式將會在每個worker節點安裝一個ingress controller，這意味著我們應該在可用的worker節點之間負載均衡任何流量，我們也將會利用Azure的功能來為公共IP創建一個公共的DNS入口，并且將其用于集群，這可以在loadbalancer-module中完成，
https://github.com/JasonvanBrackel/cattle-drive/tree/master/terraform-module/loadbalancer-module
resource "azurerm_public_ip" "frontendloadbalancer_publicip" {
name = "rke-lb-publicip"
location = var.resource-group.location
resource_group_name = var.resource-group.name
allocation_method = "Static"
domain_name_label = replace(var.domain-name-label, ".", "-")
}
作為替代方案，其中包含使用cloudflare DNS的代碼，我們在這篇文章中沒有使用這一方案，但是你可以不妨一試，如果你使用這個方法，你將需要重置DNS快取或主機檔案入口，以便你的本地計算機可以呼叫Rancher來使用Rancher terraform provider，
provider "cloudflare" {
email = "${var.cloudflare-email}"
api_key = "${var.cloudflare-token}"
}
data "cloudflare_zones" "zones" {
filter {
name = "${replace(var.domain-name, ".com", "")}.*" # Modify for other suffixes
status = "active"
paused = false
}
}
#Add a record to the domain
resource "cloudflare_record" "domain" {
zone_id = data.cloudflare_zones.zones.zones[0].id
name = var.domain-name
value = https://www.cnblogs.com/rancherlabs/p/var.ip-address
type ="A"
ttl = "120"
proxied = "false"
}
使用RKE安裝Kubernetes
我們將使用Azure和Terraform的動態代碼塊創建的節點與開源RKE Terraform Provider來創建一個RKE集群，
dynamic nodes {
for_each = module.rancher-control.nodes
content {
address = module.rancher-control.publicIps[nodes.key].ip_address
internal_address = module.rancher-control.privateIps[nodes.key].private_ip_address
user = module.rancher-control.node-definition.admin-username
role = ["controlplane"]
ssh_key = file(module.rancher-control.node-definition.ssh-keypath-private)
}
}
使用RKE安裝Tiller
有很多種方式可以安裝Tiller，你可以使用Rancher官方檔案中的方法，但是在本教程中我們將利用RKE Add-On的特性，
官方檔案：
https://rancher.com/docs/rancher/v2.x/en/installation/ha/helm-init/
addons = <<EOL
---
kind: ServiceAccount
apiVersion: v1
metadata:
name: tiller
namespace: kube-system
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: tiller
namespace: kube-system
subjects:
- kind: ServiceAccount
name: tiller
namespace: kube-system
roleRef:
kind: ClusterRole
name: cluster-admin
apiGroup: rbac.authorization.k8s.io
EOL
}
初始化Helm
Terraform可以運行本地腳本，既然我們將要使用Helm來安裝cert-manager和Rancher，我們需要初始化Helm，
安裝cert-manager
這一步和Rancher檔案中【使用Tiller安裝cert-manager】的內容一樣，
https://rancher.com/docs/rancher/v2.x/en/installation/ha/helm-rancher/#let-s-encrypt
resource "null_resource" "install-cert-manager" {
depends_on = [null_resource.initialize-helm]
provisioner "local-exec" {
command = file("../install-cert-manager.sh")
}
}
安裝Rancher
這一步和官方檔案中【安裝Rancher】的內容一樣，
https://rancher.com/docs/rancher/v2.x/en/installation/ha/helm-rancher/
install-rancher腳本有很多個版本，我們所使用的版本要求要有Let’s Encrypt的證書，如果你更習慣使用自簽名的證書，你需要將install-rancher.sh的symlink更改為指向其他版本，并從下面的示例代碼中洗掉let-encrypt變數，
resource "null_resource" "install-rancher" {
depends_on = [null_resource.install-cert-manager]
provisioner "local-exec" {
command = templatefile("../install-rancher.sh", { lets-encrypt-email = var.lets-encrypt-email, lets-encrypt-environment = var.lets-encrypt-environment, rancher-domain-name = local.domain-name })
}
}
Rancher引導程式
Terraform的Rancher2 Provider包含了一個引導模式，這允許我們可以設定一個admin密碼，你可以在rancherbootstrap-module中看到這一步，
provider "rancher2" {
alias = "bootstrap"
api_url = var.rancher-url
bootstrap = true
insecure = true
}
resource "rancher2_bootstrap" "admin" {
provider = rancher2.bootstrap
password = var.admin-password
telemetry = true
}
我們在這里設定集群url，
provider "rancher2" {
alias = "admin"
api_url = rancher2_bootstrap.admin.url
token_key = rancher2_bootstrap.admin.token
insecure = true
}
resource "rancher2_setting" "url" {
provider = rancher2.admin
name = "server-url"
value = https://www.cnblogs.com/rancherlabs/p/var.rancher-url
}
Part2：設定Rancher管理的Kubernetes集群
為Azure創建服務主體
在我們可以使用Azure cloud來創建Load Balancer 服務和Azure存盤之前，我們需要先為Cloud Controller Manager配置connector，因此，我們在cluster-module和serviceprincipal-module中創建了一個服務主體，其作用域為集群的Resource Group，
resource "azuread_application" "ad-application" {
name = var.application-name
homepage = "https://${var.application-name}"
identifier_uris = ["http://${var.application-name}"]
available_to_other_tenants = false
}
resource "azuread_service_principal" "service-principal" {
application_id = azuread_application.ad-application.application_id
app_role_assignment_required = true
}
resource "azurerm_role_assignment" "serviceprincipal-role" {
scope = var.resource-group-id
role_definition_name = "Contributor"
principal_id = azuread_service_principal.service-principal.id
}
resource "random_string" "random" {
length = 32
special = true
}
resource "azuread_service_principal_password" "service-principal-password" {
service_principal_id = azuread_service_principal.service-principal.id
value = https://www.cnblogs.com/rancherlabs/p/random_string.random.result
end_date = timeadd(timestamp(),"720h")
}
定義自定義集群
我們需要設定flannel 網路選項以支持Windows flannel驅動，你將會注意到Azure provider的配置，
resource "rancher2_cluster" "manager" {
name = var.cluster-name
description = "Hybrid cluster with Windows and Linux workloads"
# windows_prefered_cluster = true Not currently supported
rke_config {
network {
plugin = "flannel"
options = {
flannel_backend_port = 4789
flannel_backend_type = "vxlan"
flannel_backend_vni = 4096
}
}
cloud_provider {
azure_cloud_provider {
aad_client_id = var.service-principal.client-id
aad_client_secret = var.service-principal.client-secret
subscription_id = var.service-principal.subscription-id
tenant_id = var.service-principal.tenant-id
}
}
}
}
創建虛擬機
這些虛擬機的創建程序與早期計算機相同，并且包含Docker安裝腳本，這里唯一的改變是使用來自之前創建集群的linux節點命令的附加命令，
module "k8s-worker" {
source = "./node-module"
prefix = "worker"
resource-group = module.k8s-resource-group.resource-group
node-count = var.k8s-worker-node-count
subnet-id = module.k8s-network.subnet-id
address-starting-index = var.k8s-etcd-node-count + var.k8s-controlplane-node-count
node-definition = local.node-definition
commandToExecute = "${module.cluster-module.linux-node-command} --worker"
}
創建Windows Workers
Windows worker行程類似于Linux行程，但有一些例外，由于Windows不支持cloud-init檔案，我們需要創建一個Windows自定義腳本擴展，你可以在windowsnode-module中看到它：
https://github.com/JasonvanBrackel/cattle-drive/tree/master/terraform-module/windowsnode-module
Windows worker使用密碼進行認證，還需要VM Agent來運行自定義腳本擴展，
os_profile {
computer_name = "${local.prefix}-${count.index}-vm"
admin_username = var.node-definition.admin-username
admin_password = var.node-definition.admin-password
}
os_profile_windows_config {
provision_vm_agent = true
}
加入Rancher
節點配置完成之后，自定義腳本擴展將運行Windows節點命令，
注意：
這是與Terraform檔案中不同型別的自定義腳本擴展，適用于Linux虛擬機，Azure可以允許你對Windows節點嘗試使用Terraform型別的擴展，但它最侄訓失敗，
耐心一點噢
整個行程需要花費一些時間，需要耐心等待，當Terraform完成之后，將會有一些專案依舊在配置，即使在Kubernetes集群已經啟動之后，Windows節點將至少需要10分鐘來完全初始化，正常作業的Windows節點看起來類似于下面的終端輸出：
C:\Users\iamsuperman>docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
832ef7adaeca rancher/rke-tools:v0.1.50 "pwsh -NoLogo -NonIn…" 10 minutes ago Up 9 minutes nginx-proxy
7e75dffce642 rancher/hyperkube:v1.15.4-rancher1 "pwsh -NoLogo -NonIn…" 10 minutes ago Up 10 minutes kubelet
e22b656e22e0 rancher/hyperkube:v1.15.4-rancher1 "pwsh -NoLogo -NonIn…" 10 minutes ago Up 9 minutes kube-proxy
5a2a773f85ed rancher/rke-tools:v0.1.50 "pwsh -NoLogo -NonIn…" 17 minutes ago Up 17 minutes service-sidekick
603bf5a4f2bd rancher/rancher-agent:v2.3.0 "pwsh -NoLogo -NonIn…" 24 minutes ago Up 24 minutes gifted_poincare
Terraform將為新平臺輸出憑據，
Outputs:
lets-encrypt-email = [email protected]
lets-encrypt-environment = production
rancher-admin-password = {REDACTED}
rancher-domain-name = https://jvb-win-hybrid.eastus2.cloudapp.azure.com/
windows-admin-password = {REDACTED}
Part3：使用Windows作業負載
通過OS定位作業負載
因為Windows容器鏡像和Linux容器鏡像并不相同，我們需要使用Kubernetes節點的關聯性來確定我們的部署目標，每個節點都有OS標簽以幫助實作這一目的，
> kubectl get nodes
NAME STATUS ROLES AGE VERSION
control-0-vm Ready controlplane 16m v1.15.4
etcd-0-vm Ready etcd 16m v1.15.4
win-0-vm Ready worker 5m52s v1.15.4
worker-0-vm Ready worker 12m v1.15.4
> kubectl describe node worker-0-vm
Name: worker-0-vm
Roles: worker
Labels: beta.kubernetes.io/arch=amd64
beta.kubernetes.io/os=linux
kubernetes.io/arch=amd64
kubernetes.io/hostname=worker-0-vm
kubernetes.io/os=linux
node-role.kubernetes.io/worker=true
...
> kubectl describe node win-0-vm
Name: win-0-vm
Roles: worker
Labels: beta.kubernetes.io/arch=amd64
beta.kubernetes.io/os=windows
kubernetes.io/arch=amd64
kubernetes.io/hostname=win-0-vm
kubernetes.io/os=windows
由Rancher 2.3部署的集群會自動使用NoSchedule污染Linux worker節點，這意味著作業負載將始終流向Windows節點，除非特別調度了Linux節點并且配置為可容忍污染，
根據計劃使用集群的方式，您可能會發現，設定類似的Windows或Linux默認首選項可以在啟動作業負載時減少開銷，
歡迎添加微信助手（rancher2)，進官方技術群，了解更多Kubernetes使用攻略
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/178328.html
標籤：其他