記錄服務器被入侵病毒：ssh密碼被更改、惡意程式跑滿了cpu、jar包啟動失敗自動kill、一直彈出You have new mail in /var/spool/mail/root

問題現象：

ssh登錄密碼：無緣無故沒人動服務器密碼就被更改過，也向同事咨詢過沒人動過服務器，然后通過修改密碼重新登錄服務器，
jar包啟動失敗：啟動jar包，隨后不久直接被kill

[root@k8s-n4 discovery]# java -jar discovery-1.0.0.RELEASE.jar 

################################################
#                                              #
#        ## #   #    ## ### ### ##  ###        #
#       # # #   #   # #  #  # # # #  #         #
#       ### #   #   ###  #  # # ##   #         #
#       # # ### ### # #  #  ### # # ###        #
#                                              #
# Obfuscation by Allatori Obfuscator v6.4 DEMO #
#                                              #
#           http://www.allatori.com            #
#                                              #
################################################

2021-02-18 09:08:01.045  INFO 19907 --- [           main] s.c.a.AnnotationConfigApplicationContex: Refreshing org.springframework.context.annotation.AnnotationConfigApplicationContext@1376c05c: artup date [Thu Feb 18 09:08:01 CST 2021]; root of context hierarchy
...
Killed

不斷彈出You have new mail in /var/spool/mail/root：
查看這個的相關內容會發現一直有ERROR

|| ERROR || already running…

From root@k8s-n4.localdomain  Thu Feb 18 09:12:01 2021
Return-Path: <root@k8s-n4.localdomain>
X-Original-To: root
Delivered-To: root@k8s-n4.localdomain
Received: by k8s-n4.localdomain (Postfix, from userid 0)
	id 9ABDD43E1F; Thu, 18 Feb 2021 09:12:01 +0800 (CST)
From: "(Cron Daemon)" <root@k8s-n4.localdomain>
To: root@k8s-n4.localdomain
Subject: Cron <root@k8s-n4> /root/.sshd/sshd
Content-Type: text/plain; charset=UTF-8
Auto-Submitted: auto-generated
Precedence: bulk
X-Cron-Env: <XDG_SESSION_ID=5360>
X-Cron-Env: <XDG_RUNTIME_DIR=/run/user/0>
X-Cron-Env: <LANG=en_US.UTF-8>
X-Cron-Env: <SHELL=/bin/sh>
X-Cron-Env: <HOME=/root>
X-Cron-Env: <PATH=/usr/bin:/bin>
X-Cron-Env: <LOGNAME=root>
X-Cron-Env: <USER=root>
Message-Id: <20210218011201.9ABDD43E1F@k8s-n4.localdomain>
Date: Thu, 18 Feb 2021 09:12:01 +0800 (CST)

||  ERROR  || already running...

第一反應是以為服務器資源不足導致的

查看運行記憶體、磁盤空間都是足夠的

被人入侵了，搞了個定時任務，把CPU資源全占用了，系統為了保持穩定，所以自動kill行程

top #查看占用CPU等情況

直接去進行kill這個sshd的程式會重新生成新的
kill -9 2172 #將這個名為sshd、pid為2172的程式kill掉

crontab -l #查看定時任務
果然這個就是根本問題 被寫入了定時任務

解決

直接把定時任務修改清除

crontab -e #修改定時任務
#進入編輯模式之后直接洗掉然后wq保存退出

修改root密碼

passwd root #修改root密碼 建議修改復雜密碼 可以去搜個隨機密碼

洗掉病毒檔案

rm -rf /root/.sshd #直接把這個可疑的目錄洗掉掉

查看行程詳情
ll /proc/7289

我也洗掉了/usr/bin/sshd程式 并通過yum重新安裝、啟動
然后修改了ssh的埠號 將默認的22埠號做修改

查看計劃性任務，因為并不是只通過crontab -e這一種方法進行修改
檢查cron.目錄下是否有新增的程式

檢查了/etc/cron所有目錄下，我看到有幾個都新增了這pwnrig程式我就都洗掉了
直接洗掉洗掉不了 因為添加了----ia屬性

進行洗掉
隨后我怕還有cron計劃性任務被修改了東西，我就通過yum進行卸載了然后再重新安裝，

檢查是否有新增用戶，查看到/home目錄下新增一個user用戶也是近期添加的
使用userdel user 洗掉用戶并不成功
可以通過直接修改/etc/passwd以及/etc/shadow檔案
看到檔案最下面有關于user用戶的資訊直接洗掉并保存退出

大概是我以上步驟操作后，我再次嘗試這個kill程式，這個程式會被我kill掉，但是當我重新連接服務器的時候，也就是linux服務器用戶登錄的時候這個程式還是會生成，也就是說用戶登錄的時候會加載環境變數，這個攻擊者把服務器的環境變數做了修改，導致我一登陸就會產生這個程式！

登陸是加載環境變數的
檢查檔案
cat /etc/profile
cat /root/.bash_profile
果然發現了端倪

直接進去修改保存不了，被修改了檔案屬性

洗掉添加的東西然后進行保存

由剛才環境變數的檔案中可以得知他把/bin/下的一個程式進行了復制
進入到/bin目錄下，因為之前得知大概的時間在Feb月進行篩查
可以看到幾個可疑的檔案都進行洗掉

[root@k8s-n4 bin]# rm -rf bprofr 
rm: cannot remove ‘bprofr’: Operation not permitted
[root@k8s-n4 bin]# rm -rf crondr 
rm: cannot remove ‘crondr’: Operation not permitted
[root@k8s-n4 bin]# rm -rf initdr
rm: cannot remove ‘initdr’: Operation not permitted
[root@k8s-n4 bin]# rm -rf sysdr
rm: cannot remove ‘sysdr’: Operation not permitted
[root@k8s-n4 bin]# chattr -ia bprofr crondr initdr sysdr
[root@k8s-n4 bin]# rm -rf bprofr crondr initdr sysdr

最后再嘗試kill這個行程，這個名為sshd的程式被我kill了，并且不會重新生成，以及重新登錄服務器的時候也不會產生這個程式
解決前：

解決后：