主頁 >  其他 > 大資料學習筆記第3課 基于Yarn的Spark實時計算

大資料學習筆記第3課 基于Yarn的Spark實時計算

2021-01-12 11:20:23 其他

大資料學習筆記第3課 基于Yarn的Spark實時計算

  • 1、說明
  • 2、hadoop單節點運行mapreduce程式
  • 3、配置Yarn集群
  • 4、使用hadoop Yarn集群運行mapreduce程式
  • 5、下載并安裝spark
  • 5、配置spark使用本地單節點計算圓周率PI
  • 6、配置spark使用集群節點計算圓周率PI
  • 7、總結

1、說明

本文是在前面2課搭建好的hadoop集群的基礎上進行的，如果不熟悉環境請先看前面的2課練習，

  • 《大資料學習筆記第1課 Hadoop基礎理論與集群搭建》
  • 《大資料學習筆記第2課 Zookeeper & Kafka集群搭建》
  • 《大資料學習筆記第2課（續） 通過filebeat收集nginx訪問日志到kafka集群》

本文的測驗程式使用的是hadoop官方案例程式，程式所在目錄如下（關于mapreduce程式結構與案例原始碼不在本文范圍）

/program/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar

2、hadoop單節點運行mapreduce程式

mapreduce的程式如果計算的資料量很小則不需要使用集群計算，因為啟動集群會有額外資源開銷計算的效率反而會慢，
1、首先進入hadoop1的終端，然后切換當前目錄

cd /program/hadoop-3.3.0/bin

2、使用以下命令查看hadoop官方案例程式的主要功能，如下圖：
在這里插入圖片描述
可以看到一個wordcount，這個功能是統計一組檔案中每個單詞出現的次數，本文我們就用這個功能做測驗，
3、通過以下命令執行mapreduce程式實作對hadoop組態檔中的單詞進行統計的功能，并把結果放到output目錄下，如下：

./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount file:///program/hadoop-3.3.0/etc/hadoop/* output

執行完畢之后可以通過下圖看出實作了對file:///program/hadoop-3.3.0/etc/hadoop/目錄下所有檔案的所有單詞的次數統計，
在這里插入圖片描述
在這里插入圖片描述
4、如果重新執行上面的命令計算，則需要修改輸出目錄，如果不修改會出現目錄已存在的例外，如下：
在這里插入圖片描述
5、可以先在hadoop的圖形界面中洗掉/user目錄，如果出現提示權限不夠了需要修改權限，修改hadoop檔案系統的目錄權限的方式如下：

./hadoop fs -chmod -R 777 /
或者
./hdfs dfs -chmod -R 777 /

3、配置Yarn集群

如果計算的資料量很大，則適合使用集群的進行計算，這通常是計算的時間遠遠大于集群初始化及其他資源分配與管理的時間，要想啟用yarn集群，則需要按以下步驟進行配置，
1、先進入hadoop01的終端，切換當前目錄如下

cd /program/hadoop-3.3.0/bin

2、通過vim命令編輯…/etc/hadoop/mapred-site.xml，開啟yarn集群計算，內容如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <!-- 默認是local 表示不配置走本地多執行緒計算，yarn表示開啟集群計算 -->
                <value>yarn</value>
        </property>
        <property>
                <name>yarn.app.mapreduce.am.env</name>
                <value>HADOOP_MAPRED_HOME=/program/hadoop-3.3.0</value>
        </property>
        <property>
                <name>mapreduce.map.env</name>
                <value>HADOOP_MAPRED_HOME=/program/hadoop-3.3.0</value>
        </property>
        <property>
                <name>mapreduce.reduce.env</name>
                <value>HADOOP_MAPRED_HOME=/program/hadoop-3.3.0</value>
        </property>
</configuration>

3、通過vim命令編輯…/etc/hadoop/yarn-site.xml，配置resourcemanager，內容如下：

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

以上資訊表示使用hadoop01作為yarn的resourcemanager，
4、通過scp命令把…/etc/hadoop/yarn-site.xml復制到hadoop02和hadoop03節點上，如下圖：
在這里插入圖片描述
5、在啟動yarn集群之前，先通過vim命令編輯…/sbin/start-yarn.sh和…/sbin/stop-yarn.sh，在檔案頂部添加以下內容：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
不然在啟動的時候會報以下錯誤：

ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.

修改方法如下圖：
在這里插入圖片描述
6、通過…/sbin/start-yarn.sh啟動yarn集群，并通過jps查看運行行程，如下圖：
在這里插入圖片描述
hadoop2
在這里插入圖片描述
hadoop3
在這里插入圖片描述
7、使用yarn圖形界面查看集群
可以通過http://hadoop01:8088進入yarn集群的圖形管理界面，如下圖：
在這里插入圖片描述
上圖可以看出yarn的集群共24GB記憶體，24核，

4、使用hadoop Yarn集群運行mapreduce程式

1、使用yarn集群執行mapreduce統計組態檔中的各單詞數量，如下：

[root@ecs-ae8a-0001 bin]# ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount file:///program/hadoop-3.3.0/etc/hadoop/* output2

執行程序輸出如下

2021-01-11 10:21:37,218 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at hadoop01/192.168.0.177:8032
2021-01-11 10:21:37,473 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/root/.staging/job_1610330660573_0002
2021-01-11 10:21:37,650 INFO input.FileInputFormat: Total input files to process : 32
2021-01-11 10:21:37,710 INFO mapreduce.JobSubmitter: number of splits:32
2021-01-11 10:21:37,868 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1610330660573_0002
2021-01-11 10:21:37,868 INFO mapreduce.JobSubmitter: Executing with tokens: []
2021-01-11 10:21:37,987 INFO conf.Configuration: resource-types.xml not found
2021-01-11 10:21:37,987 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2021-01-11 10:21:38,033 INFO impl.YarnClientImpl: Submitted application application_1610330660573_0002
2021-01-11 10:21:38,055 INFO mapreduce.Job: The url to track the job: http://hadoop01:8088/proxy/application_1610330660573_0002/
2021-01-11 10:21:38,055 INFO mapreduce.Job: Running job: job_1610330660573_0002
2021-01-11 10:21:42,158 INFO mapreduce.Job: Job job_1610330660573_0002 running in uber mode : false
2021-01-11 10:21:42,159 INFO mapreduce.Job:  map 0% reduce 0%
2021-01-11 10:21:47,225 INFO mapreduce.Job:  map 3% reduce 0%
2021-01-11 10:21:48,244 INFO mapreduce.Job:  map 6% reduce 0%
2021-01-11 10:21:49,255 INFO mapreduce.Job:  map 9% reduce 0%
2021-01-11 10:21:50,260 INFO mapreduce.Job:  map 16% reduce 0%
2021-01-11 10:21:51,278 INFO mapreduce.Job:  map 19% reduce 0%
2021-01-11 10:21:52,286 INFO mapreduce.Job:  map 22% reduce 0%
2021-01-11 10:21:53,305 INFO mapreduce.Job:  map 25% reduce 0%
2021-01-11 10:21:54,333 INFO mapreduce.Job:  map 28% reduce 0%
2021-01-11 10:21:55,345 INFO mapreduce.Job:  map 34% reduce 0%
2021-01-11 10:21:56,350 INFO mapreduce.Job:  map 38% reduce 0%
2021-01-11 10:21:57,354 INFO mapreduce.Job:  map 41% reduce 0%
2021-01-11 10:21:58,359 INFO mapreduce.Job:  map 44% reduce 0%
2021-01-11 10:21:59,364 INFO mapreduce.Job:  map 47% reduce 0%
2021-01-11 10:22:00,369 INFO mapreduce.Job:  map 50% reduce 0%
2021-01-11 10:22:01,379 INFO mapreduce.Job:  map 53% reduce 0%
2021-01-11 10:22:02,405 INFO mapreduce.Job:  map 59% reduce 0%
2021-01-11 10:22:03,448 INFO mapreduce.Job:  map 63% reduce 0%
2021-01-11 10:22:04,473 INFO mapreduce.Job:  map 63% reduce 20%
2021-01-11 10:22:05,487 INFO mapreduce.Job:  map 69% reduce 20%
2021-01-11 10:22:06,493 INFO mapreduce.Job:  map 72% reduce 20%
2021-01-11 10:22:07,504 INFO mapreduce.Job:  map 78% reduce 20%
2021-01-11 10:22:08,511 INFO mapreduce.Job:  map 81% reduce 20%
2021-01-11 10:22:09,515 INFO mapreduce.Job:  map 84% reduce 20%
2021-01-11 10:22:10,523 INFO mapreduce.Job:  map 88% reduce 27%
2021-01-11 10:22:11,527 INFO mapreduce.Job:  map 94% reduce 27%
2021-01-11 10:22:12,530 INFO mapreduce.Job:  map 100% reduce 27%
2021-01-11 10:22:13,534 INFO mapreduce.Job:  map 100% reduce 100%
2021-01-11 10:22:13,539 INFO mapreduce.Job: Job job_1610330660573_0002 completed successfully
2021-01-11 10:22:13,596 INFO mapreduce.Job: Counters: 55
	File System Counters
		FILE: Number of bytes read=214309
		FILE: Number of bytes written=8925679
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=3860
		HDFS: Number of bytes written=50478
		HDFS: Number of read operations=69
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
		HDFS: Number of bytes read erasure-coded=0
	Job Counters 
		Killed map tasks=1
		Launched map tasks=32
		Launched reduce tasks=1
		Rack-local map tasks=32
		Total time spent by all maps in occupied slots (ms)=59346
		Total time spent by all reduces in occupied slots (ms)=22721
		Total time spent by all map tasks (ms)=59346
		Total time spent by all reduce tasks (ms)=22721
		Total vcore-milliseconds taken by all map tasks=59346
		Total vcore-milliseconds taken by all reduce tasks=22721
		Total megabyte-milliseconds taken by all map tasks=60770304
		Total megabyte-milliseconds taken by all reduce tasks=23266304
	Map-Reduce Framework
		Map input records=2931
		Map output records=12842
		Map output bytes=158516
		Map output materialized bytes=103077
		Input split bytes=3860
		Combine input records=12842
		Combine output records=5739
		Reduce input groups=2504
		Reduce shuffle bytes=103077
		Reduce input records=5739
		Reduce output records=2504
		Spilled Records=11478
		Shuffled Maps =32
		Failed Shuffles=0
		Merged Map outputs=32
		GC time elapsed (ms)=623
		CPU time spent (ms)=13090
		Physical memory (bytes) snapshot=8035414016
		Virtual memory (bytes) snapshot=97197834240
		Total committed heap usage (bytes)=6829375488
		Peak Map Physical memory (bytes)=252547072
		Peak Map Virtual memory (bytes)=2952425472
		Peak Reduce Physical memory (bytes)=176435200
		Peak Reduce Virtual memory (bytes)=2949914624
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=111418
	File Output Format Counters 
		Bytes Written=50478
[root@ecs-ae8a-0001 bin]#

2、在執行的程序中可以在yarn的圖形界面中查看任務的執行進度和資訊，如下圖：
在這里插入圖片描述
3、在hadoop的檔案系統中看到保存的結果如下圖：
在這里插入圖片描述
在這里插入圖片描述

5、下載并安裝spark

1、首先進入apache官網，地址：http://www.apache.org，如下圖：
在這里插入圖片描述
2、點擊中間的Projects鏈接，能看到子選單，如下圖：
在這里插入圖片描述
3、選擇上圖中的Projects->Project List選單項進入專案串列頁面，如下圖：
在這里插入圖片描述
4、在上圖中找到S開頭的專案，選中Spark，則進入Spark主頁面，如下圖：
在這里插入圖片描述
5、點擊頂部導航欄的Download鏈接，或者右側的Download Spark鏈接，進入下載頁面，如下圖：
在這里插入圖片描述
6、在鏡像串列頁面中，復制一個鏡像地址，這里的鏡像地址如下：

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz

7、進入hadoop01終端，并切換當前目錄為/opt/soft

cd /opt/soft

8、使用wget命令從鏡像地址下載spark到hadoop01節點，如下：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz

下載程序如下圖：
在這里插入圖片描述
9、解壓縮spark-3.0.1-bin-hadoop3.2.tgz

tar -xzvf spark-3.0.1-bin-hadoop3.2.tgz

10、解壓后可以看到在/opt/soft目錄下多了spark-3.0.1-bin-hadoop3.2的目錄，如下圖：
在這里插入圖片描述
11、把spark-3.0.1-bin-hadoop3.2目錄復制到/program目錄下（代表安裝目錄）

cp -rf spark-3.0.1-bin-hadoop3.2 /program/

然后切換當前目錄為/program，并查看目錄下內容，則看到了spark-3.0.1-bin-hadoop3.2，執行程序如下圖：
在這里插入圖片描述

5、配置spark使用本地單節點計算圓周率PI

1、在hadoop01終端中切換當前目錄為/program/spark-3.0.1-bin-hadoop3.2/bin

cd /program/spark-3.0.1-bin-hadoop3.2/bin

2、通過./spark-submit命令本次執行jar程式計算圓周率，命令如下：

./spark-submit --master local --deploy-mode client --executor-memory 2G --executor-cores 2 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-3.0.1.jar 1000

執行結果如下：
在這里插入圖片描述
可以通過增加最后一個引數1000值更大的值得到更高精度的PI值，

6、配置spark使用集群節點計算圓周率PI

1、切換當前目錄為/program/spark-3.0.1-bin-hadoop3.2/conf

cd /program/spark-3.0.1-bin-hadoop3.2/conf

執行如下圖：
在這里插入圖片描述
2、通過spark-env.sh.template生成spark-env.sh，如下：

cp spark-env.sh.template spark-env.sh

執行如下圖：
在這里插入圖片描述
3、通過vim命令修改spark-env.sh，增加HADOOP_CONF_DIR的配置，就是在spark中指定hadoop組態檔的位置，內容如下：

export HADOOP_CONF_DIR=/program/hadoop-3.3.0/etc/hadoop

具體如下圖：
在這里插入圖片描述

4、保存spark-env.sh后，切換當前目錄為/program/spark-3.0.1-bin-hadoop3.2/bin

cd /program/spark-3.0.1-bin-hadoop3.2/bin

5、通過./spark-submit命令呼叫yarn集群（–master后面的引數由local改為yarn）計算圓周率PI的值

./spark-submit --master yarn --deploy-mode client --executor-memory 2G --executor-cores 2 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-3.0.1.jar 1000

執行結果如下圖：
在這里插入圖片描述
6、重新執行上面的命令，可以試著調整后面的引數1000為10000看看PI的精度是否提高，如下：

./spark-submit --master yarn --deploy-mode client --executor-memory 2G --executor-cores 2 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-3.0.1.jar 10000

執行結果如下圖：
在這里插入圖片描述
可以看出執行的結果PI的精度提高了，
7、在執行程序中可以通過yarn的圖形界面和spark的圖形界面查看執行進度和相關任務資訊，如下圖：
yarn圖形界面如下：
在這里插入圖片描述
spark圖形界面如下：
在這里插入圖片描述

7、總結

至此一個簡單的基于Yarn集群的Spark實時計算環境搭建完畢，希望對初學的朋友能有個參考，最后感謝一下csdn大資料的老師吧，畢竟有個人帶著學要快的多，如果覺得有幫助點個贊吧~

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/247625.html

標籤：其他

上一篇：“干掉”程式員飯碗后，OpenAI 又對藝術家下手了！

下一篇：ensp小實驗走起來（路由下發、MSTP、VRRP、DHCP、DHCP中繼、NAT、鏈路聚合）之配置

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種：三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看，三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看，三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統，“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及：虛擬機CentOs下執行 yum -y install lrzsz命令，出現錯誤：鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示：其實很簡單，往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號， sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求，SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生， 2020-08-28 16:18:25 分類專欄： kail 網路安全 linux 文章標簽： linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么？ 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼： #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘（北斗授時服務器）讓網路資料更精準

    北斗電力時鐘（北斗授時服務器）讓網路資料更精準 北斗電力時鐘（北斗授時服務器）讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年，資訊技術的得了快速發展，互聯網在逐漸普及，其在人們生活和生產中都得到了廣泛應用，并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用，一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub：https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺，后來才有了CTFHub。 感覺不論是網頁UI設計，還是題目質量，賽事跟蹤，工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解（net user / type /md /rd/ dir /cd /net use copy、批處理 等） 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝，密碼啊破解03Linux常用命令04LAMP 01LINUX windows： win03 8 12 16 19 配置不繁瑣 Linux：redhat,centos(紅帽社區版)，Ubuntu server,suse unix:金融機構，證券，銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 （POST注入/XSS漏洞上傳）3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題，描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章，不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》，我也是第一時間得知了這個訊息，然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本： 個人認為這件事也沒什么，還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹：metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包，它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一，它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip：192.168.20.121 靶機ip：192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k，軟體測驗工程師的漲薪史，給我看哭了

    清明節一過，盲猜大家已經無心上班，在數著日子準備過五一，但一想到銀行卡里的余額……瞬間心情就不美麗了。最近，2023年高校畢業生就業調查顯示，本科畢業月平均起薪為5825元。調查一出，便有很多同學表示自己又被平均了。看著這一資料，不免讓人想到前不久中國青年報的一項調查：近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文，所以對學習母語的我們非常不友好 使用網址：https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜，前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜，自動化測驗的需求也越來越高。如今，自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分，它們可以幫助開發人員更快地發現和修復錯誤，提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐：4個DVPP記憶體問題的典型案例解讀

    摘要：由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求（例如，記憶體首地址128位元組對齊），因此需呼叫專用的記憶體申請介面，那么本期就分享幾個關于DVPP記憶體問題的典型案例，并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》，作者：昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊，輔助滲透（埠掃描、登錄密碼爆破、漏洞驗證等） 2、encoders 編碼器模塊，主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手：與相機連接，設定相機引數，采集影像 2) 標定助手：九點標定或是其它的標定，生成標定檔案及內參外參，可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客，先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp)，這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接： https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more

Copyright © 2010-2020 有解無憂