主頁 >  其他 > 大資料-Hadoop2.7實作PageRank演算法-MapReduce&HDFS

大資料-Hadoop2.7實作PageRank演算法-MapReduce&HDFS

2021-06-14 06:55:27 其他

記錄一下實驗大作業，資訊較為詳盡，自己跳轉即可

PageRank是Google專有的演算法，用于衡量特定網頁相對于搜索引擎索引中的其他網頁而言的重要程度，實作了將鏈接價值概念作為排名因素，

本實驗基于Hadoop2.7的MapReduce和HDFS實作了簡單版的PageRank演算法【本質是矩陣的迭代運算】

PageRank

  • 運行環境
  • 演算法原理
  • 主要步驟
    • Hadoop平臺的配置和啟動
    • 實驗資料準備
    • Maven專案創建
    • 專案依賴包配置pom.xml
    • 代碼定義及流程圖
  • 資料檔案
  • 功能代碼

運行環境

1)Oracle Linux 7.4
2)Hadoop2.7.4
3)JDK-1.8

演算法原理

一個頁面的“得票數”由所有鏈向它的頁面的重要性來決定，到一個頁面的超鏈接相當于對該頁投一票，一個頁面的PageRank是由所有鏈向它的頁面（“鏈入頁面”）的重要性經過遞回演算法得到的，也就是從許多優質的網頁鏈接過來的網頁，必定還是優質網頁，

  • 兩個假設

    數量假設：如果一個頁面節點接收到的其他網頁指向的入鏈數量越多，那么這個頁面越重要，
    質量假設：指向頁面A的入鏈質量不同，質量高的頁面會通過鏈接向其他頁面傳遞更多的權重，所以越是質量高的頁面指向頁面A，則頁面A越重要，

  • 計算公式

    P R ( p i ) = 1 ? d n + d ∑ p j ∈ M ( i ) P R ( p j ) l ( j ) PR(p_i)=\frac{1-d}n+d\sum\limits_{p_j\isin M(i)}\frac{PR(p_j)}{l(j)} PR(pi?)=n1?d?+dpj?∈M(i)∑?l(j)PR(pj?)?

    其中，n是所有頁面數， P R ( p i ) PR(p_i) PR(pi?)是指頁面 p i p_i pi?的PageRank值， L ( j ) L(j) L(j)是指頁面 p j p_j pj?的鏈出頁面數， M ( i ) M(i) M(i)是指頁面 p i p_i pi?的鏈入頁面數，ｄ是阻尼系數，指用戶繼續向后瀏覽的概率(j->i)，Google設為0.85，

  • 兩大特征

    PR值的傳遞性：網頁A指向網頁B時，A的PR值也部分傳遞給B
    重要性的傳遞性：一個重要網頁比一個不重要網頁傳遞的權重要多

  • 基本原理

  1. 初始階段，網頁通過鏈接關系構建起有向圖，每個頁面設定相同的PageRank值，
  2. 每輪更新計算中，每個頁面將其當前的PageRank值平均分配到本頁面包含的出鏈上(上式中的 P R L \frac{PR}{L} LPR?,代碼中標為pr)，將所有指向本頁面的入鏈權值求和，即可得到新的PageRank得分，
  3. 當每個頁面都獲得了更新后的PageRank值，就完成了一輪PageRank計算，
    在這里插入圖片描述在這里插入圖片描述在這里插入圖片描述

主要步驟

Hadoop平臺的配置和啟動

hdfs-site.xml和core-site.xml，配置了備份系數dfs.replication為3，
HDFS的默認路徑：hdfs://master:9000
namenode的默認路徑：file:/opt/data/hadoop/dfs/name
datanode的默認路徑：file:/opt/data/hadoop/dfs/data
啟動Hadoop集群：start-all.sh

實驗資料準備

page.csv和pagerank.csv，分別表示網頁鏈入的資訊，網頁初始pr值

Hadoop dfs -put 資料源地址 HDFS目的地址(/root/pagerank/datas/)

Maven專案創建

在這里插入圖片描述

專案依賴包配置pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>hadoopmr</groupId>
    <artifactId>pagerank</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient
            </artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.2.6</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
    </dependencies>

</project>

代碼定義及流程圖

  • HadoopUtils.java和HDFSUtils.java，重寫函式，并快速呼叫
  • PageRankDriver.java，呼叫主函式，設定迭代計算的次數（10）
  • AdjacencyMatrix.java，將用戶資料轉換成鄰接表和鄰接概率矩陣
  • CalcPageRank.java，將鄰接概率矩陣和pr矩陣進行計算并將得到的pr結果輸出
  • Standardization.java，對pr值進行重計算,每個pr都除以pr總值
    在這里插入圖片描述

資料檔案

page.csv

1,2
1,3
1,4
2,3
2,4
3,4
4,2

pagerank.csv

1,1
2,1
3,1
4,1

功能代碼

  • HadoopUtils
import java.util.HashMap;
import java.util.Iterator;
import java.util.TreeMap;
import java.util.regex.Pattern;

public class HadoopUtils {
	/**
     * 分隔符型別,使用正則運算式,表示分隔符為\t或者,
     * 使用方法為SPARATOR.split(字串)
     */
    public static final Pattern SPARATOR = Pattern.compile("[\t,]");
	/**
     * 計算unixtime兩兩之間的時間差
     * @param timeSortMap key為unixtime,value為pos
     * @return key為pos, value為該pos的停留時間
     */
    public static HashMap<String, Float> calcStayTime(TreeMap<Long, String> timeSortMap) {
        HashMap<String, Float> resMap = new HashMap<String, Float>();
        Iterator<Long> iter = timeSortMap.keySet().iterator();
        Long currentTimeflag = iter.next();
        //遍歷treemap
        while (iter.hasNext()) {
            Long nextTimeflag = iter.next();
            float diff = (nextTimeflag - currentTimeflag) / 60.0f;
            //超過60分鐘過濾不計
            if (diff <= 60.0) {
                String currentPos = timeSortMap.get(currentTimeflag);
                if (resMap.containsKey(currentPos)) {
                    resMap.put(currentPos, resMap.get(currentPos) + diff);
                } else {
                    resMap.put(currentPos, diff);
                }
            }
            currentTimeflag = nextTimeflag;
        }
        return resMap;
    }
}
  • HDFSUtils
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class HDFSUtils {
	
	private FileSystem fs = null;
	
	public HDFSUtils(Configuration conf){
		try {
			fs = FileSystem.newInstance(conf);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	
	public void deleteDir(String path) throws IOException {
		Path p = new Path(path);
		if(fs.exists(p)) {
			fs.delete(p, true);
		}
	}

	public void rename(String src, String dest) throws IOException {
		Path p = new Path(src);
		Path destPath = new Path(dest);
		if(fs.exists(p)) {
			this.deleteDir(dest);
			fs.rename(p, destPath);
		}
	}
}
  • PageRankDriver
import java.io.IOException;

public class PageRankDriver {
    public static void main(String[] args) throws InterruptedException, IOException, ClassNotFoundException {
        // 生成概率矩陣
    	AdjacencyMatrix.run(args);
        for (int i = 0; i < 10; i++) {
        	// 2.迭代10次
            CalcPageRank.run(args);
        }
        // 標準化
        Standardization.run();
    }
}
  • AdjacencyMatrix
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
//將用戶原始資料集轉換成鄰接表->鄰接矩陣->鄰接概率矩陣的程序
public class AdjacencyMatrix {
    //輸出鄰接表
    public static class AdjacencyMapper extends Mapper<LongWritable, Text, Text, Text> {
        Text k = new Text();
        Text v = new Text();
        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            super.setup(context);
            System.out.println("AdjacencyMapper input:");
        }
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //列印當前讀入的資料
            System.out.println(value.toString());
            String[] strArr = HadoopUtils.SPARATOR.split(value.toString());
            //原始用戶id為key,目標用戶id為value
            k.set(strArr[0]);
            v.set(strArr[1]);
            context.write(k, v);
        }
    }
    //輸入鄰接表,輸出鄰接概率矩陣
    public static class AdjacencyReducer extends Reducer<Text, Text, Text, Text> {
        Text v = new Text();
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            //初始化概率矩陣,概率矩陣只有一列,函式和總用戶數相同,totalsum=1
            int nums = 4;//用戶數
            float[] U = new float[nums];//構建用戶鄰接矩陣
            int out = 0;//該用戶的鏈出數
            StringBuilder printSb = new StringBuilder();
            for (Text value : values) {
                //從value中拿到目標用戶的id
                int targetUserIndex = Integer.parseInt(value.toString());
                //鄰接矩陣中每個目標用戶對應的值為1,其余為0
                U[targetUserIndex-1] = 1;
                out++;
                printSb.append(",").append(value.toString());
            }
            //列印reducer的輸入
            System.out.println("AdjacencyReducer input:\n" + key.toString() + ":" + printSb.toString().replaceFirst(",", ""));
            //Probability Matrix
            StringBuilder stringBuilder = new StringBuilder();
            for (int i = 0; i < nums; i++) {
                stringBuilder.append(",").append(U[i] / out);
            }
            v.set(stringBuilder.toString().replaceFirst(",", ""));
            System.out.println("AdjacencyReducer output:\n" + key.toString() + ":" + v.toString());
            System.out.println();
            context.write(key, v);
        }
    }
    public static void run(String[] args) throws InterruptedException, IOException, ClassNotFoundException {
        Configuration conf = new Configuration();
        args = new String[]{"/root/pagerank/datas/page.csv","/root/pagerank/datas/probility-matrix/"};
        Job job = Job.getInstance(conf, "AdjacencyMatrix");
        HDFSUtils hdfs = new HDFSUtils(conf);
        String inPath = args[0];
        String outPath = args[1];
        hdfs.deleteDir(outPath);
        //指定jar包所在Class檔案
		job.setJarByClass(AdjacencyMatrix.class);
        //設定map方法(AdjacencyMapper),統一map輸出和reduce輸入的資料型別
		job.setMapperClass(AdjacencyMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);
        //設定reducer方法(AdjacencyReducer)
		job.setReducerClass(AdjacencyReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
        //設定輸入資料和輸出資料路徑
		FileInputFormat.addInputPath(job, new Path(inPath));
		FileOutputFormat.setOutputPath(job, new Path(outPath));
        //輪詢檢查集群是否成功完成任務
		job.waitForCompletion(true);
    }
    
    public static void main(String[] args) throws Exception {
		AdjacencyMatrix.run(args);
	}
}
  • CalcPageRank
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
//將鄰接概率矩陣和pr矩陣進行計算并將得到的pr結果輸出
public class CalcPageRank {
    //輸入鄰接概率矩陣和pr矩陣,按照矩陣相乘的公式,將對應的資料輸出到reduce進行計算
    public static class CalcPeopleRankMapper extends Mapper<LongWritable, Text, Text, Text> {
        Text k = new Text();
        Text v = new Text();
        String flag = "";
        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            super.setup(context);
            FileSplit fileSplit = (FileSplit) context.getInputSplit();
            flag = fileSplit.getPath().getName();
            System.out.println("CalcPeopleRankMapper input type:");
            System.out.println(flag);
        }
        //k的作用是將pr矩陣的列和鄰接矩陣的行對應起來,如:pr矩陣的第一列要和鄰接矩陣的第一行相乘,所以需要同時輸入到reduce中
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            System.out.println(value.toString());//每次map處理的行向量(p1,p2,p3,p4)
            int nums = 4;
            //處理pr矩陣
            if (flag.startsWith("pagerank")) {
                //使用正則運算式分隔字串
                String[] strArr = HadoopUtils.SPARATOR.split(value.toString());
                //第一位為用戶id,輸入的每行內容都為pr矩陣中的一列,所以也可以看成是列數
                for (int i = 1; i <= nums; i++) {
                    k.set(String.valueOf(i));
                    //pr為識別符號,i為該列中第i行,strArr[1]為值
                    v.set("pr:" + strArr[0] + "," + strArr[1]);
                    context.write(k, v);
                }
            }
            //處理鄰接概率矩陣
            else {
                String[] strArr = HadoopUtils.SPARATOR.split(value.toString());
                //k為用戶id,輸入的每行就是鄰接概率矩陣中的一行,所以也可以看成行號
                //System.out.println("strArr.length "   +strArr.length);
                for (int i = 1; i < strArr.length; i++) {
                    k.set(String.valueOf(i));
                    //matrix為識別符號,i為該行中第i列(0->i),strArr[i]為值
                    v.set("matrix:" + strArr[0] + "," + strArr[i]);
                    context.write(k, v);
                }
            }
        }
    }
    //每行輸入都是兩個矩陣相乘中對應的值,如:鄰接矩陣的第一行的值和pr矩陣第一列的值
    public static class CalcPeopleRankReducer extends Reducer<Text, Text, Text, Text> {
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            System.out.println("CalcPeopleRankReducer input:");
            StringBuilder printStr = new StringBuilder();
            Text v = new Text();
            int nums = 4;//網頁數量
            float d = 0.85f;//阻尼系數
            float pr = 0f;//pr統計
            //存盤pr矩陣列的值,呼叫HadoopUtils類里的HashMap函式
            Map<Integer,Float>prMap = new HashMap<Integer,Float>();
            //存盤鄰接矩陣行的值,呼叫HadoopUtils類里的HashMap函式
            Map<Integer,Float>matrixMap = new HashMap<Integer,Float>();
            //將兩個矩陣對應的值存入對應的map中
            for (Text value : values) {
                String valueStr = value.toString();
                String[] kv = HadoopUtils.SPARATOR.split(valueStr.split(":")[1]);
                if (valueStr.startsWith("pr")) {
                    prMap.put(Integer.parseInt(kv[0]), Float.valueOf(kv[1]));
                } else {
                    matrixMap.put(Integer.parseInt(kv[0]), Float.valueOf(kv[1]));
                }
                printStr.append(",").append(valueStr);
            }
            System.out.println(printStr.toString().replaceFirst(",", ""));
            //根據map中的資料進行計算(向量內積)
            for (Map.Entry<Integer, Float> entry : matrixMap.entrySet()) {
                pr += entry.getValue()*prMap.get(entry.getKey());
            }
            pr = pr*d + (1-d)/nums;//帶阻尼系數的迭代公式
            v.set(String.valueOf(pr));
            System.out.println("CalcPeopleRankReducer output:");
            System.out.println(key.toString() + ":" + v.toString());
            System.out.println();
            context.write(key, v);
        }
    }

    public static void run(String[] args) throws InterruptedException, IOException, ClassNotFoundException {
        //conf構造方法會默認加載hadoop中的兩個組態檔,分別是hdfs-site.xml以及core-site.xml
        Configuration conf = new Configuration();
        args = new String[]{"/root/pagerank/datas/probility-matrix/part-*","/root/pagerank/datas/pagerank.csv","/root/pagerank/datas/pr/"};
        String inPath1 = args[0];//鄰接矩陣(轉移概率矩陣)
        String inPath2 = args[1];//初始化PR值(默認為1的列向量)
        String outPath = args[2];//未歸一化的PR值
        //實體化物件,此物件是static的,可以跨堆疊區域使用
        //通過Configuration物件獲取job物件,該job物件會組織所有的該mapreduce的所有各種組件
        Job job = Job.getInstance(conf, "AdjacencyMatrix");
        //快速操作HDFS,包括deleteDir和rename功能
        HDFSUtils hdfs = new HDFSUtils(conf);
		hdfs.deleteDir(outPath);//避免重名的檔案夾
        //指定jar包所在路徑,本地模式需要這樣指定,
        //如果不是本地,則使用setJarByClass指定所在class檔案即可
		job.setJarByClass(CalcPageRank.class);
        //設定繼承Mapper類的map方法(CalcPeopleRankMapper),統一map輸出和reduce輸入的資料型別
		job.setMapperClass(CalcPeopleRankMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);
        //設定繼承Reducer類的reducer方法(CalcPeopleRankReducer)
		job.setReducerClass(CalcPeopleRankReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		//從地址中讀取,將HDFS的輸入檔案加載給job處理
		FileInputFormat.addInputPath(job, new Path(inPath1));
		FileInputFormat.addInputPath(job, new Path(inPath2));
        //指定HDFS中不存在的路徑作為job的輸出路徑
		FileOutputFormat.setOutputPath(job, new Path(outPath));
        //向集群提交檔案,輪詢檢查是否成功完成任務,并回傳結果_SUCCESS
		job.waitForCompletion(true);
        hdfs.deleteDir(inPath2);
        hdfs.rename(outPath + "/part-r-00000", inPath2);
    }
    
    public static void main(String[] args) throws Exception{
		CalcPageRank.run(args);
	}
}
  • Standardization
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
//對pr值進行重計算,每個pr都除以pr總值
public class Standardization {
    public static class FinallyResultMapper extends org.apache.hadoop.mapreduce.Mapper<LongWritable, Text, Text, Text> {
        Text k = new Text("finally");
        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            super.setup(context);
            System.out.println("Initial Standardization input:");
        }
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            System.out.println(value.toString());
            context.write(k,value);
        }
    }
    public static class FinallyResultReducer extends org.apache.hadoop.mapreduce.Reducer<Text, Text, Text, Text> {
        Text k = new Text();
        Text v = new Text();
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            System.out.println("Standardization input:");
            //設定字串緩沖區,將給定的資料轉換成字串,方便添加或插入
            StringBuilder printStr = new StringBuilder();
            float totalPr = 0f;
            //設定可動態修改的pr陣列list
            List<String> list = new ArrayList<String>();
            for (Text value : values) {
                String valueStr = value.toString();
                list.add(valueStr);
                String[] strArr = HadoopUtils.SPARATOR.split(valueStr);
                totalPr += Float.parseFloat(strArr[1]);
                printStr.append(valueStr).append("\n");
            }
            System.out.println(printStr.toString().replace(",", ""));
            for (String s : list) {
                String[] strArr = HadoopUtils.SPARATOR.split(s);
                k.set(strArr[0]);
                //標準化公式是除以pr總和
                v.set(String.valueOf(Float.parseFloat(strArr[1])/totalPr));
                context.write(k, v);
                System.out.println("Standardization output:");
                System.out.println(k.toString() + ": " + v.toString());
                System.out.println();
            }
        }
    }
    public static void run() throws InterruptedException, IOException, ClassNotFoundException {
        Configuration conf = new Configuration();
        String inPath = "/root/pagerank/datas/pagerank.csv";
        String outPath = "/root/pagerank/output/";
        Job job = Job.getInstance(conf, "AdjacencyMatrix");
        HDFSUtils hdfs = new HDFSUtils(conf);
		hdfs.deleteDir(outPath);
        //指定jar包所在Class檔案
		job.setJarByClass(Standardization.class);
        //設定map方法(FinallyResultMapper),統一map輸出和reduce輸入的資料型別
		job.setMapperClass(FinallyResultMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);
        //設定reducer方法(FinallyResultReducer)
		job.setReducerClass(FinallyResultReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
        //設定輸入資料和輸出資料路徑
		FileInputFormat.addInputPath(job, new Path(inPath));
		FileOutputFormat.setOutputPath(job, new Path(outPath));
        //輪詢檢查集群是否成功完成任務
		job.waitForCompletion(true);
    }
    
    public static void main(String[] args) throws Exception{
		Standardization.run();
	}
}

參考鏈接1

參考鏈接2

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/287120.html

標籤：其他

上一篇：【知識圖譜】Neo4j基本操作及資料庫檔案匯入（graph.db.dump）

下一篇：從0到1Flink的成長之路(十六)

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種：三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看，三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看，三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統，“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及：虛擬機CentOs下執行 yum -y install lrzsz命令，出現錯誤：鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示：其實很簡單，往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號， sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求，SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生， 2020-08-28 16:18:25 分類專欄： kail 網路安全 linux 文章標簽： linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么？ 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼： #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘（北斗授時服務器）讓網路資料更精準

    北斗電力時鐘（北斗授時服務器）讓網路資料更精準 北斗電力時鐘（北斗授時服務器）讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年，資訊技術的得了快速發展，互聯網在逐漸普及，其在人們生活和生產中都得到了廣泛應用，并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用，一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub：https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺，后來才有了CTFHub。 感覺不論是網頁UI設計，還是題目質量，賽事跟蹤，工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解（net user / type /md /rd/ dir /cd /net use copy、批處理 等） 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝，密碼啊破解03Linux常用命令04LAMP 01LINUX windows： win03 8 12 16 19 配置不繁瑣 Linux：redhat,centos(紅帽社區版)，Ubuntu server,suse unix:金融機構，證券，銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 （POST注入/XSS漏洞上傳）3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題，描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章，不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》，我也是第一時間得知了這個訊息，然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本： 個人認為這件事也沒什么，還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹：metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包，它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一，它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip：192.168.20.121 靶機ip：192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k，軟體測驗工程師的漲薪史，給我看哭了

    清明節一過，盲猜大家已經無心上班，在數著日子準備過五一，但一想到銀行卡里的余額……瞬間心情就不美麗了。最近，2023年高校畢業生就業調查顯示，本科畢業月平均起薪為5825元。調查一出，便有很多同學表示自己又被平均了。看著這一資料，不免讓人想到前不久中國青年報的一項調查：近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文，所以對學習母語的我們非常不友好 使用網址：https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜，前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜，自動化測驗的需求也越來越高。如今，自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分，它們可以幫助開發人員更快地發現和修復錯誤，提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐：4個DVPP記憶體問題的典型案例解讀

    摘要：由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求（例如，記憶體首地址128位元組對齊），因此需呼叫專用的記憶體申請介面，那么本期就分享幾個關于DVPP記憶體問題的典型案例，并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》，作者：昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊，輔助滲透（埠掃描、登錄密碼爆破、漏洞驗證等） 2、encoders 編碼器模塊，主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手：與相機連接，設定相機引數，采集影像 2) 標定助手：九點標定或是其它的標定，生成標定檔案及內參外參，可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客，先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp)，這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接： https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more

Copyright © 2010-2020 有解無憂