主頁 >  其他 > 資料小白之入學筆記一

資料小白之入學筆記一

2020-10-03 03:47:24 其他

(一)埋點概念理解
1.什么是埋點?
是資料采集領域(尤其是用戶行為資料采集領域)的術語,指的是針對特定用戶行為或事件進行捕獲、處理和發送的相關技術及其實施程序。
2.為什么要學習資料埋點?
為了設計“記錄”用戶“動作”的方案,記錄用戶“動作”發生的場景,探索用戶“動作”背后的意圖從而進行多維度,量化的分析,挖掘客戶隱藏的價值資訊
3.埋點要怎么做?
(1)代碼埋點:最可控的埋點方式
代碼埋點是最經典的幫助工程師了解用戶是如何使用產品的埋點方式。因為是工程師人工將埋點結合到代碼邏輯中,理論上只要是客戶端種的操作,再復雜也能采集到。常見的如:頁面停留時間,頁面瀏覽深度,視頻播放時長,用戶滑鼠軌跡,表單項停留及終止等等。尤其是一些非點擊的、不可視的行為,是非要代碼埋點來實作不可了。所以如果我們需要對埋點有更加精準的控制力,那么代碼埋點是最好的選擇。
也許你還分不清集成和埋點。為了進行埋點,廠商通常都提供一個代碼包,可以理解為一個工具包,里面包含常用的工具。想埋點就要先有這個工具包,也就是集成SDK。然后根據里面的說明書,再使用這個工具包制作出各種東西,也就是埋點了。

(2)全埋點:讓我歡喜讓我憂
全埋點,一些國內的團隊也稱“無埋點”、“無痕埋點”以及“自動埋點”。是一種對全自動的埋點方式的探索,而且從名字看仿佛是個一勞永逸的解決方案,那我們先看看什么是“全埋點”。
客戶端埋點一般分為訪問級、頁面級、頁內行為級。用戶訪問一個網站或啟動一個移動應用時幾乎所有的廠商都會自動采集上報用戶的訪問;當用戶訪問不同頁面時,有一部分廠商就會選擇不默認自動采集,而將其作為一個選項交給用戶;而對于用戶在某一個頁面內詳細的操作行為,只有極少數廠商支持自動采集上報。實作了后兩種自動采集的廠商,通常會說自己是全埋點。但頁內行為級的采集也還可以進一步探討其采集的范圍。最常見的就是自動采集可互動元素和自動采集所有元素的差別。
可互動元素包含:鏈接、表單項(如按鈕、輸入框等)、HTML 的物件級元素等。不可互動元素就太多了,絕大多數的頁面元素都屬于此類。由于實際上網頁和移動應用中的大家可以看得到的界面很多都并不是標準元素,所以實際上界面上很多看似可互動的元素也都是無法自動采集上報的。
首先,全埋點確實會自動采集非常多的資料,而且未來在使用資料的時候就可以從資料庫中直接查詢,不會面臨我想看的時候因為沒有埋點采集而獲取不到的情況。這是非常受分析師喜愛的方式,因此經常會聽到“能采集就盡量都采集,后續分析總能用得到”。其次,埋點是比較耗時的作業,需要業務方提供方案,工程師進行埋點,測驗團隊進行測驗。而由于實際作業中埋點數量比較多,每次發布新功能或新活動都需要新的埋點,所以埋點不但費時,而且錯誤率也難以控制。有了全埋點,資料用不用都先識訓來,由于都是程式自動完成,業務人員想要A 而工程師埋成B 這種錯誤也幾乎不存在。
然而任何事務都有它的兩面性。
首先,全埋點的“全”并非真的全部。基本的電腦瀏覽器和移動應用中頁面內常見的用戶操作包括滑鼠行為、鍵盤行為和手指行為。例如網頁端常見的滑鼠點擊、滑鼠滑動、螢屏滾動、鍵盤錄入、游標選取甚至靜止等,移動端除了類似點擊的按下,還有多指開合、拉動、用力按下等等行為。但這些操作并不會都被“埋點”,能埋點的通常僅限點擊或者按下,這顯然是遠遠不夠的,甚至我們都不能稱之為全埋點。
其次,全埋點的“全”以采集上報的資料量為代價,隨著資料量上升導致客戶端崩潰的概率也會上升。尤其是移動端,更多的資料量意味著更多的電量、流量和記憶體消耗。從這個角度來看,想做到真正的“全”在現階段也是很難。
第三,即使全部行為資料可以被接識訓來,具體分析時的二次梳理和加工也無法避免,甚至痛苦。因為機器無法在采集時能按照我們想要的方式對全部事件進行有意義的命名,甚至無法保證采集上來的事件都正好是正確的。于是前期埋點時節省下來的人力成本,這個時候又都搭進去了。
第四,現階段全埋點對于用戶身份資訊和行為附帶的屬性資訊也幾乎無能為力。
那么這個功能到底是我需要的嗎?這其實是個度的問題。關于這個問題,只能說得結合你實際情況,如果你更需要隨機探索過去點擊行為的趨勢,那么這個功能就還合適,否則還有更好的選擇。

(3)可視化埋點:一種所見即所得的埋點方式
代碼埋點和全埋點并沒有在易用性和準確性方面達到平衡。可視化埋點,很多時候也被稱為“無碼埋點”。前文提到,代碼埋點的缺點對于網站還好,但對于移動應用來講無疑是格外低效的。為了解決這個問題,在一部分廠商選擇全埋點的同時也有大量廠商選擇了一種所見即所得埋點的道路,即可視化埋點。
可視化埋點的好處是可以直接在網站或移動應用的真實界面上操作埋點,而且埋點之后立即可以驗證埋點是否正確,這還不算完,將埋點部署到所有客戶端也是幾乎實時生效的。因為可視化埋點的這些好處,分析的需求方,業務人員,沒有權限觸碰代碼或者不懂得編程的人都可以非常低的門檻獲取到用于分析的資料。可謂是埋點的一大進步。
可視化埋點的部署原理
支持可視化埋點的SDK 會在被監測的網站或移動應用被訪問時向服務器校驗是否有新的埋點,如果發現更新的埋點,則會從服務器下載并且立即生效。這樣就能確保服務器收到最新的埋點后,所有客戶端都能在下一次訪問時得到部署了。
可視化埋點和全埋點有著對埋點和分析全然不同的追求。可視化埋點的理念是提升原作業流程的效率——依然要梳理需求、設計埋點;全埋點則是將作業流都進行了簡化——反正資料會被采集回來,這兩步的必要性就容易被忽視。這里不能說孰優孰略,因為事先嚴謹的計劃和事后發散的探索都是分析中的不同角度。況且這兩種埋點也完全不是排他的,完全可以同時使用。
可視化埋點局限性也很多。
首先,可視化埋點也只是針對點擊可見元素的,其中可見元素最常見的就是點擊行為了。對于點擊操作的埋點也確實是目前可視化埋點的主攻點。但從實際情況看,復雜頁面、不標準頁面、動態頁面都給可視化埋點增加不可用的風險,一旦遇到就還是只能代碼埋點了。
其次,對于點擊操作附帶的業務屬性,雖然也可通過進一步選取屬性所在元素來獲取屬性資訊,但國內廠商支持得好的就比較少了。
第三,為了確保埋點準確性,可視化埋點也逐步整合了更為復雜的高級設定,例如:“同頁面”、“同版本”、“同層級”、“同文本”……,加上了這些復雜設定的可視化埋點也是那個為提效而生的可視化埋點嗎?

(二)記錄群里幾個問題想法
「 咆哮: 問題一:文中指出的定位埋點,關于用戶拒絕上傳定位資訊的、H5沒有定位權限的、用戶身份資訊無法獲得當前活動詳細地址的這些若干情況改如何處理,資料中該如何處理?
答:看資料分析時候這個資料是否重要,要是不重要這種資料可以直接在資料清洗中去除,要是重要,則通過其他方式,如誘導客戶,記錄ip,記錄手機號碼等方式獲取資料
問題二:關于url get傳參方式,url總長度有限制,如何優化埋點,技術上解決手段有哪些(案例2解讀 可解決一部分
答:首先可以使用post提交,而不是get,post可以提交很多資料。其次可以使用狀態碼如第一位1代表晚上,2代表早上,3代表中午,第二位1代表吃飯,2代表看書,3代表睡覺,那么11就表示晚上吃飯,22就表示早上看書,再其次,上面的狀態碼可以用二進制的數表示,然后壓縮
問題三:關于用戶操作路徑目前很模糊不知如何入手,(包括資料埋點優化,需要埋哪些點才夠,埋點之后的建倉也應該有更好的方式)
問題四:關于唯一標志,埋點的頁面多種多樣而且用戶行為都在客戶端,有的已經登錄,有的甚至沒有登錄,但是在計算uv或者留存時往往需要去重,如何設計唯一標志,特殊情況如何處理? 」
答:唯一資訊這種東西一般都是用系統唯一編號的,特殊的時候可以使用聯合資訊作為唯一資訊也可以用它文章中的環境資訊作為唯一資訊

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/150152.html

標籤:非技術區

上一篇:系結證券了銀行卡沃日

下一篇:java演算法題目請教,在線等演算法高手,400分全散

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more