黄色片免费_国产伦精品一区二区三_在线观看免费av网_香蕉久久精品_奇米网首页_欧美国产高潮xxxx1819

為了更好的為用戶服務以及公司的長遠發(fā)展，通過日志信息的采集以及對數(shù)據(jù)多維度的分析， 分析網(wǎng)站中各個模塊的點擊、瀏覽、下載、安裝等行為，獲得用戶行為及價值取向等統(tǒng)計信息，例如批發(fā)商品在各個地區(qū) Top 排行、日活用戶、月活用戶等，為公司各部門提供需求報表以及公司決策提供數(shù)據(jù)支持。

抽取和地理信息相關行業(yè)新聞信息以及旅游景點新聞信息內容來豐富公司素材庫，為司南的APP、公眾號做內容推送提供精準素材。此項目為一期項目，分布式高并發(fā)爬蟲框架配合 MySQL 數(shù)據(jù)庫，獲取相關網(wǎng)址信息。

數(shù)據(jù)結構、地理數(shù)據(jù)庫、webGis等

通過獲取用戶下載 App 的行為和用戶喜好，基于對物品推薦算法進行研究，根據(jù)物品的長尾性原理，分析出用戶點擊、下載、安裝等行為間的關聯(lián)性，通過 MapReduce 和后期用 Spark 優(yōu)化實現(xiàn)算法程序，對用戶流量進行切分，找到最合適的廣告投放策略，為用戶有針對性地推薦喜歡的商品，從而 給用戶更好的體驗以及給公司帶來更大的效益。

1. 參與研究基于物品的協(xié)同過濾相似度推薦算法 2 .負責 MapReduce、Spark 程序實現(xiàn)基本的算法以及后期的優(yōu)化 3. 制定離線測試，線上試驗驗證結果，以確認是否達到與通投相比 CVR 提升到指定指標 4. 負責導出 App 相似度數(shù)據(jù)集，供后續(xù)廣告部門使用

為了更好的為用戶服務以及公司的長遠發(fā)展，通過日志信息的采集以及對數(shù)據(jù)多維度的分析， 分析網(wǎng)站中各個模塊的點擊、瀏覽、下載、安裝等行為，獲得用戶行為及價值取向等統(tǒng)計信息，例如批發(fā)商品在各個地區(qū) Top 排行、日活用戶、月活用戶等，為公司各部門提供需求報表以及公司決策提供數(shù)據(jù)支持。

1. 負責從數(shù)據(jù)集取、轉換、清洗數(shù)據(jù)到數(shù)據(jù)存儲，以及數(shù)據(jù)處理功能的開發(fā) 2. 負責編寫 MapReduce 進行離線數(shù)據(jù)分析 3. 負責編寫通用任務工作鏈工具，作為統(tǒng)一的 Mapreduce 編寫標準。 4. 負責使用 Flume 歸集 Nginx 行為日志和 Tomcat 日志數(shù)據(jù) 5. 負責編寫 Shell 腳本及 Oozie 配置項目的調度與依賴

抽取和地理信息相關行業(yè)新聞信息以及旅游景點新聞信息內容來豐富公司素材庫，為司南的APP、公眾號做內容推送提供精準素材。此項目為一期項目，分布式高并發(fā)爬蟲框架配合 MySQL 數(shù)據(jù)庫，獲取相關網(wǎng)址信息。

1. 參與分布式網(wǎng)絡爬蟲系統(tǒng)平臺的架構設計與開發(fā) 2. 根據(jù)生產(chǎn)者消費者模式的分布式并發(fā)框架,編寫程序實現(xiàn)新聞頁面的下載,以 Python 語言實現(xiàn)過程 3. 研究反爬蟲策略，如封賬號、封 IP 等問題，提升網(wǎng)頁抓取的效率和質量 4. 將爬取的數(shù)據(jù)推送到 Kafka 隊列并上傳到 Hadoop 集群，供其他人使用。 5. 項目后期的維護和優(yōu)化