新用戶登錄后自動創(chuàng)建賬號
登錄2015年12月10-12日,由中國計算機學會(CCF)主辦,CCF大數(shù)據(jù)專家委員會承辦,中國科學院計算技術研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦,以“數(shù)據(jù)安全、深度分析、行業(yè)應用”為主題的 2015中國大數(shù)據(jù)技術大會 ( Big Data Technology Conference 2015,BDTC 2015)在北京新云南皇冠假日酒店盛大開幕。
2015中國大數(shù)據(jù)技術大會第三天的交通與旅游大數(shù)據(jù)分論壇中,來自北京市交通運行監(jiān)測調度中心、神州專車、高德、 攜程、途牛、途家的六位專家與教授分享了政府和企業(yè)利用大數(shù)據(jù)在交通與旅游方面的實踐。本次論壇由CSDN副總編董世曉主持。
CSDN副總編 董世曉
北京市交通運行監(jiān)測調度中心副主任張可:北京市綜合交通運行數(shù)據(jù)體系建設與應用
北京市交通運行監(jiān)測調度中心(TOCC) 建成于 2010年底,2011年5月機構設立,是北京市綜合交通運輸協(xié)調體系的重要組成部分?,F(xiàn)已形成運行監(jiān)測體系、協(xié)調調度體系、信息服務體系為一體的總體業(yè)務格局。
北京市交通運行監(jiān)測調度中心副主任 張可
張可談到北京市面向綜合交通運行分析的監(jiān)測數(shù)據(jù)體系。針對龐大的基礎數(shù)據(jù)內容和數(shù)據(jù)量,重點圍繞綜合交通監(jiān)測及運行分析需求,通過對數(shù)據(jù)層的歸納梳理,結合數(shù)據(jù)來源、數(shù)據(jù)接入方式統(tǒng)一設計數(shù)據(jù)存儲結構。圍繞城市路網區(qū)域和路段的運行特征,構建了交通指數(shù)、運行速度、擁堵持續(xù)時間等7個指標項;根據(jù)AFC和運營數(shù)據(jù),構建軌道交通動態(tài)客流指標、軌道交通客運量指標、軌道列車運行指標;通過出租車GPS數(shù)據(jù)和計價器數(shù)據(jù),構建出租車運力指標、運營特性指標、運營安全與規(guī)范指標;通過對交叉領域關聯(lián)性較強數(shù)據(jù)項之間的深入挖掘,提出了反映城市綜合交通運行特點的相關指標,如軌道交通客運量占比、公交運送速度比、城際客運量及占比等綜合指標定制化多粒度復合特征提取。
該中心同時建立了集綜合交通動態(tài)運行監(jiān)測分析、視頻資源管理應用、公眾信息統(tǒng)一發(fā)布于一體的省級綜合交通運行監(jiān)測業(yè)務平臺。其中視頻資源管理應用平臺包括數(shù)字化的視頻資源管理平臺、基于GIS的視頻應用平臺、基于圖像智能提取技術的視頻智能分析平臺。統(tǒng)一的公眾信息發(fā)布平臺通過信息獲取、信息編輯、信息審核、信息發(fā)布、信息歸檔、發(fā)布渠道對接、統(tǒng)計分析實現(xiàn)進真正一體化的、多方式的綜合出行服務。在整合既有交通行業(yè)在線服務的基礎上,集成公交、公共自行車、軌道交通、省際客運、航班、鐵路、停車等多種方式。
演講結尾,張可表示未來北京市交通運行監(jiān)測調度中心將開放共享數(shù)據(jù)資源與仿真工具環(huán)境,為交通數(shù)據(jù)專業(yè)機構和人員提供從綜合交通數(shù)據(jù)查看、導出、分析、仿真和可視化展示的一體化支撐。
神州專車首席架構師李思:神州專車時空大數(shù)據(jù)處理實踐
神州專車首席架構師李思帶來的分享“神州專車時空大數(shù)據(jù)處理實踐 ”。神州專車是一個成立于今年年初的互聯(lián)網出行企業(yè),目標是提供高端的出行體驗。神州專車中:安全是基礎,管理和技術雙管齊下,以嚴格的制度對司機進行管理和通過車聯(lián)網監(jiān)控減少不良駕駛行為,確保行車安全;效率是關鍵,通過改進技術提高司機效率、訂單滿足率、車輛利用率;增長是目標,對用戶行為的量化分析,實現(xiàn)精確營銷。
神州專車首席架構師 李思
整體架構中,通過車聯(lián)網/OBD收集數(shù)據(jù)并進行實時處理;同時離線分析機器學習形成預測模型對服務前端進行調度、定價;司機/乘客前端請求返回到調度、財務等子系統(tǒng)內,再次進行數(shù)據(jù)分析。后面有一套商業(yè)智能處理分析系統(tǒng),以MySQL方式數(shù)據(jù)聚集在數(shù)據(jù)庫中,最后生成業(yè)務報表。同時在前端收集了很多用戶的訪問日志,形成一個用戶事件流,方便對用戶行為進行分析。通過駕駛行為分析與報警以確保用戶乘車安全;對司機油耗、有效里程分析等方式提高效率??臻g上進行網格化劃分,網格內部按時間對供給和需求預測,提高調度效率;用戶數(shù)據(jù)分析平臺通過用戶歷史訂單、訪問日志、優(yōu)惠券的領取和使用情況、社交網絡的分享記錄等數(shù)據(jù)分析實現(xiàn)用戶畫像和精準營銷。具體的構建方法為:
1.將用戶操作以及由其引發(fā)的系統(tǒng)狀態(tài)變化都定義為事件;
2.把多個異構數(shù)據(jù)源中的事件按用戶聚集;
3.把同一用戶的事件按時間發(fā)生的時間排序,成為用戶事件流;
4.按業(yè)務需求定義一批基于用戶事件流的基本函數(shù)(API);
5.使用Hive或者MapReduce進行數(shù)據(jù)分析。
演講最后,李思分享了神州專車在大數(shù)據(jù)處理方面的心得。對于初創(chuàng)型企業(yè),會存在有租用機房資源偏緊、大規(guī)模營銷活動容易造成系統(tǒng)過載等問題。這時企業(yè)可與第三方企業(yè)和高校有緊密合作,同時可將非核心部件(降低系統(tǒng)部件之間的耦合度)、大規(guī)模營銷活動、第三方合作、短時的計算密集型任務在云上部署(Iaas),達到安全性提高、可靠性提高、靈活性提高、成本可控的效果。
高德交通大數(shù)據(jù)資深專家方興:大數(shù)據(jù)如何指導旅游出行
高德交通大數(shù)據(jù)資深專家方興演講主題是“大數(shù)據(jù)如何指導旅游出行”。高德所生產的、所消費的全部都是數(shù)據(jù)。通過這些數(shù)據(jù)我們能夠更好的理解出行、地理信息以及相關的服務,為日后的商業(yè)提供更好的支持。
現(xiàn)場,方興展示數(shù)據(jù)分析得出的國內交通狀況。高德地圖通過實時數(shù)據(jù)處理,實現(xiàn)實時路況與事件、實時交通與導航。高德是數(shù)據(jù)公司,所有的工作都是圍繞著數(shù)據(jù)完成的,最底層的也是傳統(tǒng)的信息系統(tǒng)最核心的部分就是地理信息。其技術架構也是業(yè)務架構包括:前臺應用在線服務,包括導航、定位、搜索、導航、實時交通等等。每一個服務單獨拿出來都是一套非常龐大的系統(tǒng)。最前端主要是分成幾大塊,第一大塊就是高德地圖應用APP。第二塊是開放平臺,為第三方的合作伙伴提供開放的數(shù)據(jù)接口,提供導航服務、公交服務、定位。第三塊就是最近著重做的車聯(lián)網,車載設備,未來的汽車里面內置。第四塊中國蘋果地圖的所有數(shù)據(jù)都是由高德提供的;Hbase、阿里RDS、緩存等技術實現(xiàn)在線數(shù)據(jù)存儲;核心數(shù)據(jù)統(tǒng)一存儲方面,利用阿里ODPS(由5000個節(jié)點構成的集群)支持SQL/MR/Spark/Storm多種方式,平臺的數(shù)據(jù)每天都會會合到ODPS上,然后可以進行分鐘級的數(shù)據(jù)報表、數(shù)據(jù)生成、數(shù)據(jù)發(fā)布。整個地圖引擎、導航引擎、實時交通引擎都是通過這種方式來工作;同樣利用TT生產服務器實時日志采集。
高德交通大數(shù)據(jù)資深專家 方興
基于這些數(shù)據(jù),高德做了很多數(shù)據(jù)挖掘方面的工作:一是通過結合軌跡熱力圖與現(xiàn)有路網,發(fā)布新路與過期路信息;二是通過分析通車流量變化和用戶上報事件,對封路和交通事件實時監(jiān)測;三是對歷史車速的分析,構建道路速度模型,用來做路況預測。這些方式方法進行關聯(lián)以后,可信度或者質量、準確度就會有很大的上升。有了這些方法,用戶在做路線規(guī)劃或者確定旅行時間就會更加精準。
高德地圖通過數(shù)據(jù)挖掘可以面向交通,面向用戶的出行提供更好的服務,未來的愿景就是實現(xiàn)智能交通。
攜程基礎大數(shù)據(jù)高級數(shù)據(jù)分析經理于磊:攜程基礎大數(shù)據(jù)架構實踐
攜程基礎大數(shù)據(jù)高級數(shù)據(jù)分析經理于磊分享的是“攜程基礎大數(shù)據(jù)架構實踐”。在OTA行業(yè)對于電商公司,可能它的大數(shù)據(jù)應用相對來說還是比較簡單的。比如攜程網站,它有15、16個業(yè)務線,但是如果打開京東或者天貓一號店,會發(fā)現(xiàn)它的類目項有4000多個。
OTA公司數(shù)據(jù)具有業(yè)務線差異大、復雜度高等特點,其大數(shù)據(jù)落地場景往往是分析報表、AB test平臺、用戶中心、個性化推薦欄位、精準化運營等方面。目前攜程中有著20個BU以及相應的數(shù)據(jù)團隊,但同樣面臨著數(shù)據(jù)來源多、標準不一、ETL流程管理困難、全司級跨BU數(shù)據(jù)使用困難等問題。
攜程基礎大數(shù)據(jù)高級數(shù)據(jù)分析經理 于磊
目前攜程大數(shù)據(jù)架構中,大數(shù)據(jù)架構共分為精準化應用層、通用化配置層、算法引擎層、日志層、數(shù)據(jù)源層五層。其中數(shù)據(jù)源層用于規(guī)范埋點注冊、生成,以及進行環(huán)境實時校驗(事前)、ETL數(shù)據(jù)校驗(事中)、離線校驗告警(事后);日志層中利用Trace MQ (Kafka等)進行離線 & 實時數(shù)據(jù)接入,并開放了MQ、API Service、Hive 表對外接口;算法引擎層中,通過離線用戶畫像、相似相關商品、規(guī)則挖掘、主題挖掘(HBase、Redis)方式和實時:用戶意圖(HBase、Redis)分析,以及Hive、ES等方式,實現(xiàn)范驗證畫像審核、ETL 中Schema識別、測試環(huán)境血緣審核;通用化配置層以選人魔方(廣告、 SMS、APP推送、EDM)、個性化推薦平臺、選品平臺等通用化精準營銷平臺(開發(fā)中),實現(xiàn)數(shù)據(jù)出口;精準化應用層用于推薦欄位和個性化廣告投放。
目前攜程實現(xiàn)了數(shù)據(jù)支點的元數(shù)據(jù)管理、數(shù)據(jù)規(guī)范、統(tǒng)一維表、統(tǒng)一數(shù)據(jù)接口、標準化指標、安全管理數(shù)據(jù)治理流程。 元數(shù)據(jù)標準流程:目前攜程做了一些自動化的流程方面的管理。在各個團隊創(chuàng)建數(shù)據(jù)表時,統(tǒng)一采集數(shù)據(jù)的Schema,跟定期存儲的數(shù)據(jù)進行比較;統(tǒng)一監(jiān)控ETL之間、流程與流程、交付與交付之間的關系。當一個數(shù)據(jù)源或者流程的schema有可能影響到其他的ETL或者其他團隊的工作,能被監(jiān)控出來;通過血緣分析,通知下游。
在QA環(huán)節(jié),于磊對與會嘉賓提出的埋點技術和用戶推薦時考慮的維度進行了詳細的解答。
途牛大數(shù)據(jù)總監(jiān)孟敬慈:途牛旅游大數(shù)據(jù)應用實踐
途牛大數(shù)據(jù)總監(jiān)孟敬慈進行了題為“途牛旅游大數(shù)據(jù)應用實踐”的演講。他的演講分為途牛業(yè)務模式、旅游行業(yè)特性 、數(shù)據(jù)解決方案三部分展開。目前途牛業(yè)務模式分為旅游電商、金融科技、影視傳媒三塊。目前作為重心來說最主要還是途牛旅游這一塊。途牛最早是從跟團自助做起,跟攜程的模式不一樣,現(xiàn)在也有機票、酒店、門票、簽證、wifi,但是傳統(tǒng)上來說最主要是跟團和自助。
途牛大數(shù)據(jù)總監(jiān) 孟敬慈
旅游行業(yè)具有非標準化、低頻次、強時效性+高客單價特點。旅游是非標準性產品,由此可產生非標準化衍生需求:資源如何組合?途牛在這方面采用的是產品 到相似產品推廣和資源到關聯(lián)資源自動打包、交叉銷售的方式。他談到,途牛并非完全低頻,至少在APP時代,應是處于高低頻之間。途牛有一個目的地資源,基于LBS的推薦系統(tǒng),可向用戶推薦旅游周圍的演出或者吃喝玩樂實現(xiàn)travel goes mobile。在供應商短已經做到較高頻次,途牛供應商平臺N-Booking現(xiàn)已有注冊用戶數(shù)幾萬、SKU通過NB錄入占比85%以上、SKU數(shù)達幾百萬、訂單NB確認率95%以上。
接下來, 孟敬慈談到了供應商金控模式,采用旅游業(yè)平臺+投資機構和旅游業(yè)供應商利用平臺數(shù)據(jù)共同投資模式。旅游產品時效性等特性衍生出風險管理與價格管理需求,產生了對應的風險管理、價格管理的定量解決方案、新的產品與模式。他主要介紹了最優(yōu)庫存與定價策略和收益管理策略。售前:確定銷售期之前需采購的初級庫存最優(yōu)量,作為與供應商談判的目標,同時制定與最終獲取庫存量相應的價格策略;售中:銷售期進入到一定階段后,若銷量顯著高于售前預期,計算需要補進的次級庫存最優(yōu)量,以及相應定價策略,若銷量顯著低于預期,調整價格策略并進行相應措施。在收益管理中,將市場細分為商務旅客和休閑旅客,制定不同的定價策略,差異化推送產品,具體地實施方案為Demand Forecast和Inventory Allocation兩種。演講最后他總結到旅游產品與金融需要緊密結合,才能做到最好的收益管理。
途家BI總監(jiān)秦涌:途家網數(shù)據(jù)分析的商業(yè)實踐
途家BI總監(jiān)秦涌分享的題目“途家網數(shù)據(jù)分析的商業(yè)實踐”。他簡單介紹到途家是全球公寓民宿預訂平臺,在國內覆蓋265個城市,海外1038個城市。他本次分享的重點在于:數(shù)據(jù)的價值在于技術和商業(yè)的結合;數(shù)據(jù)在技術方面縱深發(fā)展,在商業(yè)實踐方面百花齊放。秦涌本次演講通過分享4個途家網在商業(yè)實踐方面的案例,與大家探討:“數(shù)據(jù)如何在商業(yè)層面達到和業(yè)務的互動”。
途家BI總監(jiān) 秦涌
和傳統(tǒng)的OTA相比,途家業(yè)務具有3+人以上的家庭出游的度假需求占比較多;30種產品類型可供選擇:公寓、復式、別墅、游艇等;20%的用戶決策周期(從開始瀏覽到購買)超過1天三個特征。因此需要解決度假需求往往沒有明確的目的地或比較模糊,需要幫助用戶解決“去哪里”的問題;產品類型多,需要幫助用戶確定“住什么房子”:用戶決策慢,需要幫用戶加速決策,回答“這些房子怎么樣”三個問題。
通過對“去哪兒”案例一中的數(shù)據(jù)分析,途家得出以下三個特點:
1.不管任何時候,同城預訂訂單占比很大;
2.大部分時候,周邊游僅次于同城預訂;
3.城市之間的往來度假是有規(guī)律的:進入冬天,東北和西南去三亞的人增幅最大。
因此,途家對應的開展了三個業(yè)務應用:
1.在途家PC首頁根據(jù)用戶所在地,做了目的地智能推薦;
2.智能推薦里面明確了本城市房屋推薦、城市周邊推薦,其他城市推薦;
3.加強了線下門店的同城品牌推廣。
案例二中,通過收集用戶歷史的數(shù)據(jù)發(fā)現(xiàn)規(guī)律。根據(jù)總結出來的規(guī)律,賦予每個房屋適合的出行目的,便于用戶選擇。案例三中,加強用戶信息需要一些感性的評價:閱讀評論,但有兩個問題:評論文字多,且一般在靠后的流程(詳情頁)。通過文本挖掘,概括了每個房屋的印象,并提前到了列表頁展示。
這些案例緊緊圍繞途家業(yè)務,設計計算方法,輸出分析結果、并落地驅動業(yè)務作出改善,秦涌給出3個啟示:一是數(shù)據(jù)分析的出發(fā)點一定和具體業(yè)務相關,如測量業(yè)務與預測業(yè)務;
二是數(shù)據(jù)分析沒有固定的方法,測量業(yè)務往往是在深度理解業(yè)務的基礎上的簡單運算,數(shù)學模型常使用在業(yè)務預測上;三是數(shù)據(jù)分析人員在業(yè)務單元的輪崗是提升數(shù)據(jù)分析結果的價值、加強數(shù)據(jù)和業(yè)務互動的有效辦法。
【號外!】執(zhí)惠私享會第二站將于12月19日(周六)下午在深圳舉辦,此次活動邀請到了多家深圳旅游O2O代表企業(yè)的創(chuàng)始人、高管,一起探討“2016年如何在‘互聯(lián)網+旅游’里煉金”的話題。
除了干貨分享外,執(zhí)惠旅游還將在現(xiàn)場抽出幸運觀眾送出由安科運達提供的塞舌爾、巴厘島往返機票!趕快約起來吧!報名請戳?“我要報名”!