近日，亞太地區(qū)數(shù)據(jù)挖掘領(lǐng)域的頂級國際會議——第23屆亞太地區(qū)知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際會議（Pacific Asia Knowledge Discovery and Data Mining，PAKDD）在澳門成功舉行。本次大會，南京大學(xué)人工智能學(xué)院院長周志華首先做了開幕致辭，第四范式首席科學(xué)家楊強教授、普渡大學(xué)副教授 Jennifer Neville、羅格斯大學(xué)大學(xué)終身教授熊輝、羅維拉·維爾吉利大學(xué)名譽教授 Josep Domingo-Ferrer等知名科學(xué)家先后在現(xiàn)場分享了對于知識挖掘領(lǐng)域最新的思考與技術(shù)進(jìn)展。除此之外，大會另一個重要看點是由第四范式、ChaLearn、微軟、亞馬遜聯(lián)合舉辦的“PAKDD 2019 AutoML Challenge”挑戰(zhàn)賽，現(xiàn)場公布了大賽最終成績并舉行了頒獎儀式，深蘭科技 DeepBlueAI 、微軟亞洲研究院、北航組成的ML Intelligence以及清華大學(xué)的 meta_Learners 三只來自中國的隊伍包攬了本次比賽前三名，充分展示國內(nèi)在AutoML研究領(lǐng)域的實力。

據(jù)悉，本次AutoML大賽共吸引了全球127支隊伍參加，提交超550個競賽方案，最終有31支隊伍進(jìn)入決賽進(jìn)行最終的比拼。比賽共分為Feedback phase、Test phase、AutoML phase三個階段，最終成績按照AutoML phase的AUC結(jié)果進(jìn)行評估排序得出，前三名成績排序在Feedback phase、AutoML phase兩個階段均一致。

本次比賽題目是貼近實際應(yīng)用的終身自動機器學(xué)習(xí)（AutoML for Lifelong Machine Learning），旨在解決實際應(yīng)用過程中，數(shù)據(jù)分布不斷變化的動態(tài)環(huán)境給自動化機器學(xué)習(xí)帶來的難題。在設(shè)計能夠自主實現(xiàn)終身機器學(xué)習(xí)的方案中，需兼顧計算效率、多種特征類型、概念漂移（Concept Drift）、終身機器學(xué)習(xí)設(shè)定等諸多挑戰(zhàn)。

以本次大賽冠軍DeepBlueAI方案為例，囊括了自動特征工程、自動特征選擇、自動模型調(diào)參、自動模型融合等步驟的AutoML框架，并對數(shù)據(jù)類別不均衡、概念漂移、時間空間等方面進(jìn)行了針對性的處理和優(yōu)化，同時也有針對性的對概念漂移問題進(jìn)行處理，并且利用了多種策略對運行時間和運行內(nèi)存進(jìn)行了有效的控制，以確保解決方案能在規(guī)定時間和有限內(nèi)存下完成整個流程，并最終在挑戰(zhàn)賽中脫穎而出。

除了DeepBlueAI外，ML Intelligence本次參賽方案也提供另一類的方法，我們都知道AutoML系統(tǒng)從每一批數(shù)據(jù)的輸入到每一批的輸出，實現(xiàn)端到端的自動化，完全不需要人參與，其中核心是自動算法，包括自動配置，自動調(diào)參，自動特征衍生和自動篩選等。本次競賽方案中，ML Intelligence為了能適應(yīng)一個長時學(xué)習(xí)和在線學(xué)習(xí)的場景，能夠適應(yīng)特征或者樣本的概念漂移，提出了一種基于模型的(model based)的方法，這與傳統(tǒng)的基于分布(distribution based)的概念漂移檢測方法不同，不需要用人的經(jīng)驗來做一些分布指標(biāo)就能夠?qū)崿F(xiàn)漂移特征的自動檢測。實際操作是訓(xùn)練一個特別簡單的GBDT模型，來區(qū)分兩個時間窗的樣本，通過特征重要性排序來排序分布偏移的大小。然后為了適應(yīng)場景，對高階衍生特征和原始重要特征做了不同的處理。

另外，meta_Learners團(tuán)隊本次設(shè)計了一套基于梯度提升樹（Gradient Boosting Tree）、概念遷移自適應(yīng)的自動機器學(xué)習(xí)（AutoML）系統(tǒng)。在傳統(tǒng)AutoML框架基礎(chǔ)上，結(jié)合本次比賽的特點進(jìn)行了針對性的設(shè)計。首先，在特征工程方面針對類別特征高基數(shù)、長尾分布的特點采用了頻數(shù)編碼；并設(shè)計了自動特征工程模塊，可以針對不同數(shù)據(jù)集的特點，高效地提取出有助于提升模型預(yù)測效果的多種特征組合；在概念遷移自適應(yīng)方面，采用自適應(yīng)的流式協(xié)同編碼技術(shù)，提高數(shù)據(jù)集的表征一致性，從而提升了預(yù)測性能。在超參數(shù)調(diào)節(jié)上，團(tuán)隊設(shè)計了一種結(jié)合了先驗知識和自動搜索的層次化自動調(diào)參策略，從而保障整個系統(tǒng)運行的效率和魯棒性。

對于本次挑戰(zhàn)賽取得成績以及方案效果，大賽負(fù)責(zé)人、第四范式資深算法科學(xué)家涂威威表示：盡管大賽周期覆蓋了中國春節(jié)假期以及學(xué)生的期末放假時期，整個參賽隊伍的提交量依然超過了去年的NeurIPS的AutoML比賽，大家競爭非常激烈；同時，由于NeurIPS 2018的冠軍隊伍也公布了他們的方案，我們也看到這一屆的前三效果都遠(yuǎn)遠(yuǎn)超出了NeurIPS 2018年的冠軍解決方案效果；在整體方案上，這次前三在時序特征處理、不平衡數(shù)據(jù)處理以及對概念漂移問題的處理相比NeurIPS AutoML的解決方案都有了非常多的創(chuàng)新與進(jìn)步。未來希望大家更積極踴躍參加今后的AutoML比賽，共同推動AutoML技術(shù)在AI產(chǎn)業(yè)中落地和應(yīng)用。

近年來，AutoML學(xué)術(shù)研究和應(yīng)用逐漸從前沿研究邁入了行業(yè)主流發(fā)展的階段，越來越多的研究機構(gòu)和企業(yè)都紛紛開始AutoML的研究工作，以國外ChaLearn、Google和國內(nèi)第四范式為代表的AutoML先行者則不遺余力推動行業(yè)發(fā)展和應(yīng)用落地。PAKDD 2019 AutoML挑戰(zhàn)賽是今年AutoML的首場挑戰(zhàn)賽，接下來會迎來今年KDD CUP 2019 AutoML和 NeurIPS 2019 AutoDL兩場AutoML年度大賽，其中KDD CUP是首次舉辦AutoML挑戰(zhàn)賽，不僅開創(chuàng)了該項賽事22年歷史的先河，更印證了AutoML進(jìn)入學(xué)術(shù)研究和行業(yè)應(yīng)用的上升期。

值得欣慰的是，AutoML在國內(nèi)的發(fā)展一直處于領(lǐng)先水平，在以第四范式為代表國內(nèi)AI企業(yè)的積極帶動和默默耕耘下，一方面將技術(shù)研究成果迅速落地實際生產(chǎn)應(yīng)用，另一方面與海外頂級學(xué)術(shù)組織聯(lián)合，在全球范圍內(nèi)的頂級會議中組織AutoML競賽，大力推動行業(yè)發(fā)展，成為了AutoML技術(shù)身后最堅定有力的支持者。本次PAKDD 2019 AutoML競賽前三名被中國隊包攬，充分展示了中國在AutoML領(lǐng)域的示范力量。