編者按：人工智能大數(shù)據(jù)時代，特別是深度學習，需要大量精確標注的數(shù)據(jù)。而數(shù)據(jù)標注需要大量的人工，所以數(shù)據(jù)標注是人工智能背后的人工！既然人工智能可以替代重復(fù)性勞動，并且已應(yīng)用在各行各業(yè)，那么，人工智能是否也能替代|加速數(shù)據(jù)標注這一重復(fù)勞作呢？

作者?留德華叫獸?美國Clemson應(yīng)用數(shù)學|運籌學碩士、博士候選人，德國海德堡大學數(shù)學|組合優(yōu)化博士，博士研究方向為離散優(yōu)化在計算機視覺的交叉應(yīng)用。讀博期間于意大利博洛尼亞大學和法國巴黎綜合理工訪問10個月，意大利IBM Cplex實習半年。學術(shù)不精，轉(zhuǎn)而致力于科普，讀博期間創(chuàng)辦運籌OR帷幄（運籌學|數(shù)據(jù)科學|人工智能社區(qū)）以及DIY飛躍計劃（全球1000+海外碩博留學咨詢師）倆個知乎機構(gòu)號|微信公眾號|頭條號|社區(qū)，并邀請學界|業(yè)界大佬聯(lián)合舉辦了10+知乎 Live?，F(xiàn)于德國某汽車集團無人駕駛部門機器學習組，擔任計算機視覺研發(fā)工程師。

其實標題的后半段起源于一則位于德國海德堡的實習生招聘，先貼出招聘Title，然后開始我的正文

AI/ML- Optimisation Internship (Annotation Acceleration), MLPT Heidelberg, Baden-Wurttemberg, Germany

?

八卦

蘋果造車應(yīng)該已經(jīng)不是什么新聞了，作為互聯(lián)網(wǎng)公司造的車，無人駕駛不可避免將會是其主打噱頭。

而無人駕駛因為其特殊性，安全問題是重中之重，也正因如此，深度學習的模型要想能量產(chǎn)，則需要超高精度超大量的標注數(shù)據(jù)來訓練。

因此，數(shù)據(jù)，可以說是任何無人駕駛公司怎么也繞不過去的大山。

蘋果也不例外，早在幾年前，就收購了位于德國海德堡的初創(chuàng)標注公司，而該公司創(chuàng)始人，是筆者在海德堡大學讀博時期所在的機構(gòu)-海德堡圖像處理中心（HCI，hci.iwr.uni-heidelberg.de）的博士后及資深研究員。

收購了該公司后，蘋果便在海德堡開了“分礦”，于是也就有了這則招聘信息。

八卦：校友去年離開了蘋果（自己創(chuàng)辦的公司），再次創(chuàng)業(yè)又成立了一家標注公司（大寫的666送給他！

熟悉運籌學優(yōu)化求解器的小伙伴，聽著是不是有Cplex和Gurobi那味了？哈哈～

?01

?—

數(shù)據(jù)標注科普

1-?標注任務(wù)

圖中的標注任務(wù)叫作語義分割（全景分割），即給圖像中每一個像素一個類別，是非常耗時的標注任務(wù)。而它被廣泛地應(yīng)用在無人駕駛、工業(yè)機器視覺、醫(yī)療圖像、電商等領(lǐng)域。

語義分割（a）: 對圖片中每一個像素標注其類別（如：汽車、行人、道路等）

全景分割（d）：對于每一個像素，在語義分割的基礎(chǔ)上再區(qū)分目標instance物體（如：汽車1、汽車2、行人5等）

2-?標注格式

通常標注結(jié)果還是存成圖片的常見格式（如: png）

圖片的每一個通道存儲不同信息（用數(shù)字1-255表示）

例如第一通道存儲：該像素所屬類別

第二通道：如果該像素屬于目標物體，他屬于第幾個instance

第三通道：通常是0或1，1表示該像素是可以駕駛的區(qū)域，0反之

3-?標注流程

標注軟件的一般流程是：

標注者輸入交互信息-算法自動標注-標注者修改-算法標注

直到標注者滿意為止

具體見我這個知乎回答，概述了我博士期間以及在業(yè)界做出的一些嘗試

有哪些比較好的圖像標注工具？[1]

4-?標注成本

非常精細標注一張圖片，平均要耗時1.5小時?。?！

德國最低工資是9歐元左右/小時

在德國標注一張語義分割圖片的成本超過13歐元（約合100塊人民幣）??！

因此，如何加速標注但不犧牲太多標注精度，是數(shù)據(jù)標注公司的永恒話題。

視頻的7:30-9:20秒，講述了數(shù)據(jù)對于無人駕駛系統(tǒng)的重要性。

?02

?—

加速數(shù)據(jù)標注方法--組合優(yōu)化交互式分割

如何用組合優(yōu)化加速數(shù)據(jù)標注呢？

我在讀博期間做出了一些嘗試，部分成果在博士畢業(yè)2年后，最終發(fā)表在了IEEE TIP期刊論文中：

An ILP Model for Multi-Label MRFs With Connectivity Constraints[2]

簡單來說，先把圖片用超像素做一個降維，降維到2000個左右的超像素（graph node），然后對超像素建立基于圖(Graph)的整數(shù)規(guī)劃模型，如下圖：

其中變量x代表超像素點被賦予了哪個類別（class/label）。模型允許用戶和圖片進行交互，例如畫涂鴉（scribble），被畫到涂鴉的點，即代表該點的類別被固定。求解這個整數(shù)規(guī)劃問題，即可求得每個點所屬的類別（和語義分割完全相同！）

下圖是計算結(jié)果實例，即：標注者只需在圖片上畫幾道涂鴉，我的整數(shù)規(guī)劃模型即可補全剩余點的類別，使得整張圖得以標注！

關(guān)于模型和算法的具體細節(jié)，這里不再叨叨，對這篇paper感興趣的，歡迎關(guān)注公眾號：留德華叫獸，并在后臺回復(fù)：TIP，獲取該paper。

當然咯，除了組合優(yōu)化方法，市面上還有各種奇淫技巧，這里帖一個用圖神經(jīng)網(wǎng)絡(luò)來加速標注的工作，是多倫多大學和英偉達的杰作。

我從19年該paper剛出的時候就說想實現(xiàn)一下看看到底好不好用，無奈改不了自己“摸魚”的本質(zhì)，直到2020尾聲了還沒能復(fù)現(xiàn)出來。

慚愧，慚愧！

這里立個FLAG，2021我一定把它復(fù)現(xiàn)出來，并做各種橫向?qū)Ρ葴y試，看看它到底有沒有demo里面那么好用?。?！

?03

?—

實習職位

放出蘋果實習職位前，也給自己所在的Tier 1無人駕駛部門攝像頭組打個廣告。

我明年初（2021.02-03）應(yīng)該也會招募一個做半自動化數(shù)據(jù)標注和數(shù)據(jù)庫管理的實習生，實習期半年或以上，base在德國法蘭克福，感興趣的歡迎在我的公眾號后臺給我留言。

【以下是蘋果在海德堡的實習崗位】

AI/ML- Optimisation Internship (Annotation Acceleration), MLPT - Jobs bei Apple (DE)[4]

AI/ML- Optimisation Internship (Annotation Acceleration), MLPT
Heidelberg, Baden-Wurttemberg, Germany

We are looking for highly motivated talent to shape how Apple crafts machine learning datasets at scale. Apple’s annotation platform teams build the tools that allow machine learning engineers and researchers across Apple to create datasets that enable the amazing intelligent experiences on our current and future Apple devices. We seek individuals with a passion for data and a desire to understand and tackle the intricate challenges involved in generating large, high-quality datasets for a wide array of sophisticated machine learning problems.

Key Qualifications

Background and experience in combinatorial optimisation (anytime algorithms, approximation)

Relational algebra and algebraic structures in general

Python,

Description
As part of the ML platform team, your research will focus on intelligent, leading edge approaches to optimize data annotation workflows itself and the scheduling of thousands of annotation jobs given constraints with respect to delivery dates, available annotator resources and similar. You will have the opportunity to collaborate with teams across Apple, who are working on the most advanced intelligent applications in the world. Your responsibilities will include: building a query planner for human annotation workflows and building a system to effectively schedule annotation jobs based on (predicted) available resources and expected annotation performance metrics. Apple’s most important resource, our soul, is our people. Apple benefits help further the well-being of our employees and their families in meaningful ways. No matter where you work at Apple, you can take advantage of our health and wellness resources and time-away programmes. We’re proud to provide stock grants to employees at all levels of the company, and we also give employees the option to buy Apple stock at a discount — both offer everyone at Apple the chance to share in the company’s success. You’ll discover many more benefits of working at Apple, such as programmes that match your charitable contributions, reimburse you for continuing your education and give you special employee pricing on Apple products. Apple benefits programmes vary by country and are subject to eligibility requirements. Apple is an equal opportunity employer that is committed to inclusion and diversity. We take affirmative action to ensure equal opportunity for all applicants without regard to race, color, religion, sex, sexual orientation, gender identity, national origin, disability, Veteran status, or other legally protected characteristics. Apple is committed to working with and providing reasonable accommodation to applicants with physical and mental disabilities. Apple is a drug-free workplace.

Education & Experience
Pursuing a PhD in mathematics, computer science or operations research.

Additional Requirements

SQL

Machine learning knowledge

可以看到，JD中提到的大部分技能與整數(shù)規(guī)劃相關(guān)，甚至提到了技能點Google OR-Tools, Gurobi and/or CPLEX。

不禁感慨，要是我讀博期間有這個職位就好了，都不用挪地兒！

強烈推薦整數(shù)規(guī)劃/組合優(yōu)化背景的小伙伴申請，也歡迎同行加入@運籌OR帷幄 社區(qū)（同名公眾號）相關(guān)的碩博群（60+細分專業(yè)群組）交流！

?04

?—

結(jié)語

數(shù)據(jù)標注是如今深度學習獲得巨大成功的基石。

從Feifei Li 創(chuàng)建ImageNet（1千多萬張、2萬多類別圖片）開始，數(shù)據(jù)集便成為計算機視覺的一個熱點話題，而伴隨著數(shù)據(jù)集的各種challenge和刷榜單，也成為CV領(lǐng)域發(fā)頂會的標配。

其他專業(yè)也不例外，例如我博士老板Gerhard Reinelt 創(chuàng)建的TSPLIB（http://comopt.ifi.uni-heidelberg.de/software/TSPLIB95/）數(shù)據(jù)集，給無數(shù)研究旅行商問題的研究者代來了便利，也為這個行業(yè)的發(fā)展做出了巨大的貢獻。

但往往沒有人會去深究，這些造數(shù)據(jù)者為之付出的艱辛和背后的故事。

這里呼吁“無償”使用公開數(shù)據(jù)集的研究者和業(yè)界從業(yè)者，都能尊重數(shù)據(jù)集創(chuàng)作者的汗水。

而人工智能的從業(yè)者，也能認可那些幕后做著重復(fù)枯燥標記工作者的付出（例如：貴陽數(shù)據(jù)標記村）。

如果大家對TSPLIB數(shù)據(jù)集背后的故事感興趣，可以通過點贊或評論來提示我，如果超過100個，我將會嘗試聯(lián)系一下我的導(dǎo)師，來做一期專門采訪！

參考文獻

[1]https://www.zhihu.com/question/30626971/answer/785480415

[2]https://ieeexplore.ieee.org/document/9102375

[3]https://openaccess.thecvf.com/content_CVPR_2019/papers/Ling_Fast_Interactive_Object_Annotation_With_Curve-GCN_CVPR_2019_paper.pdf

[4]https://jobs.apple.com/de-de/details/200196330/ai-ml-optimisation-internship-annotation-acceleration-mlpt