Strategies & Tools for Parallel Machine Learning in Python

Strategies & Tools for Parallel Machine Learning in Python

ID:40702796

大小:1.79 MB

页数:59页

时间:2019-08-06

Strategies & Tools for Parallel Machine Learning in Python_第1页
Strategies & Tools for Parallel Machine Learning in Python_第2页
Strategies & Tools for Parallel Machine Learning in Python_第3页
Strategies & Tools for Parallel Machine Learning in Python_第4页
Strategies & Tools for Parallel Machine Learning in Python_第5页
资源描述:

《Strategies & Tools for Parallel Machine Learning in Python》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、Strategies&ToolsforParallelMachineLearninginPythonParisDataGeeksMeetup-Feb.2013vendredi8février13TheStoryscikit-learnTheCloudstackoverflow&kagglevendredi8février13vendredi8février13PartsoftheEcosystem♥♥♥SingleMachinewithMultipleCoresmultiprocessing♥♥♥Multipl

2、eMachineswithMultipleCoresvendredi8février13TheProblemBigCPU(Supercomputers-MPI)SimulatingstufffrommodelsBigData(Googlescale-MapReduce)Countingstuffinlogs/IndexingtheWebMachineLearning?oftensomewhereinthemiddlevendredi8février13vendredi8février13CrossValida

3、tionInputDataLabelstoPredictvendredi8février13CrossValidationABCABCvendredi8février13CrossValidationABCABCSubsetofthedatausedHeld-outtotrainthemodeltestsetforevaluationvendredi8février13CrossValidationABCABCACBACBBCABCAvendredi8février13ModelSelectiontheHyp

4、erparametershellparam_1in[1,10,100]param_2in[1e3,1e4,1e5]FindthebestcombinationofparametersthatmaximizestheCrossValidatedScorevendredi8février13GridSearchparam_1(1,1e3)(10,1e3)(100,1e3)param_2(1,1e4)(10,1e4)(100,1e4)(1,1e5)(10,1e5)(100,1e5)vendredi8février1

5、3(1,1e3)(10,1e3)(100,1e3)(1,1e4)(10,1e4)(100,1e4)(1,1e5)(10,1e5)(100,1e5)vendredi8février13GridSearch:QualitativeResultsvendredi8février13GridSearch:CrossValidatedScoresvendredi8février13ParallelMLUseCases•ModelAssessmentwithCrossValidation•ModelSelectionwi

6、thGridSearch•BaggingModels:RandomForests•In-LoopAveragedModelsvendredi8février13EmbarrassinglyParallelMLUseCases•ModelAssessmentwithCrossValidation•ModelSelectionwithGridSearch•BaggingModels:RandomForests•In-LoopAveragedModelsvendredi8février13Inter-Process

7、Comm.UseCases•ModelAssessmentwithCrossValidation•ModelSelectionwithGridSearch•BaggingModels:RandomForests•In-LoopAveragedModelsvendredi8février13EnoughMLtheory!Letsgoshopping^Wparallelcomputing!vendredi8février13SingleMachinewithMultipleCores♥♥♥♥vendredi8fé

8、vrier13multiprocessing>>>frommultiprocessingimportPool>>>p=Pool(4)>>>p.map(type,[1,2.,'3'])[int,float,str]>>>r=p.map_async(type,[1,2.,'3'])>>>r.get()[int,float,str]vendredi8février13multiprocessing•Par

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。