Layoff的码农转型大数据方向求建议

[chris_cc]

我现在在读硕士，做的方向就是数据分析。
1、现在的所谓大数据，从数据分析方法的角度看，和一般数量的数据并没有什么差别。主要的差别还是在搜集，清洗，存储等其他的方面。
2、做数据分析，数学要好，统计要更好。这就是为什么数学和统计学专业的人转行到数据分析领域会相当容易。

大数据和数据分析/数据科学/机器学习还真是两回事，不过现在大部分都分不清它们的区别。

图像处理也是个巨坑，这两天正在研究用U-net/cnn做segmentation……

 

[LaPlace]

大数据和数据分析/数据科学/机器学习还真是两回事，不过现在大部分都分不清它们的区别。

图像处理也是个巨坑，这两天正在研究用U-net/cnn做segmentation……

本科刚开始的时候做过点图像处理的项目，后来慢慢转到各类数据分析（医学，行为学，药学，气象，地理。。。。），现在硕士的方向是时序分析。

你的这个segmentation，是unsupervised还是supervised？
如果用cnn的话，我猜是后者。

 

[chris_cc]

传统方法是先segmentation(unsupervised)再classfication(supervised)。目前的state-of-art是直接用U net做classification。U net基本上是若干个cnn的组合，因为其架构像一个“U”而得名。

深度学习这几年改变了很多以前的分析方法，time series方面的话LSTM RNN据说效果很好，不知道你试过没有。

 

[LaPlace]

传统方法是先segmentation(unsupervised)再classfication(supervised)。目前的state-of-art是直接用U net做classification。U net基本上是若干个cnn的组合，因为其架构像一个“U”而得名。

深度学习这几年改变了很多以前的分析方法，time series方面的话LSTM RNN据说效果很好，不知道你试过没有。

正在改进它的算法。

 

[Musers]

大数据和数据分析/数据科学/机器学习还真是两回事，不过现在大部分都分不清它们的区别。

图像处理也是个巨坑，这两天正在研究用U-net/cnn做segmentation……

请问如果想进入Data Science or ML这个行业，Python是不是必需的呢（目前我从事JAVA WEB 开发）？

 

[fieldmarshal]

请问如果想进入Data Science or ML这个行业，Python是不是必需的呢（目前我从事JAVA WEB 开发）？

你java干的好好的你搞这些所谓时髦干啥，我们这行这么不堪么？你别看这些好像时髦，其实程序员也就那样，除非你名校博士毕业，研究方向有点含量，找个大公司，否则没啥了不起的，工资待遇不比我们这java强多少，就业机会就少太多了，有啥好的？
你好好努力努力以后干个architector，工资比他们高，就业机会也比他们多。自己看着办，嘿。

 

[chris_cc]

你java干的好好的你搞这些所谓时髦干啥，我们这行这么不堪么？你别看这些好像时髦，其实程序员也就那样，除非你名校博士毕业，研究方向有点含量，找个大公司，否则没啥了不起的，工资待遇不比我们这java强多少，就业机会就少太多了，有啥好的？
你好好努力努力以后干个architector，工资比他们高，就业机会也比他们多。自己看着办，嘿。

对，SDE就业前景更好。Data science，machine learning这些，除非你自己喜欢，不然门槛又高，就业面又窄………

不过话说回来，现在AI是个大风口，不见Google内部都已经开始大面积对SDE培训Machine Learning了。最近几年内，具有扎实代码和软件工程功底，又懂Machine Learning的程序猿，会是市场上最抢手的资源。

举个例子，知乎某大V回上海创业，data science相关，给data scientist和data engineer开出了60-100万人民币的薪水。高吗？问题不是薪水，是适合的人不好找。

 

[chris_cc]

请问如果想进入Data Science or ML这个行业，Python是不是必需的呢（目前我从事JAVA WEB 开发）？

会Python当然更好，不会的话也没关系，R，Java，Scala也可以，工具而已。

关键是数学基础和对算法的理解及应用到实际问题的能力。

 

[fieldmarshal]

对，SDE就业前景更好。Data science，machine learning这些，除非你自己喜欢，不然门槛又高，就业面又窄………

不过话说回来，现在AI是个大风口，不见Google内部都已经开始大面积对SDE培训Machine Learning了。最近几年内，具有扎实代码和软件工程功底，又懂Machine Learning的程序猿，会是市场上最抢手的资源。

举个例子，知乎某大V回上海创业，data science相关，给data scientist和data engineer开出了60-100万人民币的薪水。高吗？问题不是薪水，是适合的人不好找。

想当年我就是data team的，主要还是solution层面需要专门学这个的，程序员其实很容易上手。但是公司环境很重要，自学就算成才没有就业经历支持很难找相关工作

 

[chris_cc]

想当年我就是data team的，主要还是solution层面需要专门学这个的，程序员其实很容易上手。但是公司环境很重要，自学就算成才没有就业经历支持很难找相关工作

个人不觉得Data Science/Machine Learning对于大部分程序员上手容易。都是带“data”的词，database和data science是完全不同的体系。我是Oracle的OCP，BI也做过多年，但转Data Science的过程中还是遇到很多挑战，主要来自于数学和统计方面。觉得容易的可以去读读NIPS的paper，基本上思路都讲得很清楚，公式也推出来了，就差一个程序员来把代码给实现了， LOL。能毫无障碍做到这一点的，我负责的说，可以帮推荐到FLAG，Airbnb，Uber这些公司去，薪酬不是问题。

 

[fieldmarshal]

个人不觉得Data Science/Machine Learning对于大部分程序员上手容易。都是带“data”的词，database和data science是完全不同的体系。我是Oracle的OCP，BI也做过多年，但转Data Science的过程中还是遇到很多挑战，主要来自于数学和统计方面。觉得容易的可以去读读NIPS的paper，基本上思路都讲得很清楚，公式也推出来了，就差一个程序员来把代码给实现了， LOL。能毫无障碍做到这一点的，我负责的说，可以帮推荐到FLAG，Airbnb，Uber这些公司去，薪酬不是问题。

我这个data当然不是说database，就是干着你们说的ML和数据分析，Hadoop也用着，总的来说程序员只用理解不需要自己来比较那个方法好，我没觉得有什么难度，和你说的其实就是一个公式实现而已！

 

[fieldmarshal]

其实我的建议就是如果公司里面有机会搞，那么是个非常好的方向。但是自己强行去自学就要考虑自己情况。没有工作背景做支撑也很难找相关工作，未必是个好的选择！

 

[Musers]

其实我的建议就是如果公司里面有机会搞，那么是个非常好的方向。但是自己强行去自学就要考虑自己情况。没有工作背景做支撑也很难找相关工作，未必是个好的选择！

不过DATA SCIENCE应该是未来的大方向，坦白说，一个JAVA WEB 10年的程序员，跟3年经验的没有太大的差别。

 

[fieldmarshal]

不过DATA SCIENCE应该是未来的大方向，坦白说，一个JAVA WEB 10年的程序员，跟3年经验的没有太大的差别。

工资至少差50%，这就是差别，哈

 

[chris_cc]

我这个data当然不是说database，就是干着你们说的ML和数据分析，Hadoop也用着，总的来说程序员只用理解不需要自己来比较那个方法好，我没觉得有什么难度，和你说的其实就是一个公式实现而已！

我还就真较下真，敢问元帅兄用的什么分析方法，所谓的“一个公式实现”是指哪个算法？

 

[LaPlace]

请问如果想进入Data Science or ML这个行业，Python是不是必需的呢（目前我从事JAVA WEB 开发）？

python干脏活比较适合，数据清洗，输入输出。
r干分析的活比较合适，因为r就是为分析而生的。

 

[LaPlace]

捞点干的，有没有人愿意一起读书？

https://mitpress.mit.edu/books/machine-learning-0

 

[fieldmarshal]

我还就真较下真，敢问元帅兄用的什么分析方法，所谓的“一个公式实现”是指哪个算法？

非要唤醒我十年前的回忆，相煎何太急呢，呵
我就干过哪一个项目，主要是大量的文本分析出结论来，半监督学习，有用向量机，贝叶斯，噪音算法等，噪音算法什么很多都用了一些open source实现。

 

[Musers]

你java干的好好的你搞这些所谓时髦干啥，我们这行这么不堪么？你别看这些好像时髦，其实程序员也就那样，除非你名校博士毕业，研究方向有点含量，找个大公司，否则没啥了不起的，工资待遇不比我们这java强多少，就业机会就少太多了，有啥好的？
你好好努力努力以后干个architector，工资比他们高，就业机会也比他们多。自己看着办，嘿。

个人对DS和ML真的蛮感兴趣的。

有一点倒说得很对，DS的工作机会真的少太多了，如果不是名校博士或项士有些研究项目经验的，真的很难找到相关工作。

 

[J.X]

test