清华数为大数据系统软件栈:赋能工业、气象、环保等领域

清华数为大数据系统软件栈发布,赋能多领域数据管理与分析,已在工业、气象等行业应用。

原文标题:清华大数据软件团队给大家拜年啦!

原文作者:数据派THU

冷月清谈:

清华大学大数据研究中心旗下的“清华数为”大数据系统软件栈,致力于解决大规模多源异构数据管理、分析等难题。该平台聚焦于非结构化数据的统一存储、高效查询和融合分析,突破了副本一致性控制及柔性事务处理、深度迁移学习等技术瓶颈。

“清华数为”已推出多款软件及工具,包括:

1. 工业物联网时序数据库管理系统IoTDB;
2. 大数据机器学习研发管理系统Anylearn;
3. 大数据处理流程管理系统FloK;
4. 大数据应用软件低代码开发工具DWF;
5. 异构数据一体化管理引擎IGinX。

这些工具已在工业、气象、环保等行业得到应用。

怜星夜思:

1、“清华数为”的低代码开发工具DWF,对于非专业程序员来说,学习成本和使用门槛大概有多高?
2、“清华数为”提到的深度迁移学习技术,在哪些具体场景下能够发挥更大的作用?
3、除了提到的工业、气象和环保领域,“清华数为”未来还有可能在哪些领域进行拓展应用?

原文内容


HAPPY NEW YEAR





图片
关于我们
图片

团队特色项目:“清华数为”大数据系统软件栈是围绕大规模多源异构数据一体化管理、交互式异构数据分析框架、领域大数据开发运行环境等大数据系统软件关键科学问题与核心技术问题进行攻关,创新非结构化数据统一存储、高效查询、融合分析等共性理论与技术,突破非结构化数据的副本一致性控制及柔性事务处理、深度迁移学习等关键技术瓶颈,研发大数据管理与分析软件及工具集,并在工业、气象、环保等典型行业成功应用。


清华数为平台主要研发团队:

工业物联网时序数据库管理系统IoTDB

大数据机器学习研发管理系统Anylearn

大数据处理流程管理系统FloK

大数据应用软件低代码开发工具DWF

异构数据一体化管理引擎IGinX


交流合作咨询:

刘老师 [email protected]






关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU


个人比较看好深度迁移学习在个性化推荐方面的应用,可以根据用户的历史行为和偏好,更精准地推荐内容或产品。

医疗健康领域的数据分析需求也很大,可以利用“清华数为”的平台来进行疾病预测、药物研发等等,感觉能做的事情很多。

我觉得DWF的学习成本应该不会太高,毕竟是低代码工具嘛,主打的就是一个易上手。估计有些基础的编程知识就能快速上手了,当然具体还得看官方文档和教程。

智慧城市也是一个不错的方向,可以利用“清华数为”的平台来优化城市交通、管理能源等等,让城市更智能更高效。

我觉得“清华数为”在金融领域应该也有很大的应用潜力,比如风险评估、欺诈检测等等。

我觉得在跨领域应用方面,迁移学习应该也大有可为。比如在工业领域训练好的模型,可以迁移到气象领域,减少数据采集和模型训练的成本。

个人猜测DWF的定位应该是非专业程序员也能快速上手,毕竟现在低代码是大趋势。不过,想要精通并开发出复杂的应用,估计还是需要一定的学习和实践。可以参考一下其他低代码平台的学习曲线。

这得看DWF的具体设计了,如果做得比较傻瓜化,像搭积木一样,那学习成本就低。但如果它需要用户掌握一些特定领域的知识或者编程概念,那门槛就相对高一些。

深度迁移学习在数据不足的场景下特别有用,比如小样本学习或者零样本学习,可以利用已有的模型和数据来训练新模型。