Natural Language Processing - AI/Robotics培訓

详细培训大纲

1. NLP简介
   • 理解NLP
   • NLP框架
   • NLP的商业应用
   • 从网页抓取数据
   • 使用各种API检索文本数据
   • 处理并存储文本语料库，保存内容和相关元数据
   • 使用Python和NLTK的优势速成课程
2. 语料库与数据集的实用理解
   • 为什么需要语料库？
   • 语料库分析
   • 数据属性类型
   • 语料库的不同文件格式
   • 为NLP应用准备数据集
3. 理解语句结构
   • NLP的组成部分
   • 自然语言理解
   • 形态分析 - 词干、单词、词元、词性标签
   • 句法分析
   • 语义分析
   • 处理歧义
4. 文本数据预处理
   • 语料库-原始文本
     • 句子分词
     • 原始文本词干提取
     • 原始文本词形还原
     • 停用词移除
   • 语料库-原始句子
     • 单词分词
     • 单词词形还原
   • 处理词项-文档/文档-词项矩阵
   • 将文本分词为n-gram和句子
   • 实用和定制化预处理
5. 分析文本数据
   • NLP的基本特征
     • 解析器与解析
     • 词性标注与标注器
     • 命名实体识别
     • N-gram
     • 词袋
   • NLP的统计特征
     • NLP的线性代数概念
     • NLP的概率论
     • TF-IDF
     • 向量化
     • 编码器与解码器
     • 归一化
     • 概率模型
   • 高级特征工程与NLP
     • word2vec基础
     • word2vec模型的组成部分
     • word2vec模型的逻辑
     • word2vec概念的扩展
     • word2vec模型的应用
   • 案例研究：词袋应用：使用简化和真正的Luhn算法进行自动文本摘要
6. 文档聚类、分类与主题建模
   • 文档聚类与模式挖掘（层次聚类、k-means聚类等）
   • 使用TFIDF、Jaccard和余弦距离度量比较和分类文档
   • 使用朴素贝叶斯和最大熵进行文档分类
7. 识别重要文本元素
   • 降维：主成分分析、奇异值分解、非负矩阵分解
   • 使用潜在语义分析进行主题建模和信息检索
8. 实体提取、情感分析与高级主题建模
   • 正面与负面：情感程度
   • 项目反应理论
   • 词性标注及其应用：查找文本中提到的人物、地点和组织
   • 高级主题建模：潜在狄利克雷分配
9. 案例研究
   • 挖掘非结构化用户评论
   • 产品评论数据的情感分类与可视化
   • 挖掘搜索日志以发现使用模式
   • 文本分类
   • 主题建模