NLP-文本分类(2)

文章目录 1 任务 2.IMDB数据集下载探索 3.THUCNews数据子集探索 查看下训练集总共有多少种类别,以及各类别的数量 数据预处理 1.通过训练集数据,建立自己的字典 2、读取字典的方法,供后续使用 任务三 机器学习中的分类指标

7月前740

NLP工具——doccano标注系统自动标注功能使用

NLP工具——doccano标注系统自动标注功能使用0. 简介1. doccano安装2. 创建标注任务3. 写一个命名实体识别的接口4. 添加自动标注功能5. 增加标注员用户6. 数据导出0. 简介 本文以序列标注为例&#xff

7月前630

自然语言处理 NLP 从入门到精通

目录 第一部分:前言与基础知识 人工智能与自然语言处理概述 人工智能的定义与发展自然语言处理的历史与现状NLP的主要应用领域(如语音识别、机器翻译、情感分析等)

7月前570

NLP(自然语言处理)基本入门之分词操作

文章目录环境问题Hanlp代码解读Hanlp分词Hanlp分词标准分词NLP分词索引分词极速词典分词自定义分词命名实体识别与词性标注关键词提取准确分词(自定义字典)jieba分词hanlp分词添加

7月前590

CV&NLP基础2之Pandas学习

文章目录 关于文件编码问题说明(使用UTF-8)使用pandas.read_csv()读取csv文件定位(基于上图三行四列表格操作).loc — 支持定位一个元素.iloc — 更注重用索引来定位行迭代 — .iterrows()列迭代 改

7月前460

NLP

2024-11-6550

NLP 模型中的偏差和公平性检测

一、说明 近年来,自然语言处理 (NLP) 模型广受欢迎,彻底改变了我们与文本数据交互和分析的方式。这些基于深度学习技术的模型在广泛的应用中表现出了卓越的能力,从聊天机器人和语言翻译到情感分析和文本生成。然而,NLP 模型并

2024-10-17760

chatGPT在NLP领域的应用

ChatGPT 可以用于 NLP 领域的多种应用,例如: 自然语言生成:可以生成文本、诗歌、小故事等。 聊天机器人:可以用来回答用户的问题&#x

2024-10-6750