AI - 鸟语天空

Python BERT 多任务学习

作者：追风剑情发布于：2026-6-24 17:05 分类：AI

多任务学习(multi-task learning)是指通过同时训练模型完成多个相关任务提高模型的泛化能力。例如，可以同时训练一个模型进行图像分类和文本生成，从而使模型能够更好地理解图像和文本之间的关系。下面的实例演示了在模型训练中使用预训练模型实现多任务学习的过程。在这个例子中，使用预训练的ResNet模型提取图像特征，使用预训练的BERT模型提取文本特征，然后将这些特征用于两个不同的任务:...

标签: AI

评论(0) 浏览(19)

Python 下载BERT模型并保存到本地

作者：追风剑情发布于：2026-6-24 16:21 分类：AI

示例： import os # 设置Hugging Face镜像源 os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com' # 然后是你的原有下载代码 from transformers import AutoTokenizer, AutoModel model_name = "bert-base-uncased" prin...

标签: AI

评论(0) 浏览(25)

Python LangServe 服务

作者：追风剑情发布于：2026-6-18 15:07 分类：AI

LangServe 是 LangChain 官方推出的一个工具，可以把它理解成一个 “大模型应用部署器” 。它能帮你把用 LangChain 构建的应用（比如一个问答链、一个智能代理）快速打包成一个标准的 REST API 服务，这样其他程序（比如你的前端页面、手机App）就能通过 HTTP 请求来调用它了。示例： # 更新导入路径 from fastapi import...

标签: AI

评论(0) 浏览(60)

Python 让DeepSeek返回JSON结构

作者：追风剑情发布于：2026-6-18 14:32 分类：AI

示例： import json import re import requests # Ollama API 地址 OLLAMA_URL = "http://localhost:11434/api/generate" # 模型名称（根据你的 ollama list 输出） MODEL_NAME = "deepseek-r1:7b" def ask_deepseek_json(prompt...

标签: AI

评论(0) 浏览(61)

Python CLIP 多模态对齐

作者：追风剑情发布于：2026-6-11 15:31 分类：AI

多模态对齐是指将来自不同模态（例如文本、图像、音频、视频）的信息映射到同一个语义向量空间中，使得语义相似的内容在该空间中彼此靠近，而语义不同的内容相互远离。多模态对齐的核心是学习一个共享的嵌入空间，让不同模态的数据可以相互比较、检索、生成。典型的应用包括：图文检索：用文字搜索图片，或用图片搜索文字。零样本分类：用类别名称的向量与图像向量比较，...

标签: AI

评论(0) 浏览(96)

Python 大模型微调

作者：追风剑情发布于：2026-6-10 16:13 分类：AI

一、什么情况下需要做模型微调？当你有一个预训练模型（如 BERT、ResNet、Whisper 等），并且希望将其应用到一个与预训练任务不完全相同的下游任务时，就需要微调。二、什么情况下需要做全参数微调？当你数据充足且需要最高性能，或者任务与预训练任务差异很大时，选择全参数微调。通常需要数千到数万条标注数据，以防止过拟合。数据越少，过拟合风险越高。 ...

标签: AI

评论(0) 浏览(98)

Python 语音转文本(wav2vec2)

作者：追风剑情发布于：2026-6-9 17:17 分类：AI

一、下载 FFmpeg 下载 ffmpeg-release-full.7z 将 ffmpeg 的 bin 目录配置到环境变量中。示例： import os os.environ["HF_ENDPOINT"] = "https://hf-mirror.com" import argparse import torch from transformers import Wav2...

标签: AI

评论(0) 浏览(108)

Python 音频特征提取

作者：追风剑情发布于：2026-6-9 15:46 分类：AI

Mel 频谱图将音频信号转换为梅尔标度的频谱，模拟人耳对频率的非线性感知。 MFCC 特征 MFCC（梅尔频率倒谱系数），从 Mel 频谱进一步提取倒谱系数，是语音识别、说话人识别等任务的经典特征，压缩了声道特性。对数功率谱将功率谱转换为分贝（dB）单位，更符合人耳响度感知。语音相关任务：MFCC 和 Mel 频谱图是...

标签: AI

评论(0) 浏览(102)

Python YOLO 配置运行环境

作者：追风剑情发布于：2026-6-1 16:30 分类：AI

一、查看自己的GPU 在PowerShell中输入命令 nvidia-smi 二、创建Python环境 # 创建一个干净的Python环境 conda create -n yolov8_env python=3.10 # 激活新创建的Python环境 conda activate yolov8_env # 安装 PyTorch 2.5.1 + ...

标签: AI

评论(0) 浏览(153)

Python CLIP 实现文搜图

作者：追风剑情发布于：2026-5-28 18:13 分类：AI

""" Chinese-CLIP 文搜图（中文查询）完整示例 - 使用本地 OFA-Sys/chinese-clip-vit-base-patch16 模型 - ChromaDB 余弦距离检索 - 国内镜像加速下载 """ # ==================== 0. 设置镜像（必须在导入 transformers 之前） ==================== impo...

标签: AI

评论(0) 浏览(158)

Python ResNet 图像特征提取

作者：追风剑情发布于：2026-5-26 17:55 分类：AI

安装依赖：pip install chromadb torch torchvision pillow import chromadb import torch import torchvision.models as models import torchvision.transforms as transforms from PIL import Image import os # ---...

标签: AI

评论(0) 浏览(128)

Python ResNet 训练二分类模型

作者：追风剑情发布于：2026-5-21 18:11 分类：AI

用 ResNet 训练一个图像二分类模型。训练脚本：train_binary.py import torch import torch.nn as nn import torch.optim as optim from torchvision import transforms, models, datasets from torch.utils.data import...

标签: AI

评论(0) 浏览(154)

Python ResNet 图像分类

作者：追风剑情发布于：2026-5-20 18:40 分类：AI

示例演示了如何使用预训练好的 ResNet 神经网络来识别图片中的物品类别。ResNet 使用的是 ImageNet 数据集。 # pip install torch torchvision pillow import torch import torchvision.models as models import torchvision.transforms as transform...

标签: AI

评论(0) 浏览(161)

Python RAG 多模态特征融合与微调

作者：追风剑情发布于：2026-5-20 17:29 分类：AI

本示例演示了如何构建一个图文多模态分类模型，从数据预处理、双编码器设计、特征融合到选择性微调的全流程，并掌握了 PyTorch 的基本训练技巧以及解决实际环境问题的方法。 # pip install torch torchvision pillow requests import torch import torch.nn as nn import torch.optim as optim fr...

标签: AI

评论(0) 浏览(168)

Python RAG 关键词过滤

作者：追风剑情发布于：2026-5-20 15:05 分类：AI

import requests # ========== 初始化本地 Ollama 模型 ========== OLLAMA_GENERATE_URL = "http://localhost:11434/api/generate" GENERATE_MODEL = "deepseek-r1:7b" # 使用您本地的模型 def generate_response(query, r...

标签: AI

评论(0) 浏览(149)

Python RAG Elasticsearch

作者：追风剑情发布于：2026-5-19 16:47 分类：AI

在 RAG 模型中，Elasticsearch 是一个强大的工具，用于实现高效的文档检索。Elasticsearch 是一个基于 Lucene 的开源搜索引擎，提供了分布式、可扩展的搜索和分析能力。Elasticsearch 的主要特点如下。全文搜索: Elasticsearch 支持复杂的全文搜索功能，包括对文档内容的分词、同义词处理、短语匹配等。它能够理解和处理自然语言查...

标签: AI

评论(0) 浏览(147)

Python RAG ANN

作者：追风剑情发布于：2026-5-19 14:44 分类：AI

ANN (approximate nearest neighbor，近似最近邻)，FAISS 库支持十亿级数量级文档查询。下面是采用 FAISS 库实现 ANN 的示例。 import faiss import numpy as np import requests # ========== 使用本地 Ollama 替代 BERT ========== OLLAMA_URL = ...

标签: AI

评论(0) 浏览(143)

Python RAG Sentence-BERT

作者：追风剑情发布于：2026-5-18 17:21 分类：AI

一种基于 BERT 改进的模型，专门用于生成句子级别的语义向量（Sentence Embedding），使用两个共享权重的 BERT 网络同时处理两个句子，输出向量后计算相似度，相比原始 BERT，Sentence-BERT 可以将相似度计算时间从 65 小时降到约 5 秒（对 1 万个句子）。 import requests import numpy as np from sklear...

标签: AI

评论(0) 浏览(137)

Python RAG DPR

作者：追风剑情发布于：2026-5-18 16:49 分类：AI

DPR（Dense Passage Retrieval）是一种稠密检索方法，核心思想是将文本（查询和文档）映射到同一个稠密向量空间，然后通过计算向量之间的相似度（如余弦相似度）来判断文本的相关性。与传统的BM25等稀疏检索方法相比，DPR能更好地捕捉语义信息。 import requests import numpy as np from sklearn.metrics.pairwise...

标签: AI

评论(0) 浏览(128)

Python BM25 (Best Match 25)

作者：追风剑情发布于：2026-5-18 15:16 分类：AI

BM25 (Best Match 25) 是一种用于信息检索的排名函数，用于评估文档与查询的相关性。它基于词袋模型，核心思想是：查询词在文档中出现越频繁 → 越相关常见词（如"的"、"是"）权重低罕见词权重高安装依赖 pip install rank_bm25 import jieba import nump...

标签: AI

评论(0) 浏览(124)

Python RAG TF-IDF

作者：追风剑情发布于：2026-5-14 18:50 分类：AI

TF（词频）：一个词在当前文档中出现的频率。越高越重要。 IDF（逆文档频率）：一个词在整个文档集合中出现的稀有程度。出现越少（如“人工智能”只在少数文档出现），IDF 越高。 TF-IDF = TF × IDF：既考虑词在当前文档的重要性，又考虑它在全局中的独特性。 import jieba import requests import json from sklearn.feat...

标签: AI

评论(0) 浏览(165)

Python RAG 词袋模型

作者：追风剑情发布于：2026-5-13 15:04 分类：AI

安装依赖 pip install jieba scikit-learn prettytable import jieba from sklearn.feature_extraction.text import CountVectorizer from prettytable import PrettyTable, TableStyle # --- 1. 原始数据与分词 --- ...

标签: AI

评论(0) 浏览(125)

1 2

Powered by emlog 蜀ICP备18021003号-1 sitemap

川公网安备 51019002001593号