职位

职业角色

全部

后端

移动端

前端

DBA

设计师

产品经理

高端技术职位

更多

全部

C++

Rust

Go

全栈

Java

PHP

C

C#

Python

Ruby

Node.js

后端其他

国内地区

全部

北京

上海

深圳

广州

杭州

成都

南京

更多

工作方式

全部

兼职

驻场

C++工程师
¥6-12K/月

5-10年经验

1个月

项目编号:【188088】 项目概述 我们正在开发一款 14+ 的智能 AI 陪伴互动玩具。硬件基于 ESP32-S3,包含双眼 LCD 屏幕、双麦克风、摄像头及一个水平转动舵机。 本期项目需要开发设备端固件(Firmware)以及云端中转服务器软件。要求系统具备极高的响应速度,核心功能包含本地声源定位、本地人脸/声纹识别以及云端个性化 AI 对话。 ?️ 任务一:ESP32-S3 设备端固件开发 (C++ / ESP-IDF) 1. 基础外设驱动调通 视觉输出: 驱动 2 块 0.71" 圆形 LCD 屏(GC9107驱动,SPI接口),实现平滑的眨眼、对焦、情绪动画(需使用 LVGL 库)。 机械动力: 控制 1 个 9g 舵机(PWM 信号),实现 0°-180° 水平平滑旋转(需做加减速平滑处理,严禁机械死板转动)。 音频 I/O: 调通双路数字麦克风(INMP441,I2S接口)输入与单路功放(MAX98357A)音频输出。 摄像头: 调通 OV2640 摄像头,实现低功耗图像采集。 2. 本地 AI 与行为联动(核心难点) 听声辨位(DOA): 运行乐鑫官方 ESP-SR / AFE 算法。当检测到声音时,计算声源角度(粗调),驱动舵机转头面向声音来源。 刷脸/听声认人: 集成 ESP-WHO 框架,在本地 NVS 中实现: 人脸注册与识别: 提取人脸特征码(不存图片),绑定一个本地用户 ID(如 User_A, User_B)。 声纹识别(可选/加分项): 记录说话人的声音特征。 行为对齐: 当确定人脸位置后,舵机微调(±5°)锁定人脸(人脸追踪),LCD 屏幕的瞳孔自动聚焦于人脸方向。 3. 网络传输 音频流压缩: 本地采集的语音必须通过 libopus 压缩(严禁传原始 PCM),通过 WebSocket 实时推送到服务器。 图像传输: 识别到未知人脸时,将 JPEG 帧图像通过网络推送到服务器进行处理。 安全 OTA: 实现基于 HTTPS 的固件固件远程升级功能。 ☁️ 任务二:服务器端软件开发 (Python / FastAPI) 1. 音视频流中转与低延迟架构 搭建基于 FastAPI WebSocket 的异步高并发流媒体服务器。 音频下行流(TTS): 接收来自云端 TTS 的音频流,实时下发给 ESP32 播放(要求边下载边播放,音频首字节延迟 < 500ms)。 2. “记忆与性格”业务逻辑处理 身份映射: 接收来自玩具端的 User_ID(如 User_A),在数据库(推荐 Supabase 或 Redis)中查询该用户在本地注册的名字(如 “爸爸”、“小明”)。 性格路由注入: 根据玩具当前设定的性格(在后台或 App 可切换),拼接对应的 System Prompt。 Prompt 示例: “你是小猴皮皮,性格调皮。当前正在和你说话的是【小明】,请用针对小明的语气回答。” LLM 整合: 对接 Gemini 1.5 Flash / OpenAI API,采用 Stream(流式)返回文本。 情绪标签提取: 要求 LLM 返回格式为 [happy] 哈哈,太棒了!。服务端需截取 [happy] 标签,转换为控制指令率先下发给玩具,让玩具眼睛先做出“高兴”动画,随后播放语音。 ? 交付物与验收标准 (Deliverables) 完整源码: 包含 ESP32 端源码(带详细中文/英文注释,易于维护)及服务端全部部署脚本(Docker化)。 软硬件联调测试: 提供测试视频,完整展示以下闭环: 测试用例: 喊玩具名字 -> 玩具转头 -> 识别出是“小明” -> 眼睛变高兴 -> 说话:“嗨,小明,今天过得怎么样?” 技术文档: 包括《接口通信协议说明书(WebSocket/MQTT)》、《固件编译指南》、《服务端部署手册》。 ?️ 对开发者的要求 (Requirements) 硬性条件: 必须有 ESP32-S3 实际项目的开发经验,熟悉乐鑫官方的 ESP-IDF 或 Arduino 开发环境,深刻理解 I2S、SPI、DVP 总线。 声学与视觉经验: 做过音频流传输(熟悉 Opus/AAC 编解码)或音视频同步(AV Sync)项目者优先。 大模型经验: 熟悉 LLM 流式(Streaming)接口调用,有自建本地大模型或使用主流 API 经验。 跨国协作意识: 懂基本的产品隐私保护(如数据阅后即焚、不存原始音视频)意识。
后端其他
¥6-12K/月

C++

5-10年经验

1个月

项目编号:【43244】 呼叫系统维护,需要开发过呼叫系统,有经验的技术人员
C++工程师
¥6-12K/月

5-10年经验

1个月

项目编号:【187933】 1 针对游戏开发进行逆向工程破解 2 对游戏底层有理解 3 不是游戏开发 只会开发忽扰 4 我们需要找懂安全 懂攻击 防护的人
C++工程师
¥1-6K/月

C++

5-10年经验

1个月

项目编号:【187791】 支持磁力、BT、HTTPS、http、ftp等下载方式,速度对标安卓APP《可乐下载器》、《二驴下载器》等。
兼职招聘
兼职招聘正式上线!40W+程序员、7000+企业方,急速触达!

我要找兼职

我要招聘