官方文档
FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。它提供了录制、转换以及流化音视频的完整解决方案。
FFmpeg的代码是包括两部分的,一部分是library,一部分是tool。api都是在library里面,如果直接调api来操作视频的话,就需要写c或者c++了。另一部分是tool,使用的是命令行,则不需要自己去编码来实现视频操作的流程。
各模块的功能:
libavformat:用于各种音视频封装格式的生成和解析;
libavcodec:用于各种类型声音、图像编解码;
libavutil:包含一些公共的工具函数;
libswscale:用于视频场景比例缩放、色彩映射转换;
libpostproc:用于后期效果处理;
ffmpeg:该项目提供的一个工具,可用于格式转换、解码或电视卡即时编码等;
ffsever:一个 HTTP 多媒体即时广播串流服务器;
ffplay:是一个简单的播放器,使用ffmpeg 库解析和解码,通过SDL显示;
本文主要介绍已经编译好FFmpeg库的情况下怎么集成到iOS项目中并使用FFmpeg命令。
编译教程,编译好的库内容如下

1、编译成功之后会得到FFmpeg-iOS这么一个目录,里面有lib、include两个子目录,把FFmpeg-iOS直接拖进工程里



config.h文件在ffmpeg-4.2文件夹同级的scratch文件夹中,scratch下面有不同架构的,真机选用arm64的即可
5、修改命令行工具的代码
#include "compat/va_copy.h"
#include "libavresample/avresample.h"
#include "libpostproc/postprocess.h"
#include "libavutil/libm.h"
#include "libavutil/time_internal.h"
#include "libavutil/internal.h"
#include "libavformat/network.h"
#include "libavcodec/mathops.h"
#include "libavformat/os_support.h"
#include "libavutil/thread.h"
nb0_frames = nb_frames = mid_pred(ost->last_nb0_frames[0],
ost->last_nb0_frames[1],
ost->last_nb0_frames[2]);
ff_dlog(NULL, "force_key_frame: n:%f n_forced:%f prev_forced_n:%f t:%f prev_forced_t:%f -> res:%f\n",
ost->forced_keyframes_expr_const_values[FKF_N],
ost->forced_keyframes_expr_const_values[FKF_N_FORCED],
ost->forced_keyframes_expr_const_values[FKF_PREV_FORCED_N],
ost->forced_keyframes_expr_const_values[FKF_T],
ost->forced_keyframes_expr_const_values[FKF_PREV_FORCED_T],
res);
PRINT_LIB_INFO(avresample, AVRESAMPLE, flags, level);
PRINT_LIB_INFO(postproc, POSTPROC, flags, level);
{ "videotoolbox", videotoolbox_init, HWACCEL_VIDEOTOOLBOX, AV_PIX_FMT_VIDEOTOOLBOX },
{ "videotoolbox_pixfmt", HAS_ARG | OPT_STRING | OPT_EXPERT, { &videotoolbox_pixfmt}, "" },
ffmpeg.h 文件下增加函数声明:
int ffmpeg_main(int argc, char **argv);
ffmpeg.c 文件中:
main函数修改为ffmpeg_main;主要是为了避免两个main函数存在
看到一些文章里说修改cmdutils.c中的exit_program函数,注释掉退出进程的代码,本人实测还是有问题,
最终修改是 ffmpeg.c文件中把所有调用 exit_program 函数的地方改为调用 ffmpeg_cleanup 函数就可以了。
注意:当前全部改成ffmpeg_cleanup会出现的一些情况,比如执行查看视频信息的命令,这个命令里面没有设置输出路径,原来的代码里走到判断没有输出路径的分支直接调用exit_program就退出了进程,改成调用ffmpeg_cleanup后代码会继续往下走导致一些访问空指针的崩溃,这种个别情况自己再针对进行处理就好了,不过一般使用场景中都会有输入和输出
ffmpeg.c 文件中
在 ffmpeg_cleanup 方法中重置计数器,在 term_exit(); 这行代码前添加重置计数的代码
修改后如下:
nb_filtergraphs = 0;
nb_output_files = 0;
nb_output_streams = 0;
nb_input_files = 0;
nb_input_streams = 0;
term_exit();
以上这些都修改完,command+B,编译成功!可以使用命令行了,在使用的地方引入头文件 #import "ffmpeg.h"即可。
我这里封装了一个使用cmd的方法,代码如下
#import "HEFFmpegTools.h"
#import "ffmpeg.h"
@implementation HEFFmpegTools
///执行ffmpeg指令," "为分割标记符
+ (void)runCmd:(NSString *)commandStr completionBlock:(void(^)(int result))completionBlock {
dispatch_async(dispatch_get_global_queue(0, 0), ^{
// 根据 " " 将指令分割为指令数组
NSArray *argv_array = [commandStr componentsSeparatedByString:(@" ")];
// 将OC对象转换为对应的C对象
int argc = (int)argv_array.count;
char** argv = (char**)malloc(sizeof(char*)*argc);
for(int i=0; i < argc; i++) {
argv[i] = (char*)malloc(sizeof(char)*1024);
strcpy(argv[i],[[argv_array objectAtIndex:i] UTF8String]);
}
// 传入指令数及指令数组,result==0表示成功
int result = ffmpeg_main(argc,argv);
NSLog(@"执行FFmpeg命令:%@,result = %d",commandStr,result);
dispatch_async(dispatch_get_main_queue(), ^{
completionBlock(result);
});
});
}
@end
使用runCmd函数的示例代码,把一个视频旋转90度并保存到相册
let videoPath = NSSearchPathForDirectoriesInDomains(.cachesDirectory, .userDomainMask, true).first! + "/tempvideo.mp4"
let inputVideo = "\(Bundle.main.bundlePath)/ffm_video2.mp4"
let transformCmd = "ffmpeg -i \(inputVideo) -y -vf rotate=PI/2 \(videoPath)";
HEFFmpegTools.runCmd(transformCmd) { (result) in
if FileManager.default.fileExists(atPath: videoPath) {
print("保存到相册");
UISaveVideoAtPathToSavedPhotosAlbum(videoPath, nil, nil, nil)
}
}
获取处理进度
1、任意创建一个Cocoa Touch Class 作为在.c里面引用的桥接文件,.h文件代码全部删掉,声明函数
///获取输入源文件的时长
void setDuration(long long duration);
///获取当前的处理进度
void setCurrentTimeFromProgressInfo(char *progressInfo);
.m中删除代码只保留头文件的引用,实现如下
#import "HEFFmpegBridge.h"
#import <Foundation/Foundation.h>
static long long totalDuration = 0;
void setDuration(long long duration) {
//duration的精度到微秒
//比如视频长度 00:00:24.53,duration会是24533333
//比如视频长度 00:01:16.10,duration会是76100000
printf("\n fileDuration = %lld\n",duration);
totalDuration = duration;
}
void setCurrentTimeFromProgressInfo(char *progressInfo) {
//progressInfo
//e.g. frame= 1968 fps=100 q=31.0 size= 4864kB time=00:01:06.59 bitrate= 598.3kbits/s speed=3.38x
//printf("\n ctime = %s\n",progressInfo);
NSString *progressStr = [NSString stringWithCString:progressInfo encoding:NSUTF8StringEncoding];
NSArray *infoArray = [progressStr componentsSeparatedByString:@" "];
NSString *timeString = @"";
for (NSString *info in infoArray) {
if ([info containsString:@"time"]) {
timeString = [info componentsSeparatedByString:@"="].lastObject;//e.g. 00:01:16.10,精确到十毫秒
}
}
NSArray *hmsArray = [timeString componentsSeparatedByString:@":"];
if (hmsArray.count != 3) {
return;
}
long long hours = [hmsArray[0] longLongValue];
long long minutes = [hmsArray[1] longLongValue];
long long seconds = 0;
long long mseconds = 0;
NSArray *tempArr = [hmsArray[2] componentsSeparatedByString:@"."];
if (tempArr.count == 2) {
seconds = [tempArr.firstObject longLongValue];
mseconds = [tempArr.lastObject longLongValue];
}
long long currentTime = (hours * 3600 + minutes * 60 + seconds) * 1000000 + mseconds * 10000;
double progress = [[NSString stringWithFormat:@"%.2f",currentTime * 1.0 / totalDuration] doubleValue];
NSLog(@"progress = %.2f",progress);
// //ffmpeg操作是在子线程中执行的
// dispatch_async(dispatch_get_main_queue(), ^{
// //更新进度UI
// });
}
从上面的代码可以看到,处理进度的回调主要是通过setDuration获取输入源文件的总时长,setCurrentTimeFromProgressInfo获取当前已处理的时长,然后根据两者比例计算出当前的进度,细节直接看代码
2、什么时机调用这两个函数?
看完这些觉得麻烦也可以直接用我编译配置好的库,导入可以直接使用 github地址,如果觉得有帮助给个⭐️吧
命令基本格式:ffmpeg [global_options] {[input_file_options] -i input_url} ... {[output_file_options] output_url} ...
常见的参数配置:
-f 强制指定编码格式
-i 输入源
-t 指定输入输出时长
-r 指定帧率,即1S内的帧数
-threads 指定线程数
-c:v 指定视频的编码格式
-ss 指定从什么时间开始
-b:v 指定比特率
-b:v 2500k 指定输出文件的视频比特率为 2500kbit/s
-s 指定分辨率
-y 覆盖输出
-filter 指定过滤器
-vf 指定视频过滤器
-an 指定去除对音频的影响
-vn 指定去除对视频的影响
-sn 指定去除对字幕的影响
-dn 指定去除对数据流的影响
-codec: copy 复制所有流而无需重新编码
参考链接:
https://www.jianshu.com/p/299906d4054d
https://www.jianshu.com/p/cdd19047858e
https://cloud.tencent.com/developer/article/1764309
我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
很好奇,就使用rubyonrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提
假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t
我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po