大数据 - 囤积对冲基金和管理Twitter'Firehose'

作者:程峭犰

<p>为了超越基准,投资公司有时会说他们正在关注Twitter的整个数据集,在业务中称之为“完全火炬”</p><p>实际上,很少有人能够应对随之而来的巨大规模和存储挑战,更不用说成本假设驱动的尝试手动完成其中一些是可能的,但具有挑战性;例如,您可以使用标签方法开始搜索社交媒体流大数据分析公司RavenPack的首席数据科学家Peter Hafez非常了解市场以及处理大量嘈杂的非结构化数据是多么棘手他讲述了一个故事</p><p>一个小型对冲基金,尝试了“黄金”的标签方法,希望创建一个黄金情绪指标来交易相关的期货合约</p><p>不幸的是,他们的算法没有考虑在像奥运会这样的大型体育赛事中提到黄金的频率</p><p>游戏;他们最终没有取得特别成功“知道人们最喜欢的体育运动员已经获得了金牌,如果你想衡量黄金情绪,那就不那么有用了,”哈菲兹说道,“尽管奥运金牌实际上确实含有一些黄金,但有一点像134%我高度怀疑这足以让黄金价格以任何显着的方式上涨“哈菲兹指出采取白名单的方式可能是一个更好的方法,例如确定公司的官方Twitter手柄或他们的首席执行官的手柄众所周知的记者,分析师,经济学家或舆论制造者搜索特定术语或主题标签可能仍然很有意思,比如说“英国退欧”,然后看看哪些实体通常会在提到这个术语时出现在这种情况下,这个会带你去像鲍里斯约翰逊,大卫卡梅伦或奈杰尔法拉利这样的账户,并且本来可以提供一个策略来建立在这种情况下,追踪“离开”与“对”的情绪可能会很有趣</p><p>仍然是“让人们看到公投可能会产生什么结果的运动”这可能是一种更具自由裁量或混合型的应用,而不是纯粹的系统性定量方法然而,最终,你仍然需要依赖关于文本挖掘以进行适当的实体检测,噪声过滤和情绪评分“回到那些吹嘘他们在Twitter上交易的公司的问题,Hafez说:”除了那些采用白名单方法的人,大多数人都会直接使用Twitter工作情绪反馈,或10%随机样本的完整消防,也被称为'decahose'“”交易'decahose'而不是'完整的firehose'有明显的缺点 - 特别是在事件交易中你可能会收到信息延迟仅仅因为你没有访问整个饲料而在一个特定的事件上 - 给其他投资者留下了潜在的优势但是,如果你想按照“群众的智慧”做一些事情,那就创造一个情绪指标特定公司或宏观主题的ator,然后使用10%的样本可能是一个不错的代理“有几个例子存在事件在Twitter上首先破坏,一些CEO首先选择这个渠道来传递有关他们公司的新闻;一个很好的例子是Elon Musk这让数据驱动的玩家面临挑战,寻找信号和噪音中众所周知的“大海捞针”新闻周刊将于12月6日至7日在纽约举行的资本市场会议上主持人工智能和数据科学图片:新闻周刊媒体集团哈菲兹说:“从交易的角度来看,整体社交媒体仍然被认为是噪音</p><p>提供人们所需的必要交易优势的技术要求非常高</p><p>在传统新闻中已经很难做好,然后添加社交媒体的语言不规范性就不容易了!社交媒体可能有时候会出现突发新闻,但我们会以大海捞针的形式回到这一点:我们多久会以“误报”交易为了获得“真正的积极”,RavenPack今天将英国市场新闻专家Alliance News添加到其平台,收集非结构化数据,包括新闻和社交媒体,以及结构它代表其客户该服务主要从与公司,人员,地点,组织,货币和商品相关的文本内容中检测事件和情绪</p><p>对于它检测到的每个实体,它还提供其他分析中的相关性和新颖性评分 街上的一句话是,社交媒体上的交易确实产生了价值</p><p>然而,与传统新闻来源相比,它缺乏编辑过程,与传统新闻相比,这通常导致较低的精确度和召回率“表情符号的存在,术语,否定或需要跟踪用户可信度或klout使得机器或算法更难以真正了解正在发生的事情,并弄清楚它如何影响资产价格“”解决可信度问题的更有希望的方法之一与特定的账户白名单合作您最初可能会通过包括以下账户来确定谁是特定市场或公司的主要参与者:大投资者,公司自己的账户,CEO的账户,领先的分析师和记者等等“”通过采用这种方法,您可以作为投资者感觉更适合采用事件驱动的交易方法但是,如果您有兴趣从中提取价值整个firehose的所有用户,然后从噪声的角度来看,你将面临更大的挑战,因为你正在进入一个完全和完全非结构化的空间“RavenPack为数据囤积金融机构提供了一些安慰,这些机构已经变得非常肛门保持所有他们在内部生成的数据这可能包括他们所有的电子邮件,他们所有的即时消息,来自经纪人的所有分析师报告等等“很多内容,他们必须出于合规性原因进行存储,所以这不是一个积极的决定,他们做了;它基本上是一个经常被置于它们之上的要求然而,考虑到存储所有这些信息的成本,考虑利用它的方法并从中收集进一步的见解是很自然的“让我说我是一个自由裁量交易员,我正在考虑购买字母表中的股票我可能会担心,如果我的收件箱中有什么东西我还没有阅读或在公司内的即时留言板上讨论有关Alphabet的讨论不利;有些事情尚未解决在我的雷达上那就是,有没有逆向观点我应该看看“通过像RavenPack这样的引擎提供您的电子邮件收件箱,....