2010-11-08 Ryosuke Niwa <rniwa@webkit.org>
[WebKit-https.git] / WebCore / editing / markup.cpp
1 /*
2  * Copyright (C) 2004, 2005, 2006, 2007, 2008, 2009 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "markup.h"
28
29 #include "CDATASection.h"
30 #include "CharacterNames.h"
31 #include "CSSComputedStyleDeclaration.h"
32 #include "CSSMutableStyleDeclaration.h"
33 #include "CSSPrimitiveValue.h"
34 #include "CSSProperty.h"
35 #include "CSSPropertyNames.h"
36 #include "CSSRule.h"
37 #include "CSSRuleList.h"
38 #include "CSSStyleRule.h"
39 #include "CSSStyleSelector.h"
40 #include "CSSValue.h"
41 #include "CSSValueKeywords.h"
42 #include "DeleteButtonController.h"
43 #include "DocumentFragment.h"
44 #include "DocumentType.h"
45 #include "Editor.h"
46 #include "Frame.h"
47 #include "HTMLBodyElement.h"
48 #include "HTMLElement.h"
49 #include "HTMLNames.h"
50 #include "KURL.h"
51 #include "MarkupAccumulator.h"
52 #include "Range.h"
53 #include "TextIterator.h"
54 #include "VisibleSelection.h"
55 #include "XMLNSNames.h"
56 #include "htmlediting.h"
57 #include "visible_units.h"
58 #include <wtf/StdLibExtras.h>
59
60 using namespace std;
61
62 namespace WebCore {
63
64 using namespace HTMLNames;
65
66 static bool propertyMissingOrEqualToNone(CSSStyleDeclaration*, int propertyID);
67
68 class AttributeChange {
69 public:
70     AttributeChange()
71         : m_name(nullAtom, nullAtom, nullAtom)
72     {
73     }
74
75     AttributeChange(PassRefPtr<Element> element, const QualifiedName& name, const String& value)
76         : m_element(element), m_name(name), m_value(value)
77     {
78     }
79
80     void apply()
81     {
82         m_element->setAttribute(m_name, m_value);
83     }
84
85 private:
86     RefPtr<Element> m_element;
87     QualifiedName m_name;
88     String m_value;
89 };
90
91 static void completeURLs(Node* node, const String& baseURL)
92 {
93     Vector<AttributeChange> changes;
94
95     KURL parsedBaseURL(ParsedURLString, baseURL);
96
97     Node* end = node->traverseNextSibling();
98     for (Node* n = node; n != end; n = n->traverseNextNode()) {
99         if (n->isElementNode()) {
100             Element* e = static_cast<Element*>(n);
101             NamedNodeMap* attributes = e->attributes();
102             unsigned length = attributes->length();
103             for (unsigned i = 0; i < length; i++) {
104                 Attribute* attribute = attributes->attributeItem(i);
105                 if (e->isURLAttribute(attribute))
106                     changes.append(AttributeChange(e, attribute->name(), KURL(parsedBaseURL, attribute->value()).string()));
107             }
108         }
109     }
110
111     size_t numChanges = changes.size();
112     for (size_t i = 0; i < numChanges; ++i)
113         changes[i].apply();
114 }
115     
116 class StyledMarkupAccumulator : public MarkupAccumulator {
117 public:
118     enum RangeFullySelectsNode { DoesFullySelectNode, DoesNotFullySelectNode };
119
120     StyledMarkupAccumulator(Vector<Node*>* nodes, EAbsoluteURLs shouldResolveURLs, EAnnotateForInterchange shouldAnnotate, const Range* range)
121     : MarkupAccumulator(nodes, shouldResolveURLs, range)
122     , m_shouldAnnotate(shouldAnnotate)
123     {
124     }
125
126     Node* serializeNodes(Node* startNode, Node* pastEnd);
127     void appendString(const String& s) { return MarkupAccumulator::appendString(s); }
128     void wrapWithNode(Node*, bool convertBlocksToInlines = false, RangeFullySelectsNode = DoesFullySelectNode);
129     void wrapWithStyleNode(CSSStyleDeclaration*, Document*, bool isBlock = false);
130     String takeResults();
131
132 private:
133     virtual void appendText(Vector<UChar>& out, Text*);
134     String renderedText(const Node*, const Range*);
135     String stringValueForRange(const Node*, const Range*);
136     void removeExteriorStyles(CSSMutableStyleDeclaration*);
137     void appendElement(Vector<UChar>& out, Element* element, bool addDisplayInline, RangeFullySelectsNode);
138     void appendElement(Vector<UChar>& out, Element* element, Namespaces*) { appendElement(out, element, false, DoesFullySelectNode); }
139
140     bool shouldAnnotate() { return m_shouldAnnotate == AnnotateForInterchange; }
141
142     Vector<String> m_reversedPrecedingMarkup;
143     const EAnnotateForInterchange m_shouldAnnotate;
144 };
145
146 void StyledMarkupAccumulator::wrapWithNode(Node* node, bool convertBlocksToInlines, RangeFullySelectsNode rangeFullySelectsNode)
147 {
148     Vector<UChar> markup;
149     if (node->isElementNode())
150         appendElement(markup, static_cast<Element*>(node), convertBlocksToInlines && isBlock(const_cast<Node*>(node)), rangeFullySelectsNode);
151     else
152         appendStartMarkup(markup, node, 0);
153     m_reversedPrecedingMarkup.append(String::adopt(markup));
154     appendEndTag(node);
155     if (m_nodes)
156         m_nodes->append(node);
157 }
158
159 void StyledMarkupAccumulator::wrapWithStyleNode(CSSStyleDeclaration* style, Document* document, bool isBlock)
160 {
161     // All text-decoration-related elements should have been treated as special ancestors
162     // If we ever hit this ASSERT, we should export StyleChange in ApplyStyleCommand and use it here
163     ASSERT(propertyMissingOrEqualToNone(style, CSSPropertyTextDecoration) && propertyMissingOrEqualToNone(style, CSSPropertyWebkitTextDecorationsInEffect));
164     DEFINE_STATIC_LOCAL(const String, divStyle, ("<div style=\""));
165     DEFINE_STATIC_LOCAL(const String, divClose, ("</div>"));
166     DEFINE_STATIC_LOCAL(const String, styleSpanOpen, ("<span class=\"" AppleStyleSpanClass "\" style=\""));
167     DEFINE_STATIC_LOCAL(const String, styleSpanClose, ("</span>"));
168     Vector<UChar> openTag;
169     append(openTag, isBlock ? divStyle : styleSpanOpen);
170     appendAttributeValue(openTag, style->cssText(), document->isHTMLDocument());
171     openTag.append('\"');
172     openTag.append('>');
173     m_reversedPrecedingMarkup.append(String::adopt(openTag));
174     appendString(isBlock ? divClose : styleSpanClose);
175 }
176
177 String StyledMarkupAccumulator::takeResults()
178 {
179     Vector<UChar> result;
180     result.reserveInitialCapacity(totalLength(m_reversedPrecedingMarkup) + length());
181
182     for (size_t i = m_reversedPrecedingMarkup.size(); i > 0; --i)
183         append(result, m_reversedPrecedingMarkup[i - 1]);
184
185     concatenateMarkup(result);
186
187     return String::adopt(result);
188 }
189
190 void StyledMarkupAccumulator::appendText(Vector<UChar>& out, Text* text)
191 {
192     if (!shouldAnnotate() || (text->parentElement() && text->parentElement()->tagQName() == textareaTag)) {
193         MarkupAccumulator::appendText(out, text);
194         return;
195     }
196
197     bool useRenderedText = !enclosingNodeWithTag(Position(text, 0), selectTag);
198     String content = useRenderedText ? renderedText(text, m_range) : stringValueForRange(text, m_range);
199     Vector<UChar> buffer;
200     appendCharactersReplacingEntities(buffer, content.characters(), content.length(), EntityMaskInPCDATA);
201     append(out, convertHTMLTextToInterchangeFormat(String::adopt(buffer), text));
202 }
203     
204 String StyledMarkupAccumulator::renderedText(const Node* node, const Range* range)
205 {
206     if (!node->isTextNode())
207         return String();
208
209     ExceptionCode ec;
210     const Text* textNode = static_cast<const Text*>(node);
211     unsigned startOffset = 0;
212     unsigned endOffset = textNode->length();
213
214     if (range && node == range->startContainer(ec))
215         startOffset = range->startOffset(ec);
216     if (range && node == range->endContainer(ec))
217         endOffset = range->endOffset(ec);
218
219     Position start(const_cast<Node*>(node), startOffset);
220     Position end(const_cast<Node*>(node), endOffset);
221     return plainText(Range::create(node->document(), start, end).get());
222 }
223
224 String StyledMarkupAccumulator::stringValueForRange(const Node* node, const Range* range)
225 {
226     if (!range)
227         return node->nodeValue();
228
229     String str = node->nodeValue();
230     ExceptionCode ec;
231     if (node == range->endContainer(ec))
232         str.truncate(range->endOffset(ec));
233     if (node == range->startContainer(ec))
234         str.remove(0, range->startOffset(ec));
235     return str;
236 }
237
238 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesForElement(Element* element, bool authorOnly = true)
239 {
240     RefPtr<CSSMutableStyleDeclaration> style = CSSMutableStyleDeclaration::create();
241     RefPtr<CSSRuleList> matchedRules = element->document()->styleSelector()->styleRulesForElement(element, authorOnly);
242     if (matchedRules) {
243         for (unsigned i = 0; i < matchedRules->length(); i++) {
244             if (matchedRules->item(i)->type() == CSSRule::STYLE_RULE) {
245                 RefPtr<CSSMutableStyleDeclaration> s = static_cast<CSSStyleRule*>(matchedRules->item(i))->style();
246                 style->merge(s.get(), true);
247             }
248         }
249     }
250
251     return style.release();
252 }
253
254 void StyledMarkupAccumulator::appendElement(Vector<UChar>& out, Element* element, bool addDisplayInline, RangeFullySelectsNode rangeFullySelectsNode)
255 {
256     bool documentIsHTML = element->document()->isHTMLDocument();
257     appendOpenTag(out, element, 0);
258
259     NamedNodeMap* attributes = element->attributes();
260     unsigned length = attributes->length();
261     for (unsigned int i = 0; i < length; i++) {
262         Attribute* attribute = attributes->attributeItem(i);
263         // We'll handle the style attribute separately, below.
264         if (attribute->name() == styleAttr && element->isHTMLElement() && (shouldAnnotate() || addDisplayInline))
265             continue;
266         appendAttribute(out, element, *attribute, 0);
267     }
268
269     if (element->isHTMLElement() && (shouldAnnotate() || addDisplayInline)) {
270         RefPtr<CSSMutableStyleDeclaration> style = static_cast<HTMLElement*>(element)->getInlineStyleDecl()->copy();
271         if (shouldAnnotate()) {
272             RefPtr<CSSMutableStyleDeclaration> styleFromMatchedRules = styleFromMatchedRulesForElement(const_cast<Element*>(element));
273             // Styles from the inline style declaration, held in the variable "style", take precedence 
274             // over those from matched rules.
275             styleFromMatchedRules->merge(style.get());
276             style = styleFromMatchedRules;
277
278             RefPtr<CSSComputedStyleDeclaration> computedStyleForElement = computedStyle(element);
279             RefPtr<CSSMutableStyleDeclaration> fromComputedStyle = CSSMutableStyleDeclaration::create();
280
281             {
282                 CSSMutableStyleDeclaration::const_iterator end = style->end();
283                 for (CSSMutableStyleDeclaration::const_iterator it = style->begin(); it != end; ++it) {
284                     const CSSProperty& property = *it;
285                     CSSValue* value = property.value();
286                     // The property value, if it's a percentage, may not reflect the actual computed value.  
287                     // For example: style="height: 1%; overflow: visible;" in quirksmode
288                     // FIXME: There are others like this, see <rdar://problem/5195123> Slashdot copy/paste fidelity problem
289                     if (value->cssValueType() == CSSValue::CSS_PRIMITIVE_VALUE)
290                         if (static_cast<CSSPrimitiveValue*>(value)->primitiveType() == CSSPrimitiveValue::CSS_PERCENTAGE)
291                             if (RefPtr<CSSValue> computedPropertyValue = computedStyleForElement->getPropertyCSSValue(property.id()))
292                                 fromComputedStyle->addParsedProperty(CSSProperty(property.id(), computedPropertyValue));
293                 }
294             }
295             style->merge(fromComputedStyle.get());
296         }
297         if (addDisplayInline)
298             style->setProperty(CSSPropertyDisplay, CSSValueInline, true);
299         // If the node is not fully selected by the range, then we don't want to keep styles that affect its relationship to the nodes around it
300         // only the ones that affect it and the nodes within it.
301         if (rangeFullySelectsNode == DoesNotFullySelectNode)
302             removeExteriorStyles(style.get());
303         if (style->length() > 0) {
304             DEFINE_STATIC_LOCAL(const String, stylePrefix, (" style=\""));
305             append(out, stylePrefix);
306             appendAttributeValue(out, style->cssText(), documentIsHTML);
307             out.append('\"');
308         }
309     }
310
311     appendCloseTag(out, element);
312 }
313
314 void StyledMarkupAccumulator::removeExteriorStyles(CSSMutableStyleDeclaration* style)
315 {
316     style->removeProperty(CSSPropertyFloat);
317 }
318
319 Node* StyledMarkupAccumulator::serializeNodes(Node* startNode, Node* pastEnd)
320 {
321     Vector<Node*> ancestorsToClose;
322     Node* next;
323     Node* lastClosed = 0;
324     for (Node* n = startNode; n != pastEnd; n = next) {
325         // According to <rdar://problem/5730668>, it is possible for n to blow
326         // past pastEnd and become null here. This shouldn't be possible.
327         // This null check will prevent crashes (but create too much markup)
328         // and the ASSERT will hopefully lead us to understanding the problem.
329         ASSERT(n);
330         if (!n)
331             break;
332         
333         next = n->traverseNextNode();
334         bool openedTag = false;
335
336         if (isBlock(n) && canHaveChildrenForEditing(n) && next == pastEnd)
337             // Don't write out empty block containers that aren't fully selected.
338             continue;
339
340         if (!n->renderer() && !enclosingNodeWithTag(Position(n, 0), selectTag)) {
341             next = n->traverseNextSibling();
342             // Don't skip over pastEnd.
343             if (pastEnd && pastEnd->isDescendantOf(n))
344                 next = pastEnd;
345         } else {
346             // Add the node to the markup if we're not skipping the descendants
347             appendStartTag(n);
348
349             // If node has no children, close the tag now.
350             if (!n->childNodeCount()) {
351                 appendEndTag(n);
352                 lastClosed = n;
353             } else {
354                 openedTag = true;
355                 ancestorsToClose.append(n);
356             }
357         }
358
359         // If we didn't insert open tag and there's no more siblings or we're at the end of the traversal, take care of ancestors.
360         // FIXME: What happens if we just inserted open tag and reached the end?
361         if (!openedTag && (!n->nextSibling() || next == pastEnd)) {
362             // Close up the ancestors.
363             while (!ancestorsToClose.isEmpty()) {
364                 Node* ancestor = ancestorsToClose.last();
365                 if (next != pastEnd && next->isDescendantOf(ancestor))
366                     break;
367                 // Not at the end of the range, close ancestors up to sibling of next node.
368                 appendEndTag(ancestor);
369                 lastClosed = ancestor;
370                 ancestorsToClose.removeLast();
371             }
372
373             // Surround the currently accumulated markup with markup for ancestors we never opened as we leave the subtree(s) rooted at those ancestors.
374             ContainerNode* nextParent = next ? next->parentNode() : 0;
375             if (next != pastEnd && n != nextParent) {
376                 Node* lastAncestorClosedOrSelf = n->isDescendantOf(lastClosed) ? lastClosed : n;
377                 for (ContainerNode* parent = lastAncestorClosedOrSelf->parent(); parent && parent != nextParent; parent = parent->parentNode()) {
378                     // All ancestors that aren't in the ancestorsToClose list should either be a) unrendered:
379                     if (!parent->renderer())
380                         continue;
381                     // or b) ancestors that we never encountered during a pre-order traversal starting at startNode:
382                     ASSERT(startNode->isDescendantOf(parent));
383                     wrapWithNode(parent);
384                     lastClosed = parent;
385                 }
386             }
387         }
388     }
389
390     return lastClosed;
391 }
392
393 static Node* ancestorToRetainStructureAndAppearance(Node* commonAncestor)
394 {
395     Node* commonAncestorBlock = enclosingBlock(commonAncestor);
396
397     if (!commonAncestorBlock)
398         return 0;
399
400     if (commonAncestorBlock->hasTagName(tbodyTag) || commonAncestorBlock->hasTagName(trTag)) {
401         ContainerNode* table = commonAncestorBlock->parentNode();
402         while (table && !table->hasTagName(tableTag))
403             table = table->parentNode();
404
405         return table;
406     }
407
408     if (commonAncestorBlock->hasTagName(listingTag)
409         || commonAncestorBlock->hasTagName(olTag)
410         || commonAncestorBlock->hasTagName(preTag)
411         || commonAncestorBlock->hasTagName(tableTag)
412         || commonAncestorBlock->hasTagName(ulTag)
413         || commonAncestorBlock->hasTagName(xmpTag)
414         || commonAncestorBlock->hasTagName(h1Tag)
415         || commonAncestorBlock->hasTagName(h2Tag)
416         || commonAncestorBlock->hasTagName(h3Tag)
417         || commonAncestorBlock->hasTagName(h4Tag)
418         || commonAncestorBlock->hasTagName(h5Tag))
419         return commonAncestorBlock;
420
421     return 0;
422 }
423
424 static bool propertyMissingOrEqualToNone(CSSStyleDeclaration* style, int propertyID)
425 {
426     if (!style)
427         return false;
428     RefPtr<CSSValue> value = style->getPropertyCSSValue(propertyID);
429     if (!value)
430         return true;
431     if (!value->isPrimitiveValue())
432         return false;
433     return static_cast<CSSPrimitiveValue*>(value.get())->getIdent() == CSSValueNone;
434 }
435
436 static bool needInterchangeNewlineAfter(const VisiblePosition& v)
437 {
438     VisiblePosition next = v.next();
439     Node* upstreamNode = next.deepEquivalent().upstream().node();
440     Node* downstreamNode = v.deepEquivalent().downstream().node();
441     // Add an interchange newline if a paragraph break is selected and a br won't already be added to the markup to represent it.
442     return isEndOfParagraph(v) && isStartOfParagraph(next) && !(upstreamNode->hasTagName(brTag) && upstreamNode == downstreamNode);
443 }
444
445 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesAndInlineDecl(const Node* node)
446 {
447     if (!node->isHTMLElement())
448         return 0;
449
450     // FIXME: Having to const_cast here is ugly, but it is quite a bit of work to untangle
451     // the non-const-ness of styleFromMatchedRulesForElement.
452     HTMLElement* element = const_cast<HTMLElement*>(static_cast<const HTMLElement*>(node));
453     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesForElement(element);
454     RefPtr<CSSMutableStyleDeclaration> inlineStyleDecl = element->getInlineStyleDecl();
455     style->merge(inlineStyleDecl.get());
456     return style.release();
457 }
458
459 static bool isElementPresentational(const Node* node)
460 {
461     if (node->hasTagName(uTag) || node->hasTagName(sTag) || node->hasTagName(strikeTag)
462         || node->hasTagName(iTag) || node->hasTagName(emTag) || node->hasTagName(bTag) || node->hasTagName(strongTag))
463         return true;
464     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(node);
465     if (!style)
466         return false;
467     return !propertyMissingOrEqualToNone(style.get(), CSSPropertyTextDecoration);
468 }
469
470 static bool shouldIncludeWrapperForFullySelectedRoot(Node* fullySelectedRoot, CSSMutableStyleDeclaration* style)
471 {
472     if (fullySelectedRoot->isElementNode() && static_cast<Element*>(fullySelectedRoot)->hasAttribute(backgroundAttr))
473         return true;
474     
475     return style->getPropertyCSSValue(CSSPropertyBackgroundImage) || style->getPropertyCSSValue(CSSPropertyBackgroundColor);
476 }
477
478 static Node* highestAncestorToWrapMarkup(const Range* range, Node* fullySelectedRoot, EAnnotateForInterchange shouldAnnotate)
479 {
480     ExceptionCode ec;
481     Node* commonAncestor = range->commonAncestorContainer(ec);
482     ASSERT(commonAncestor);
483     Node* specialCommonAncestor = 0;
484     if (shouldAnnotate == AnnotateForInterchange) {
485         // Include ancestors that aren't completely inside the range but are required to retain 
486         // the structure and appearance of the copied markup.
487         specialCommonAncestor = ancestorToRetainStructureAndAppearance(commonAncestor);
488
489         // Retain the Mail quote level by including all ancestor mail block quotes.
490         for (Node* ancestor = range->firstNode(); ancestor; ancestor = ancestor->parentNode()) {
491             if (isMailBlockquote(ancestor))
492                 specialCommonAncestor = ancestor;
493         }
494     }
495
496     Node* checkAncestor = specialCommonAncestor ? specialCommonAncestor : commonAncestor;
497     if (checkAncestor->renderer()) {
498         Node* newSpecialCommonAncestor = highestEnclosingNodeOfType(Position(checkAncestor, 0), &isElementPresentational);
499         if (newSpecialCommonAncestor)
500             specialCommonAncestor = newSpecialCommonAncestor;
501     }
502
503     // If a single tab is selected, commonAncestor will be a text node inside a tab span.
504     // If two or more tabs are selected, commonAncestor will be the tab span.
505     // In either case, if there is a specialCommonAncestor already, it will necessarily be above 
506     // any tab span that needs to be included.
507     if (!specialCommonAncestor && isTabSpanTextNode(commonAncestor))
508         specialCommonAncestor = commonAncestor->parentNode();
509     if (!specialCommonAncestor && isTabSpanNode(commonAncestor))
510         specialCommonAncestor = commonAncestor;
511
512     if (Node *enclosingAnchor = enclosingNodeWithTag(Position(specialCommonAncestor ? specialCommonAncestor : commonAncestor, 0), aTag))
513         specialCommonAncestor = enclosingAnchor;
514
515     if (shouldAnnotate == AnnotateForInterchange && fullySelectedRoot) {
516         RefPtr<CSSMutableStyleDeclaration> fullySelectedRootStyle = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
517         if (shouldIncludeWrapperForFullySelectedRoot(fullySelectedRoot, fullySelectedRootStyle.get()))
518             specialCommonAncestor = fullySelectedRoot;
519     }
520     return specialCommonAncestor;
521 }
522
523 // FIXME: Shouldn't we omit style info when annotate == DoNotAnnotateForInterchange? 
524 // FIXME: At least, annotation and style info should probably not be included in range.markupString()
525 String createMarkup(const Range* range, Vector<Node*>* nodes, EAnnotateForInterchange shouldAnnotate, bool convertBlocksToInlines, EAbsoluteURLs shouldResolveURLs)
526 {
527     DEFINE_STATIC_LOCAL(const String, interchangeNewlineString, ("<br class=\"" AppleInterchangeNewline "\">"));
528
529     if (!range)
530         return "";
531
532     Document* document = range->ownerDocument();
533     if (!document)
534         return "";
535
536     // Disable the delete button so it's elements are not serialized into the markup,
537     // but make sure neither endpoint is inside the delete user interface.
538     Frame* frame = document->frame();
539     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
540     RefPtr<Range> updatedRange = avoidIntersectionWithNode(range, deleteButton ? deleteButton->containerElement() : 0);
541     if (!updatedRange)
542         return "";
543
544     if (deleteButton)
545         deleteButton->disable();
546
547     ExceptionCode ec = 0;
548     bool collapsed = updatedRange->collapsed(ec);
549     ASSERT(!ec);
550     if (collapsed)
551         return "";
552     Node* commonAncestor = updatedRange->commonAncestorContainer(ec);
553     ASSERT(!ec);
554     if (!commonAncestor)
555         return "";
556
557     document->updateLayoutIgnorePendingStylesheets();
558
559     StyledMarkupAccumulator accumulator(nodes, shouldResolveURLs, shouldAnnotate, updatedRange.get());
560     Node* pastEnd = updatedRange->pastLastNode();
561
562     Node* startNode = updatedRange->firstNode();
563     VisiblePosition visibleStart(updatedRange->startPosition(), VP_DEFAULT_AFFINITY);
564     VisiblePosition visibleEnd(updatedRange->endPosition(), VP_DEFAULT_AFFINITY);
565     if (shouldAnnotate == AnnotateForInterchange && needInterchangeNewlineAfter(visibleStart)) {
566         if (visibleStart == visibleEnd.previous()) {
567             if (deleteButton)
568                 deleteButton->enable();
569             return interchangeNewlineString;
570         }
571
572         accumulator.appendString(interchangeNewlineString);
573         startNode = visibleStart.next().deepEquivalent().node();
574
575         if (pastEnd && Range::compareBoundaryPoints(startNode, 0, pastEnd, 0) >= 0) {
576             if (deleteButton)
577                 deleteButton->enable();
578             return interchangeNewlineString;
579         }
580     }
581
582     Node* body = enclosingNodeWithTag(Position(commonAncestor, 0), bodyTag);
583     Node* fullySelectedRoot = 0;
584     // FIXME: Do this for all fully selected blocks, not just the body.
585     if (body && areRangesEqual(VisibleSelection::selectionFromContentsOfNode(body).toNormalizedRange().get(), range))
586         fullySelectedRoot = body;
587
588     Node* specialCommonAncestor = highestAncestorToWrapMarkup(updatedRange.get(), fullySelectedRoot, shouldAnnotate);
589
590     Node* lastClosed = accumulator.serializeNodes(startNode, pastEnd);
591
592     if (specialCommonAncestor && lastClosed) {
593         // Also include all of the ancestors of lastClosed up to this special ancestor.
594         for (ContainerNode* ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
595             if (ancestor == fullySelectedRoot && !convertBlocksToInlines) {
596                 RefPtr<CSSMutableStyleDeclaration> fullySelectedRootStyle = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
597
598                 // Bring the background attribute over, but not as an attribute because a background attribute on a div
599                 // appears to have no effect.
600                 if (!fullySelectedRootStyle->getPropertyCSSValue(CSSPropertyBackgroundImage) && static_cast<Element*>(fullySelectedRoot)->hasAttribute(backgroundAttr))
601                     fullySelectedRootStyle->setProperty(CSSPropertyBackgroundImage, "url('" + static_cast<Element*>(fullySelectedRoot)->getAttribute(backgroundAttr) + "')");
602                 
603                 if (fullySelectedRootStyle->length()) {
604                     // Reset the CSS properties to avoid an assertion error in addStyleMarkup().
605                     // This assertion is caused at least when we select all text of a <body> element whose
606                     // 'text-decoration' property is "inherit", and copy it.
607                     if (!propertyMissingOrEqualToNone(fullySelectedRootStyle.get(), CSSPropertyTextDecoration))
608                         fullySelectedRootStyle->setProperty(CSSPropertyTextDecoration, CSSValueNone);
609                     if (!propertyMissingOrEqualToNone(fullySelectedRootStyle.get(), CSSPropertyWebkitTextDecorationsInEffect))
610                         fullySelectedRootStyle->setProperty(CSSPropertyWebkitTextDecorationsInEffect, CSSValueNone);
611                     accumulator.wrapWithStyleNode(fullySelectedRootStyle.get(), document, true);
612                 }
613             } else {
614                 // Since this node and all the other ancestors are not in the selection we want to set RangeFullySelectsNode to DoesNotFullySelectNode
615                 // so that styles that affect the exterior of the node are not included.
616                 accumulator.wrapWithNode(ancestor, convertBlocksToInlines, StyledMarkupAccumulator::DoesNotFullySelectNode);
617             }
618             if (nodes)
619                 nodes->append(ancestor);
620             
621             lastClosed = ancestor;
622             
623             if (ancestor == specialCommonAncestor)
624                 break;
625         }
626     }
627
628     // Add a wrapper span with the styles that all of the nodes in the markup inherit.
629     ContainerNode* parentOfLastClosed = lastClosed ? lastClosed->parentNode() : 0;
630     if (parentOfLastClosed && parentOfLastClosed->renderer()) {
631         RefPtr<EditingStyle> style = EditingStyle::create(parentOfLastClosed);
632
633         // Styles that Mail blockquotes contribute should only be placed on the Mail blockquote, to help
634         // us differentiate those styles from ones that the user has applied.  This helps us
635         // get the color of content pasted into blockquotes right.
636         style->removeStyleAddedByNode(nearestMailBlockquote(parentOfLastClosed));
637
638         // Document default styles will be added on another wrapper span.
639         if (document && document->documentElement())
640             style->prepareToApplyAt(firstPositionInNode(document->documentElement()));
641
642         // Since we are converting blocks to inlines, remove any inherited block properties that are in the style.
643         // This cuts out meaningless properties and prevents properties from magically affecting blocks later
644         // if the style is cloned for a new block element during a future editing operation.
645         if (convertBlocksToInlines)
646             style->removeBlockProperties();
647
648         if (!style->isEmpty())
649             accumulator.wrapWithStyleNode(style->style(), document);
650     }
651     
652     if (lastClosed && lastClosed != document->documentElement()) {
653         // Add a style span with the document's default styles.  We add these in a separate
654         // span so that at paste time we can differentiate between document defaults and user
655         // applied styles.
656         RefPtr<EditingStyle> defaultStyle = EditingStyle::create(document->documentElement());
657         if (!defaultStyle->isEmpty())
658             accumulator.wrapWithStyleNode(defaultStyle->style(), document);
659     }
660
661     // FIXME: The interchange newline should be placed in the block that it's in, not after all of the content, unconditionally.
662     if (shouldAnnotate == AnnotateForInterchange && needInterchangeNewlineAfter(visibleEnd.previous()))
663         accumulator.appendString(interchangeNewlineString);
664
665     if (deleteButton)
666         deleteButton->enable();
667
668     return accumulator.takeResults();
669 }
670
671 PassRefPtr<DocumentFragment> createFragmentFromMarkup(Document* document, const String& markup, const String& baseURL, FragmentScriptingPermission scriptingPermission)
672 {
673     // We use a fake body element here to trick the HTML parser to using the
674     // InBody insertion mode.  Really, all this code is wrong and need to be
675     // changed not to use deprecatedCreateContextualFragment.
676     RefPtr<HTMLBodyElement> fakeBody = HTMLBodyElement::create(document);
677     // FIXME: This should not use deprecatedCreateContextualFragment
678     RefPtr<DocumentFragment> fragment = fakeBody->deprecatedCreateContextualFragment(markup, scriptingPermission);
679
680     if (fragment && !baseURL.isEmpty() && baseURL != blankURL() && baseURL != document->baseURL())
681         completeURLs(fragment.get(), baseURL);
682
683     return fragment.release();
684 }
685
686 String createMarkup(const Node* node, EChildrenOnly childrenOnly, Vector<Node*>* nodes, EAbsoluteURLs shouldResolveURLs)
687 {
688     if (!node)
689         return "";
690
691     HTMLElement* deleteButtonContainerElement = 0;
692     if (Frame* frame = node->document()->frame()) {
693         deleteButtonContainerElement = frame->editor()->deleteButtonController()->containerElement();
694         if (node->isDescendantOf(deleteButtonContainerElement))
695             return "";
696     }
697
698     MarkupAccumulator accumulator(nodes, shouldResolveURLs);
699     return accumulator.serializeNodes(const_cast<Node*>(node), deleteButtonContainerElement, childrenOnly);
700 }
701
702 static void fillContainerFromString(ContainerNode* paragraph, const String& string)
703 {
704     Document* document = paragraph->document();
705
706     ExceptionCode ec = 0;
707     if (string.isEmpty()) {
708         paragraph->appendChild(createBlockPlaceholderElement(document), ec);
709         ASSERT(!ec);
710         return;
711     }
712
713     ASSERT(string.find('\n') == notFound);
714
715     Vector<String> tabList;
716     string.split('\t', true, tabList);
717     String tabText = "";
718     bool first = true;
719     size_t numEntries = tabList.size();
720     for (size_t i = 0; i < numEntries; ++i) {
721         const String& s = tabList[i];
722
723         // append the non-tab textual part
724         if (!s.isEmpty()) {
725             if (!tabText.isEmpty()) {
726                 paragraph->appendChild(createTabSpanElement(document, tabText), ec);
727                 ASSERT(!ec);
728                 tabText = "";
729             }
730             RefPtr<Node> textNode = document->createTextNode(stringWithRebalancedWhitespace(s, first, i + 1 == numEntries));
731             paragraph->appendChild(textNode.release(), ec);
732             ASSERT(!ec);
733         }
734
735         // there is a tab after every entry, except the last entry
736         // (if the last character is a tab, the list gets an extra empty entry)
737         if (i + 1 != numEntries)
738             tabText.append('\t');
739         else if (!tabText.isEmpty()) {
740             paragraph->appendChild(createTabSpanElement(document, tabText), ec);
741             ASSERT(!ec);
742         }
743         
744         first = false;
745     }
746 }
747
748 bool isPlainTextMarkup(Node *node)
749 {
750     if (!node->isElementNode() || !node->hasTagName(divTag) || static_cast<Element*>(node)->attributes()->length())
751         return false;
752     
753     if (node->childNodeCount() == 1 && (node->firstChild()->isTextNode() || (node->firstChild()->firstChild())))
754         return true;
755     
756     return (node->childNodeCount() == 2 && isTabSpanTextNode(node->firstChild()->firstChild()) && node->firstChild()->nextSibling()->isTextNode());
757 }
758
759 PassRefPtr<DocumentFragment> createFragmentFromText(Range* context, const String& text)
760 {
761     if (!context)
762         return 0;
763
764     Node* styleNode = context->firstNode();
765     if (!styleNode) {
766         styleNode = context->startPosition().node();
767         if (!styleNode)
768             return 0;
769     }
770
771     Document* document = styleNode->document();
772     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
773     
774     if (text.isEmpty())
775         return fragment.release();
776
777     String string = text;
778     string.replace("\r\n", "\n");
779     string.replace('\r', '\n');
780
781     ExceptionCode ec = 0;
782     RenderObject* renderer = styleNode->renderer();
783     if (renderer && renderer->style()->preserveNewline()) {
784         fragment->appendChild(document->createTextNode(string), ec);
785         ASSERT(!ec);
786         if (string.endsWith("\n")) {
787             RefPtr<Element> element = createBreakElement(document);
788             element->setAttribute(classAttr, AppleInterchangeNewline);            
789             fragment->appendChild(element.release(), ec);
790             ASSERT(!ec);
791         }
792         return fragment.release();
793     }
794
795     // A string with no newlines gets added inline, rather than being put into a paragraph.
796     if (string.find('\n') == notFound) {
797         fillContainerFromString(fragment.get(), string);
798         return fragment.release();
799     }
800
801     // Break string into paragraphs. Extra line breaks turn into empty paragraphs.
802     Node* blockNode = enclosingBlock(context->firstNode());
803     Element* block = static_cast<Element*>(blockNode);
804     bool useClonesOfEnclosingBlock = blockNode
805         && blockNode->isElementNode()
806         && !block->hasTagName(bodyTag)
807         && !block->hasTagName(htmlTag)
808         && block != editableRootForPosition(context->startPosition());
809     
810     Vector<String> list;
811     string.split('\n', true, list); // true gets us empty strings in the list
812     size_t numLines = list.size();
813     for (size_t i = 0; i < numLines; ++i) {
814         const String& s = list[i];
815
816         RefPtr<Element> element;
817         if (s.isEmpty() && i + 1 == numLines) {
818             // For last line, use the "magic BR" rather than a P.
819             element = createBreakElement(document);
820             element->setAttribute(classAttr, AppleInterchangeNewline);            
821         } else {
822             if (useClonesOfEnclosingBlock)
823                 element = block->cloneElementWithoutChildren();
824             else
825                 element = createDefaultParagraphElement(document);
826             fillContainerFromString(element.get(), s);
827         }
828         fragment->appendChild(element.release(), ec);
829         ASSERT(!ec);
830     }
831     return fragment.release();
832 }
833
834 PassRefPtr<DocumentFragment> createFragmentFromNodes(Document *document, const Vector<Node*>& nodes)
835 {
836     if (!document)
837         return 0;
838
839     // disable the delete button so it's elements are not serialized into the markup
840     if (document->frame())
841         document->frame()->editor()->deleteButtonController()->disable();
842
843     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
844
845     ExceptionCode ec = 0;
846     size_t size = nodes.size();
847     for (size_t i = 0; i < size; ++i) {
848         RefPtr<Element> element = createDefaultParagraphElement(document);
849         element->appendChild(nodes[i], ec);
850         ASSERT(!ec);
851         fragment->appendChild(element.release(), ec);
852         ASSERT(!ec);
853     }
854
855     if (document->frame())
856         document->frame()->editor()->deleteButtonController()->enable();
857
858     return fragment.release();
859 }
860
861 String createFullMarkup(const Node* node)
862 {
863     if (!node)
864         return String();
865         
866     Document* document = node->document();
867     if (!document)
868         return String();
869         
870     Frame* frame = document->frame();
871     if (!frame)
872         return String();
873
874     // FIXME: This is never "for interchange". Is that right?    
875     String markupString = createMarkup(node, IncludeNode, 0);
876     Node::NodeType nodeType = node->nodeType();
877     if (nodeType != Node::DOCUMENT_NODE && nodeType != Node::DOCUMENT_TYPE_NODE)
878         markupString = frame->documentTypeString() + markupString;
879
880     return markupString;
881 }
882
883 String createFullMarkup(const Range* range)
884 {
885     if (!range)
886         return String();
887
888     Node* node = range->startContainer();
889     if (!node)
890         return String();
891         
892     Document* document = node->document();
893     if (!document)
894         return String();
895         
896     Frame* frame = document->frame();
897     if (!frame)
898         return String();
899
900     // FIXME: This is always "for interchange". Is that right? See the previous method.
901     return frame->documentTypeString() + createMarkup(range, 0, AnnotateForInterchange);        
902 }
903
904 String urlToMarkup(const KURL& url, const String& title)
905 {
906     Vector<UChar> markup;
907     append(markup, "<a href=\"");
908     append(markup, url.string());
909     append(markup, "\">");
910     appendCharactersReplacingEntities(markup, title.characters(), title.length(), EntityMaskInPCDATA);
911     append(markup, "</a>");
912     return String::adopt(markup);
913 }
914
915 }